미국 AI 안전 규제, 청소년 챗봇에 무엇을 요구하나
AI가 검색 도구를 넘어 친구나 상담 상대처럼 대화하기 시작하면서 미국의 규제 초점도 달라지고 있다. 이제 핵심 질문은 “AI가 틀린 답을 했는가”에 그치지 않는다. 미성년자가 챗봇을 사람처럼 믿게 되는지, 정서적 의존을 유도하는지, 위기 상황에서 어떤 행동을 하는지, 대화 데이터를 광고와 수익화에 사용하는지가 규제 대상이 되고 있다.
가장 구체적인 사례가 캘리포니아의 SB 1119다. California Legislative Information의 법률 원문에 따르면 이 법은 2026년 9월 10일 주지사 승인을 받았고, 핵심 의무는 2027년 7월 1일부터 적용된다. 아직 논의 중인 제안이 아니라 이미 성립된 주법이라는 점이 중요하다.
이 글은 미국 전체에 동일하게 적용되는 법이 있다는 뜻으로 설명하지 않는다. SB 1119는 캘리포니아 주법이다. 다만 대형 AI 서비스가 캘리포니아 사용자만을 위해 완전히 별도 제품을 운영하기 어렵다는 점에서 다른 주와 연방 정책에도 영향을 줄 가능성이 있다.
무엇을 ‘동반자 챗봇’으로 보나
SB 1119의 핵심 대상은 단순 고객센터 자동응답보다 인간관계나 정서적 교류를 모사하는 companion chatbot이다. 사용자의 말에 적응해 인간 같은 반응을 하고, 대화를 계속하도록 설계된 서비스가 중심이다.
공부를 돕는 모든 AI나 검색형 AI가 무조건 같은 규제를 받는다는 뜻은 아니다. 실제 적용 여부는 법률의 정의, 서비스 설계, 사용자와의 상호작용 방식에 따라 달라진다. 이 구분을 빼고 “미국이 청소년의 모든 AI 사용을 하루 2시간으로 막는다”고 요약하면 틀린 설명이 된다.
출시 전에 위험평가가 필요하다
사업자는 새로운 동반자 챗봇이나 기능이 크게 바뀐 챗봇을 사용자에게 제공하기 전에 아동 사용자를 기준으로 종합 위험평가를 수행하고 문서화해야 한다. 평가에는 법이 정한 위해 유형별 시험 결과, 공개 벤치마크와 연구, 자체 평가 방법, 아동안전 전문가와의 협의 내용이 포함될 수 있다.
평가에서 위험이 확인되면 이를 합리적으로 줄이는 조치를 문서화해야 한다. 제품을 먼저 출시한 뒤 사고가 생기면 대응하는 방식에서, 출시 전 위험을 증명하고 완화하는 방식으로 책임 구조가 바뀌는 것이다.
독립 아동안전 감사가 붙는다
자체 점검만으로 끝나지 않는다. 운영자는 독립적인 아동안전 감사를 받아야 하고, 감사인은 사업자가 법을 지키기 위한 정책과 절차를 만들고 실제로 따랐는지 보고해야 한다. 캘리포니아 법무장관은 정당한 사유가 있을 때 감사 보고서 사본을 요구할 수 있다.
같은 시기에 승인된 SB 813은 AI 위험을 평가할 독립 검증기관 지정 체계를 2028년 1월 1일까지 만들도록 했고, AB 1405는 AI 감사인 등록 체계를 2029년 1월 1일까지 마련하도록 했다. 세 법을 함께 보면 미국의 AI 안전 논의가 자율 점검에서 자격·독립성·책임을 갖춘 외부 감사로 이동하고 있음을 알 수 있다.
연령 확인과 공개 안전정책
동반자 챗봇 사업자는 사용자가 아동인지 판단할 연령 확인 절차를 갖춰야 한다. 아동의 사용을 허용하지 않는 서비스는 어떤 방식으로 연령을 확인하고 차단하는지 공개해야 한다. 아동의 사용을 허용한다면 위험 방지 방법, 데이터와 광고 제한, 기본 보호 설정, 위기 대응 절차를 설명하는 아동안전 정책을 공개해야 한다.
연령 확인은 보호와 개인정보 사이의 긴장도 만든다. 더 정확한 확인을 위해 신분증이나 얼굴 정보 같은 민감한 자료를 많이 수집하면 또 다른 개인정보 위험이 생길 수 있다. 좋은 규제와 제품 설계는 연령을 합리적으로 확인하면서도 필요한 정보만 최소한으로 처리해야 한다.
보호 설정은 기본적으로 켜져 있어야 한다
SB 1119가 구체적인 이유는 “안전 기능을 제공하라”는 추상적 선언을 넘어 기본값을 정했기 때문이다.
16세 이상 사용자의 과거 대화를 단순히 저장해 다시 여는 기능은, 장기 프로필을 만들지 않는 등 일정 조건에서 지속 기억과 다르게 취급될 수 있다. 따라서 표의 “기억 꺼짐”은 모든 대화 기록을 무조건 삭제한다는 뜻이 아니다.
AI라는 사실을 반복해서 알려야 한다
아동은 자신이 대화하는 상대가 인공지능이라는 사실을 알 수 있어야 한다. 긴 대화 중에도 이 안내가 주기적으로 반복돼야 하며, 아동이 이해할 수 있는 언어와 형식으로 표시돼야 한다.
단 한 번 약관에 “AI입니다”라고 적는 방식으로는 부족하다는 의미다. 사람처럼 말하고 감정을 표현하는 서비스일수록 사용자가 실제 관계로 오해하지 않도록 인터페이스 자체가 계속 경계를 알려야 한다.
정서적 의존을 유도하는 행동이 제한된다
법은 아동에게 자해, 약물·알코올 사용, 섭식장애, 다른 사람에게 심각한 피해를 주는 행동을 권하는 것을 막도록 요구한다. 성적 대화와 성적 딥페이크, 부모 통제 우회, 안전 문제를 성인에게 알리지 못하게 하는 행동도 제한 대상이다.
특히 동반자 챗봇의 관계 설계를 직접 겨냥한 조항이 눈에 띈다. 챗봇은 자신이 의식이나 감정을 가진 인간이라고 주장하거나, 아동에게 연애 감정을 표현하거나, 특별한 관계를 내세워 정서적 의존을 유도해서는 안 된다. 맥락에 맞지 않는 과도한 칭찬, 자주 돌아오라고 압박하는 표현, 관계를 유지하려면 결제해야 한다는 식의 요구도 문제로 본다.
자해 위험에는 위기 대응 절차가 필요하다
사업자는 자살 생각이나 자해 위험을 다루는 문서화된 위기 대응 절차를 갖춰야 한다. 적절한 위기 지원 서비스를 안내하고, 신뢰할 만한 즉각적 위험이 확인되면 조건에 따라 부모에게 알리거나 미국의 988 위기상담 서비스로 연결할 수 있는 장치를 제공해야 한다.
이 규정은 AI가 심리치료사나 구조기관을 대체한다는 뜻이 아니다. 오히려 챗봇이 위기 상황을 혼자 처리하는 척하지 않고 인간 전문가와 실제 지원 체계로 넘겨야 한다는 의미다.
아동 데이터와 광고도 제한된다
아동을 대상으로 여러 서비스의 행동을 연결해 추적하는 교차 맥락 행동광고가 금지된다. 대화에서 얻은 개인정보로 아동에게 맞춤 광고를 붙이는 행위와 아동 개인정보 판매도 제한된다. 표시되는 광고는 광고라는 사실이 분명해야 한다.
서비스 제공, 안전 유지, 법적 의무 대응처럼 필요한 목적을 넘어 아동의 대화 정보를 광범위하게 사용하거나 공유하는 것도 제한된다. “무료 서비스이므로 대화 데이터를 광고에 써도 된다”는 접근을 어렵게 만드는 부분이다.
미국 연방 차원의 움직임
연방거래위원회 FTC는 2025년 Alphabet, Character Technologies, Meta, OpenAI, Snap, xAI 등 7개 회사에 자료 제출을 요구하며 AI 동반자 챗봇 조사를 시작했다. FTC 공식 발표에 따르면 조사 항목에는 수익화 방식, 아동·청소년에게 미치는 부정적 영향 시험, 연령 제한, 부모 고지, 대화 데이터 사용이 포함됐다.
이는 곧바로 위법 판정을 내리는 집행 절차와는 다르다. FTC법 6(b)에 따른 시장 연구 성격의 조사다. 그러나 규제기관이 제품의 답변 내용뿐 아니라 참여 시간을 늘리는 설계와 데이터 수익화까지 살펴본다는 점에서 방향성을 보여준다.
미국 국립표준기술연구소 NIST도 고정된 안전장치를 한 번 적용하고 끝내는 방식보다 지속적으로 공격 사례를 찾고 업데이트하는 모델이 필요하다고 설명한다. 새로운 우회 프롬프트와 사용 방식이 계속 등장하기 때문에 출시 시점의 안전 시험만으로 충분하지 않다는 취지다.
부모와 학교가 지금 확인할 것
법 시행을 기다리지 않고도 다음 항목은 바로 점검할 수 있다.
- 아이가 쓰는 서비스가 검색 도구인지, 관계를 모사하는 동반자 챗봇인지 구분한다.
- 생년월일과 가족 계정이 정확히 연결됐는지 확인한다.
- 대화 기억, 알림, 야간 사용, 하루 사용시간 설정을 확인한다.
- 챗봇이 실제 사람이 아니며 답변이 틀릴 수 있다는 점을 반복해서 설명한다.
- 주소, 학교, 연락처, 얼굴, 건강 고민 같은 민감정보를 입력하지 않도록 한다.
- 자해나 범죄처럼 위험한 답변을 받았을 때 보호자·교사·전문기관에 알릴 방법을 정한다.
- 챗봇이 비밀을 요구하거나 부모에게 숨기라고 할 때 대화를 중단하고 신고한다.
미국 FTC의 어린이와 게임 안전 안내도 아이에게 AI 챗봇은 실제 친구나 신뢰할 수 있는 사람이 아니라고 설명하고, 모르는 사람이 다른 대화 앱으로 이동하자고 하면 거절하도록 가르칠 것을 권한다.
앞으로의 쟁점
규제가 강해질수록 연령 확인을 위해 더 많은 개인정보를 요구할 수 있다는 역설이 생긴다. 부모 통제권과 청소년의 사생활을 어디에서 균형 잡을지도 논쟁거리다. 모든 정서적 대화를 막으면 도움이 되는 상담·학습 서비스까지 위축될 수 있고, 반대로 예외가 넓으면 관계 의존을 이용하는 제품이 빠져나갈 수 있다.
따라서 중요한 것은 “청소년은 AI를 쓰면 안 된다”는 단순 결론이 아니다. 위험평가, 독립 감사, 안전한 기본값, 데이터 최소화, 위기 상황의 인간 연결을 제품 설계 단계에 넣는 것이 핵심이다.
이미지·저작권 안내
- 캘리포니아 주 의사당 사진의 저작자는 Earthquakesurprise이며, Wikimedia Commons 원본에 CC0 1.0으로 공개된 자료다. 웹 전송을 위해 크기와 파일 형식만 변경했다.
- 이 글은 공개 자료를 설명한 일반 정보이며 미국 또는 한국의 법률 자문이 아니다.
