How is generative AI transforming the landscape of child sexual exploitation, and can we design technology in a way that prevents harm at its source? As photorealistic AI-generated child sexual abuse material and “nudifying” tools outpace current legal frameworks, the industry must transition from reactive detection to a proactive, sociotechnical lifecycle approach. In this talk, I will outline a vision for architecting accountability through preventative design, responsible deployment, and continuous oversight. I will demonstrate where adopting these preventative strategies for generative AI has resulted in less harm, as well as what high-consequence regulatory gaps need to be closed to prevent more harm. By critically assessing the entire lifecycle of AI, we can build a robust shield that protects children from the root of design through to global deployment.
생성형 AI가 아동 성 착취의 지형을 어떻게 바꾸고 있으며, 피해의 근원에서부터 이를 차단하는 방식으로 기술을 설계할 수 있는가? 실사에 가까운 AI 생성 아동 성 학대 이미지와 ‘누드화(nudifying)’ 도구가 현행 법적 체계를 앞질러 나가고 있는 지금, 산업계는 사후 탐지 중심의 대응에서 벗어나 사전 예방적이고 사회기술적인 생애주기 접근 방식으로 전환해야 한다. 본 강연에서는 예방 중심 설계, 책임 있는 배포, 지속적 감독을 통해 책무성을 구조화하는 비전을 제시한다. 생성형 AI에 이러한 예방 전략을 도입함으로써 실제 피해가 줄어든 사례를 보여주는 한편, 더 큰 피해를 막기 위해 시급히 메워야 할 고위험 규제 공백이 무엇인지도 함께 짚을 것이다. AI의 전체 생애주기를 비판적으로 점검함으로써, 설계의 뿌리부터 글로벌 배포에 이르기까지 아동을 보호하는 견고한 방어 체계를 구축할 수 있다.
