인공지능 기술 덕분에 실제 사람처럼 보이지만 알고리즘이 생성한 캐릭터인 소셜 미디어 프로필이 생겨났습니다. 이로 인해 사용자들은 혼란과 불만을 겪고 있으며, 자신이 소통하고 있는 계정이 사람이 운영하는 것이 아니라는 사실을 너무 늦게 알아차리는 경우가 많습니다. 이러한 문제를 해결하기 위해 인스타그램은 이러한 계정을 식별하는 시스템을 개선한다고 발표했습니다.
메타(Meta) 소유의 플랫폼은 기존의 'AI 생성자'라는 표시를 'AI 생성 프로필'이라는 더욱 명확한 새로운 표시로 교체하기로 결정했습니다. 이는 사용자들이 프로필에 나타난 인물이 실존 인물이 아니라 인공지능을 이용해 생성된 것임을 즉시 이해할 수 있도록 하기 위함입니다. 이번 업데이트는 실제 인물처럼 보이는 프로필에 속았다는 불만을 제기한 많은 사용자들의 의견에 대한 대응입니다.
투명성 제고를 위한 라벨 변경
새로운 용어인 'AI 생성 프로필'은 기존 용어의 모호함을 해소합니다. 'AI 크리에이터'라는 용어는 인공지능 도구를 사용하는 인간 제작자를 지칭하는 것으로 해석될 수 있었지만, 실제로는 프로필 전체가 인공지능으로 만들어진 가상의 인물인 경우가 많았습니다. 인스타그램은 이번 변경을 통해 해당 프로필이 주로 인공지능을 이용해 생성되거나 구성된 캐릭터임을 명확히 하고자 합니다.
회사에 따르면, 이 조치는 사용자들이 실제 사람과 인공지능 계정 간의 상호작용을 쉽게 구분할 수 있도록 돕기 위한 광범위한 노력의 일환입니다. 메타는 올해 초, 사람처럼 보이는 프로필을 팔로우했다가 알고 보니 인공지능이 생성한 계정이라는 사실에 불편함을 느꼈다는 사용자들의 피드백을 받은 후 이 시스템을 테스트하기 시작했습니다.
해당 라벨은 프로필 설정에서 사용자가 직접 활성화할 수 있습니다. 기존 라벨을 사용 중이던 계정 관리자에게는 새 설명이 여전히 적절한지 확인하는 알림이 전송됩니다. 활성화되면 해당 배지는 프로필과 AI 사용에 대한 명시적인 표시가 없는 게시물 옆에 표시됩니다.
태그가 지정되지 않은 프로필의 도달 범위 감소
가장 큰 변화는 해당 조치가 더 이상 단순한 정보 제공 목적이 아니라는 점입니다. 인스타그램은 적절한 라벨을 붙이지 않고 AI로 생성된 아바타를 사용하는 계정의 도달 범위를 제한할 것이라고 발표했습니다. 즉, 해당 프로필은 아직 계정을 팔로우하지 않은 사용자를 대상으로 하는 탐색 섹션이나 릴스와 같은 플랫폼 추천 콘텐츠에 더 이상 표시되지 않게 됩니다.
인스타그램은 정체불명의 AI 캐릭터를 사용하는 것으로 의심되는 계정을 감지하면 해당 계정 관리자에게 알림을 보냅니다. 관리자는 'AI 생성 프로필' 라벨을 추가하거나, 플랫폼의 오류가 있다고 판단될 경우 이의 신청을 제출하는 두 가지 옵션을 선택할 수 있습니다. 이의 신청이 받아들여지면 해당 계정은 추천 목록에 다시 표시될 수 있습니다.
회사 측은 사진 보정, 텍스트 교정, 그래픽 디자인 등 창작 과정 보조 목적으로만 AI 도구를 사용하는 크리에이터는 해당 라벨을 활성화할 필요가 없다고 밝혔습니다. 이 요건은 가상 인플루언서, 가상의 캐릭터, 합성 얼굴을 메인 이미지로 사용하는 계정처럼 계정의 주된 정체성이 인공적으로 생성된 인물인 경우에만 적용됩니다.
제한 사유: 빈번한 남용 사례
이번 업데이트는 합성 콘텐츠의 확산을 악용하는 다양한 사기 행위를 근절하는 것을 목표로 합니다. Meta가 근절하고자 하는 주요 문제로는 금융 사기와 '캣피싱'이 있습니다. 캣피싱은 실제와 똑같은 아바타를 만들어 허구의 연애 관계를 형성하고 금전을 갈취하거나 암호화폐 사기를 조장하는 행위입니다. 또한, 허위 광고도 문제입니다. 유명 라이프스타일 인플루언서들이 존재하지 않는 인물과 소통하고 있다는 사실을 모른 채 브랜드로부터 무료 제품이나 스폰서십을 받는 사례가 있습니다.
또 다른 흔한 사례로는 생체 정보 도용이 있는데, 이는 실제 얼굴을 무단으로 복제하여 가짜 프로필을 여러 개 만들어 콘텐츠로 수익을 창출하거나 원 인물의 평판을 훼손하는 행위를 말합니다. 또한, 합성 계정 팜을 이용하여 정치적 목적에 대한 여론을 조작하거나, 추천 알고리즘을 조작하거나, 가짜 뉴스를 퍼뜨리는 행위(애스트로터핑)도 적발되었습니다.
인스타그램의 이번 결정은 이른바 '가상 인플루언서'들이 다양한 디지털 플랫폼에서 인기를 얻고 있는 시점에 나왔습니다. 이러한 계정들은 사진, 동영상, 게시물에 등장하는 인물들이 실제 존재하지 않음에도 불구하고 수십만 명, 심지어 수백만 명의 팔로워를 확보할 수 있습니다. 이러한 계정들의 성장은 투명성, 광고, 사용자 신뢰, 그리고 인공지능이 소셜 미디어에 미치는 영향에 대한 논쟁을 불러일으켰습니다.
새로운 시스템은 어떻게 작동할까요?
AI가 생성한 프로필을 관리하는 사용자는 계정 설정에서 해당 라벨을 자발적으로 활성화할 수 있습니다. 인스타그램은 계정에 AI가 생성한 페르소나가 있지만 해당 계정의 신원이 확인되지 않은 경우 관리자에게 알림을 보냅니다. 관리자는 'AI 생성 프로필' 라벨을 추가하거나, 플랫폼의 오류가 있다고 판단될 경우 이의 신청을 제기할 수 있습니다.
회사 측은 사진 보정, 텍스트 교정, 그래픽 디자인 등 창작 과정 보조 목적으로만 AI 도구를 사용하는 크리에이터는 해당 라벨을 사용할 필요가 없다고 밝혔습니다. 이 조치는 AI를 활용하여 콘텐츠를 개선하는 사람들을 겨냥한 것이 아니라, 알고리즘으로 생성된 캐릭터를 실제 사람인 척 가장하는 사람들을 겨냥한 것입니다.
Meta는 자사 시스템이 항상 완벽하지는 않다는 점을 인정하며, 사용자가 계정 상태에서 제한 사항을 확인할 수 있도록 합니다. 영향을 받은 사용자는 라벨을 추가하거나 Instagram의 결정에 오류가 있다고 판단될 경우 이의를 제기하여 추천 기능을 다시 이용할 수 있습니다. 이러한 프로필 수준의 식별 기능은 이미지, 동영상, 오디오 게시물에 이미 적용되는 라벨을 보완하는 역할을 합니다. 개별 게시물 라벨은 호환되는 기술적 지표가 감지되거나 사용자가 해당 도구 사용을 선언할 때 사용됩니다.
이번 새로운 규칙은 인스타그램, 페이스북, 스레드 등에서 인공지능을 이용해 생성되거나 수정된 콘텐츠를 더 효과적으로 식별하기 위한 메타의 광범위한 전략의 일환입니다. 메타는 이 조치를 통해 콘텐츠 생성 도구의 성장과 사용자가 자신이 팔로우하는 프로필의 출처를 정확히 알아야 할 필요성 사이에서 균형을 맞추고자 합니다. 이번 결정은 인공지능으로 생성된 인플루언서 및 가상 계정과 관련된 유사한 문제에 직면한 다른 디지털 플랫폼에도 선례가 될 수 있습니다.
요약하자면, 인스타그램은 사용자들이 실제 프로필과 AI가 생성한 프로필을 명확하게 구분할 수 있도록 중요한 조치를 취했습니다. 기존의 'AI 생성 프로필' 라벨을 대체하는 이 새로운 라벨을 사용하지 않는 사용자에게는 추천 노출 순위 하락이라는 직접적인 영향이 있습니다. 이 조치는 AI를 편집 도구로 사용하는 크리에이터에게는 영향을 미치지 않지만, AI로 생성된 캐릭터를 마치 실제 사람인 것처럼 사용하는 크리에이터에게는 영향을 줍니다. 이번 업데이트를 통해 인스타그램은 생성형 인공지능이 소셜 미디어 콘텐츠 제작 및 소비 방식을 혁신하는 시대에 투명성과 커뮤니티의 신뢰를 더욱 강화하고자 합니다.