디지털 도구는 ChatGPT에서 생성된 학술 텍스트를 99%의 정확도로 찾아냅니다.

LAWRENCE - University of Kansas의 생물 의학 연구에서 기계 학습을 사용하는 화학자 Heather Desaire는 인공 지능 텍스트 생성기인 ChatGPT에서 생성된 과학 텍스트를 99% 정확도로 감지하는 새로운 도구를 공개했습니다.

동료 검토 저널인 Cell Reports Physical Science는 다른 사람들이 도구를 복제할 수 있는 충분한 소스 코드와 함께 그녀의 AI 탐지 방법의 효율성을 보여주는 연구 결과를 발표했습니다.

KU의 Keith D. Wilner 화학과장인 Desaire는 과학적 무결성을 수호하기 위해서는 정확한 AI 탐지 도구가 시급히 필요하다고 말했습니다.

"ChatGPT 및 기타 모든 AI 텍스트 생성기는 사실을 구성합니다."라고 그녀는 말했습니다. "새로운 발견과 인간 지식의 가장자리에 관한 저술인 학술 과학 출판에서 우리는 믿을 수 있을 만큼 들리는 허위로 문헌을 오염시킬 여유가 없습니다. AI 텍스트 생성기가 일반적으로 사용된다면 이러한 허위는 불가피하게 출판물에 들어갈 것입니다. 내가 아는 한 자동화된 방식으로 이러한 '환각'을 찾아내는 완벽한 방법은 없습니다. 완벽하게 믿을만하게 들리는 인공 지능의 넌센스로 실제 과학적 사실을 채우기 시작하면 이러한 출판물은 덜 신뢰할 수 있고 덜 가치있게 될 것입니다."

그녀는 자신의 탐지 방법의 성공 여부는 조사 대상 글쓰기 범위를 동료 심사 저널에서 흔히 볼 수 있는 과학 글쓰기로 좁히는 데 달려 있다고 말했습니다. 이는 보다 일반적인 글쓰기에서 AI를 감지하는 것을 목표로 하는 RoBERTa 감지기와 같은 기존 AI 감지 도구에 비해 정확도를 향상시킵니다.

Desaire는 "특정 방식으로 글을 쓰는 특정 그룹의 인간을 고려하도록 제한하는 절충안을 고려하면 매우 정확한 ChatGPT 글쓰기와 인간을 구별하는 방법을 쉽게 구축할 수 있습니다"라고 말했습니다. "기존 AI 감지기는 일반적으로 모든 종류의 글쓰기에 활용할 수 있는 일반 도구로 설계되었습니다. 의도한 목적에는 유용하지만 특정 종류의 글쓰기에서는 해당 도구만큼 정확하지 않습니다. 구체적이고 좁은 목적."

Desaire는 대학 강사, 보조금 제공 기관 및 출판사 모두 인간의 마음에서 나온 작업으로 제시된 AI 출력을 감지할 수 있는 정확한 방법이 필요하다고 말했습니다.

"'AI 표절'에 대해 생각하기 시작하면 90%의 정확성만으로는 충분하지 않습니다."라고 Desaire는 말했습니다. "사람들이 은밀하게 AI를 사용하고 있으며 그러한 비난이 자주 틀렸다고 비난할 수는 없습니다. 정확성이 중요합니다. 그러나 정확성을 얻으려면 가장 흔히 일반화 가능성이 절충되어야 합니다."

Desaire의 공동 저자는 모두 그녀의 KU 연구 그룹 출신입니다. Romana Jarosova, KU 화학 연구 조교수; 정보 시스템 분석가 David Huax; 대학원생 Aleesa E. Chua와 Madeline Isom.

Desire와 그녀의 팀이 AI 텍스트를 탐지하는 데 성공한 것은 코드를 고안하는 데 투입된 높은 수준의 인간 통찰력(기계 학습 패턴 탐지와 비교)에서 비롯되었을 수 있습니다.

Desaire는 "우리는 탐지기가 집중해야 할 주요 차이점을 식별하기 위해 훨씬 더 작은 데이터 세트와 훨씬 더 많은 인간 개입을 사용했습니다"라고 말했습니다. "정확히 말하면 우리는 사람이 작성한 문서 64개와 AI 문서 128개를 훈련 데이터로 사용하여 전략을 세웠습니다. 이는 다른 탐지기를 훈련하는 데 사용되는 데이터 세트 크기보다 아마도 10만 배 더 작을 것입니다. 사람들은 종종 숫자에 대해 얼버무립니다. 하지만 100,000번은 커피 한 잔 가격과 집 한 채 가격의 차이입니다. 그래서 우리는 매우 빠르게 처리할 수 있는 작은 데이터 세트를 보유했고 모든 문서를 실제로 사람들이 읽을 수 있었습니다. 우리는 인간의 두뇌를 사용했습니다. 문서 세트에서 유용한 차이점을 찾기 위해 이전에 개발된 인간과 AI를 차별화하는 전략에 의존하지 않았습니다."

실제로 KU 연구원은 그룹이 AI 탐지에 대한 과거 접근 방식의 전략에 의존하지 않고 접근 방식을 구축했다고 말했습니다. 결과 기술에는 AI 텍스트 감지 분야에 완전히 고유한 요소가 있습니다.

"이 사실을 인정하기가 조금 부끄럽지만 우리는 자체 작업 도구를 손에 넣을 때까지 AI 텍스트 감지에 관한 문헌을 참고조차 하지 않았습니다."라고 Desaire는 말했습니다. "우리는 컴퓨터 과학자들이 텍스트 감지에 대해 어떻게 생각하는지에 기초하지 않고 대신 무엇이 작동할지에 대한 직관을 사용하여 이 작업을 수행했습니다."