“AI의 공감 격차: 생성형 및 대화형 AI 시대에 아이들을 안전하게 지키기” (Nomisha Kurin 교수 온라인 강연 소개)

‘AI의 공감 격차: 생성형 및 대화형 AI 시대에 아이들을 안전하게 지키기'(강연자: Nomisha Kurian, 케임브리지대학교 사회학과 부교수)라는 제목의 온라인 세미나가 영국 에딘버러대학교 디지털교육연구센터(Centre for Research in Digital Education) 주최로 한국 시각 3월 26일(화) 밤 11시에 열립니다.

관련 정보: https://www.de.ed.ac.uk/event/ais-empathy-gap

티켓은 무료이며, 아래 링크에서 예약하실 수 있습니다.

*예약을 하는 과정에서, 이 행사를 어떻게 진행하면 더 도움이 되겠느냐는 질문이 있어서, Zoom에서 Live Translation & Transcription 앱인 EventCAT 등을 사용해, 한국어를 비롯한 다국어 번역 지원을 해 주면 더 좋겠다고 의견을 남겼습니다. 예약하시는 분들이 같은 의견을 지속적으로 남겨주시면 좋지 않을까 합니다.

예약 링크: https://www.eventbrite.com/e/digital-education-seminar-with-dr-nomisha-kurian-ais-empathy-gap-tickets-828293637567?aff=oddtdtcreator

아래는 DeepL로 번역한 강연 초록과 강연자 약력입니다.

[강연 초록] 오늘날 어린이들은 클릭 한 번으로 인공지능과 ‘채팅’을 할 수 있습니다. 대규모 언어 모델의 급속한 발전과 생성 및 대화형 AI에 대한 과학적, 교육적 관심이 급증하면서 어린이의 안전에 대한 중요한 질문이 제기되고 있습니다. 이 강연에서는 AI를 ‘공감의 격차’로 구성되는 것으로 개념화하여 의인화의 위험부터 자연어 처리의 결함에 이르기까지 어린이의 관심사에 대한 주요 위험을 고려하는 아동 중심의 AI 접근 방식에 초점을 맞추고 있습니다. 따라서 이 강연에서는 아동 복지에 대한 AI의 연구가 미흡한 결과를 지적하고, 아동 보호의 윤리적 의무를 강조하며 책임감 있는 아동 중심 AI 설계를 위한 사회기술적 옹호를 강조합니다. 이 보고서는 여러 차원의 정책과 실무에서 교육자와 연구자가 고려해야 할 구체적인 실무적 고려 사항을 제시하며 마무리됩니다.

[강연자 약력] Nomisha Kurian 박사는 케임브리지대학교 ‘레버헐름 지능의 미래 센터’의 교육 부교수 겸 부연구위원입니다. 아동 복지를 전문으로 연구하며 현재 인공지능의 혁신이 아동의 복지와 발달에 미치는 영향을 조사하고 있습니다. 그녀는 최근 ‘실제 적용이 가능한 뛰어난 연구’로 캠브리지 응용 연구상을 수상한 최초의 교육 연구자가 되었으며, 최근에는 캠브리지 부총장의 사회적 영향력상을 수상하기도 했습니다. 이전에는 예일대학교 헨리 펠로우로서 국제 인권법을 활용하여 소외된 아동을 위한 집단 따돌림 방지 프레임워크를 설계했습니다. 그녀의 연구는 가장 최근에는 옥스포드 리뷰 오브 에듀케이션, 영국 교육 연구 저널, 국제 인권 저널에 게재되었습니다. 케임브리지 대학교 웰빙과 포용 특별 관심 그룹의 공동 의장을 맡고 있으며, 이전에는 케임브리지 평화와 교육 연구 그룹의 공동 의장을 역임했습니다.

Nomisha Kurian 교수의 연구를 검색해 보니, 이번 온라인 강연 주제가 최근 학술지에 발표된 것을 찾을 수 있었습니다.

링크: https://www.researchgate.net/publication/374803300_AI’s_empathy_gap_The_risks_of_conversational_Artificial_Intelligence_for_young_children’s_well-being_and_key_ethical_considerations_for_early_childhood_education_and_care

초록의 내용이 흥미로워, DeepL로 번역한 것을 아래에 옮깁니다. 한국에서는 아직 이와 같이 어린이 교육 분야에서의 AI 활용에 대해 비판적인 관점에서 이루어진 실제적인 연구를 찾아보기 어렵습니다. 지속적으로 진화하는 디지털 환경에서 새로운 기술로부터 어린이와 청소년들이 얻을 수 있는 교육적 기회와 혜택에 대해서도 관심을 가져야 하지만, 교육 분야 AI의 도입이 갖는 위험성에 대해 알리는 연구와 담론에 대해서도 주목하며, 신중한 접근이 필요하다고 생각합니다.

저도 계속 찾아보며 공부 중입니다. 앞서 소개한 온라인 강연을 듣기 전에 미리 읽어보시면 좋을 것 같습니다.

[논문 초록] 급속한 기술 발전으로 어린 아이들도 인공지능(AI)과 ‘대화’하는 것이 그 어느 때보다 쉬워졌습니다. 교육과 엔터테인먼트를 아우르는 대화형 AI 모델에는 유아 교육 및 보육을 위해 특별히 설계된 모델뿐만 아니라 유아를 위해 설계되지는 않았지만 어린이가 쉽게 접근할 수 있는 모델도 포함됩니다. 따라서 클릭 한 번으로 AI와 대화할 수 있는 상황에서 어린이 복지(wellbeing)에 미치는 윤리적 영향을 비판적으로 분석하는 것은 매우 중요합니다.

이 콜로키움에서는 공감을 모방하도록 설계된 AI 시스템의 특징인 ‘공감 격차’를 지적하고, 아동 복지에 대한 불규칙하거나 부적절한 반응의 위험성을 설명합니다. 또한 대화형 AI가 어떻게 어린이의 정서적 요구에 적절히 대응하지 못할 수 있는지, 학습 데이터에 의해 결정된 사전 정의된 맥락 내에서 작동하는 AI의 자연어 처리의 한계를 추적하면서 주요 사회적, 기술적 우려에 대해 논의합니다. 대화형 AI는 패턴과 데이터 연관성을 인식하는 데 능숙하지만, 비정상적인 말 패턴, 상상력이 풍부한 시나리오 또는 어린이들의 의사소통에서 흔히 볼 수 있는 장난스럽고 비문자적인 언어에 직면했을 때 흔들릴 수 있습니다. 또한 사회적 편견이 AI 학습 데이터에 침투하거나 대화형 AI의 결과물에 영향을 미쳐 안전하고 차별 없는 환경에 대한 아동의 권리를 훼손할 수 있습니다.

따라서 이번 콜로키움에서는 아동을 보호하고 책임감 있는 아동 중심 설계의 윤리적 의무를 강조합니다. 이 콜로키움에서는 유아 교육 및 보육 분야의 대화형 AI에 대한 정책, 관행 및 비판적 윤리적 성찰을 위한 일련의 실질적인 고려 사항을 제시하며, 투명한 의사소통, 지속적인 평가 및 아동의 복지를 우선시하는 강력한 가드 레일의 필요성을 강조합니다.

“AI in Education is a Public Problem.” (교육에서 사용되는 AI는 공공의 문제이다) by Ben Williamson (2024.2.22.)

AI 기술을 교육에 적용하는 문제에 대해 신중한 입장을 취해야 하는 이유를 지금까지 제시된 다양한 주장을 일목요연하게 정리한 글로, 꼭 읽어볼 필요가 있습니다.

AI 및 디지털 기술의 교육적 활용에 대해 비판이론에 근거해 사회학적 분석 연구를 해 온 이 분야의 석학인 Edinburgh 대학교의 Ben Williamson 교수가 지난 2월 22일 블로그에 포스팅한 글입니다.

구글 번역으로 전달 드립니다.

원문 출처: https://codeactsineducation.wordpress.com/2024/02/22/ai-in-education-is-a-public-problem/

지난 1년여 동안 AI가 필연적으로 교육을 변화시킬 것이라는 이야기가 널리 퍼져 있었습니다. 투자자, 기술 업계 인사, 교육 기업가, 학계 사고 리더의 선언문에서 이를 찾을 수 있습니다. 교육 분야에서 AI를 지지하는 주장을 찾고 있다면 전용 저널, 특별호, 핸드북 및 컨퍼런스, 정책 텍스트 및 지침은 물론 소셜 미디어, 교육 및 기술 언론에서 찾을 수 있습니다.

그러나 다른 사람들은 교육 분야에서 AI 에 반대한다고 주장했습니다 . 그들은 그러한 기술이 야기하거나 악화시킬 수 있는 몇 가지 중요한 문제를 조사했으며, 교육에서 AI가 불가피하거나 필요하다고 가정하기보다는 의도적으로 대중 심의를 위해 이러한 문제를 중심으로 삼았습니다. (물론 최근 영국 의회 POSTnote 등 다양한 견해의 균형을 맞추려는 시도도 많이 있습니다 .)

교육 분야에서 AI에 대한 최근 비판은 생성 AI를 ‘공공 문제 ‘로 다루라는 Mike Ananny의 요청과 공감합니다.

우리는 그것을 사람들이 배우고, 자신의 세계를 이해하고, 다른 사람들과 소통하기 위해 사용하는 빠르게 떠오르는 언어로 보아야 합니다. 즉, 공공의 문제로 봐야 한다. … 공공 문제는 집단적으로 논의되고, 설명되고, 관리됩니다. 그들은 독점 지식을 가지고 자신의 일정에 따라 일하는 민간 기업이나 자칭 관리인의 영역이 아닙니다. 진정한 공공 문제는 결코 사적인 이익이나 카리스마 넘치는 권위에 아웃소싱되지 않습니다.

학교와 대학은 결코 변화로부터 보호받을 수 있는 깨끗한 기관이 아닙니다. 그러나 이는 지식이 풍부하고 정보가 풍부한 시민과 대중의 육성을 포함하는 목적을 가진 사회의 사회 기반 시설의 일부입니다. 따라서 AI를 통해 이를 변화시키려는 노력은 공공 문제로 간주되어야 합니다.

이 게시물에서는 교육 분야의 AI에 관한 일련의 21가지 주장을 소개합니다. 이는 제가 요청받은 인터뷰에 대한 메모로 시작되었으며, AI 및 K-12 학교에 대한 향후 보고서에 대해 국가교육정책센터와 협력하여 작성되었습니다. 해당 보고서에서 우리는 AI가 학교의 일부 잘 정의된 상황에서 유익할 수 있다는 점을 인정하지만, AI의 뛰어난 문제가 적절하게 해결되고 공공 감독을 보장하기 위한 충분한 메커니즘이 마련될 때까지 학교 교사와 지도자가 AI를 활용하는 것에 대해서도 경고합니다. 이 게시물은 해당 주제에 대한 최근 토론, 미디어 및 학문을 모니터링하여 스크롤 가능한 문제 및 문제 목록에 가깝습니다. 교육 분야의 AI 비판에 대한 일종의 마이크로 입문서이지만 의심할 바 없이 불완전할 것입니다.

교육 분야의 AI에 반대하는 21가지 주장

정의가 모호함. ‘인공지능’이라는 용어는 명확성이 부족하고 기술의 실제 작동을 혼란스럽게 하며 대부분의 제품이 보장하는 것보다 훨씬 더 많은 기능과 ‘마법’을 의미합니다. 교육에서는 지난 반세기 동안 등장한 다양한 형태의 AI를 분리하는 것이 중요합니다 . 현재 교육 분야의 AI에 대한 대부분의 논의는 분석 및 예측을 위해 학생에 대한 정보를 수집하는 데이터 시스템에 관한 것입니다. 이전에는 종종 ‘학습 분석’이라고 불렸습니다. 그리고 자동화된 대화와 프롬프트를 통해 학생들의 학습을 지원하기 위한 챗봇 교사와 같은 ‘생성 AI’ 애플리케이션이 있습니다. 이러한 기술에는 잠재력, 한계 및 교육에 대한 영향을 정확하게 평가 하기 위해 AI 애플리케이션의 실제 작동 및 효과를 모호하게 하는 일반화된 주장보다 우선해야 하는 고유한 역사, 생산 컨텍스트 및 작동 모드가 있습니다 .

(비판적인) 과대광고에 빠지다. 학교를 위한 AI 홍보는 종종 과장된 광고로 뒷받침 됩니다 . 이는 두 가지 형태를 취합니다. 첫째, 업계의 과대 광고는 정책적 관심을 끌고 교사와 지도자의 관심을 끌기 위해 사용되어 AI를 복잡한 교육 문제에 대한 기술적 솔루션으로 자리매김합니다. AI에는 상당한 자금이 필요하기 때문에 투자자의 관심을 끌기 위한 목적도 있습니다. 둘째, 교육 분야의 AI는 ‘비판적 과대 광고’, 즉 과대 광고에서 AI가 할 수 있다고 말하는 것을 암묵적으로 받아들이고 이를 홍보하는 사람들의 신뢰도를 높이는 비평 형태로 특징지어질 수 있습니다. 두 가지 형태의 과대광고의 위험은 학교가 시급히 해결해야 하는 매우 강력한 기술이 존재한다고 가정하면서 그 기술의 실질적인 한계, 불안정성 및 결함을 인식하지 못한다는 것입니다 .

입증되지 않은 이점. 교육 분야의 AI는 교육 기술 산업에 대한 판매 홍보가 많지만 독립적인 증거는 거의 없다는 특징이 있습니다 . AIED 연구자들은 소규모 연구와 메타 분석을 기반으로 몇 가지 이점을 제안하지만 대부분은 일반화할 수 없으며 대부분은 특정 고등 교육 환경의 연구를 기반으로 합니다. 학교는 제품이 주장된 방식으로 ‘작동’한다는 증거를 제공하지 않고 학교에 상당한 이점을 약속하는 교육 기술 회사, 심지어는 대형 기술 회사의 마케팅 수사로부터 보호받지 못합니다. 이는 학교 교육의 기존 최악의 측면을 악화시킬 수도 있습니다 .

맥락 없음. 학교에 홍보되는 AI 애플리케이션은 상황이 AI 활용이나 사용에 영향을 미치지 않는 것처럼 일상적으로 간주됩니다. 모든 기술과 마찬가지로 사회적, 정치적, 제도적 맥락은 AI가 학교에서 사용되는 방식(또는 사용되지 않는 방식)에 영향을 미칩니다. 다양한 정책 맥락에 따라 교육 시스템에서 AI의 사용이 결정되며, 이는 종종 특정한 정치적 우선순위를 반영합니다. 학교에서 AI가 사용되는 방식은 예산 가용성, 리더십 비전, 부모의 불안, 교사 역량과 같은 일상적인 제도적 요인과 학교가 외부 정책 지침 및 요구를 해석하고 제정하는 방식을 반영하여 상황에 따라 달라질 것입니다. 학교의 AI는 상황에 무관하지 않고 다양한 국가 및 지역 요인 에 의해 형성됩니다 .

전문가 권위. AI 담론은 학습과 교육에 대한 좁은 이해를 강조하는 교육 전문가로서 AI ‘구루’를 중심으로 합니다. 유명 인사들은 TED 강연 과 같은 플랫폼을 사용하여 AI가 개별화된 형태의 자동화된 교육을 통해 학생들의 성취도 시험 점수를 높일 것이라고 추측합니다. 그러한 주장은 종종 교육의 목적, 가치 및 교수법 관행 이나 학교 성취도를 형성하는 사회 문화적 요인에 대한 중요한 질문을 무시하고 대신 엔지니어링 전문 지식이 더 나은 측정 가능한 결과를 위해 학교를 최적화할 수 있는 방법을 강조합니다.

운영상의 불투명성. AI 시스템은 ‘블랙박스’로 , 종종 기술적인 이유나 독점상의 이유로 설명할 수 없고 교직원이나 학생 모두가 해석할 수 없으며 잘못되었을 때 도전하거나 경쟁하기 어렵습니다. 이러한 불투명성은 행정 또는 교육 과정 에 AI를 삽입하는 모든 행위자에게 책임을 물을 수 있는 학교와 학생의 능력을 제한합니다 . AI가 거대 기술 기업이 생산한 대규모 언어 모델을 기반으로 잘못된 정보를 제공하고 이로 인해 학생들의 오해가 큰 의미를 지닌다면, 책임은 누구에게 있으며, 실수나 오류에 대한 시정은 어떻게 가능합니까?

커리큘럼에 대한 잘못된 정보입니다. 생성적 AI는 사실을 조작하고, 정보를 왜곡하고, ​​출처를 인용하지 않거나, 권위 있는 출처와 나쁜 출처를 구별하고, 인종 및 성별 고정관념을 증폭시킬 수 있습니다 . 일부 교육 기술 회사는 기존 교육 자료만을 기반으로 애플리케이션을 만들려고 노력하는 반면, 다른 회사에서는 사용자에게 응답과 소스를 다시 확인하라고 경고합니다. AI의 광범위한 사용이 학교의 정보 환경을 오염시키고 공식 커리큘럼 자료 및 교육 콘텐츠에 포함된 내용에 ‘대체 사실’을 제공할 위험이 있습니다.

지식 게이트키핑. AI 시스템은 학생들이 접할 수 있는 지식이 허용되거나 금지되는 강력한 결정 요인이 될 수 있는 지식의 문지기입니다 . 이는 두 가지 방식으로 발생할 수 있습니다. 측정 가능한 진행 상황과 ‘숙달’ 측면에서 콘텐츠의 적합성을 계산하여 콘텐츠를 처방(또는 금지)하는 맞춤형 학습 시스템입니다. 또는 탐구 기반 수업 중에 AI가 생성한 검색 엔진 결과에 액세스하는 학생. 여기서 모델은 소스를 결합하여 학생의 질문과 일치하는 것으로 보이는 콘텐츠를 생성합니다. 이러한 방식으로 상업 기술 시스템은 어떤 지식을 다음 세대에 물려줄지 결정하는 데 있어 사회적, 정치적 제도를 대체할 수 있습니다.

무책임한 개발. 교육 분야의 AI 개발은 ‘책임 있는 AI’ 프레임워크를 일상적으로 따르지 않습니다. 많은 AIED 연구자들은 사회적, 윤리적, 정치적으로 책임 있는 문제보다는 공학적 문제를 강조하면서 자신이 개발 중인 기술의 영향에 대해 안주해 왔습니다 .

개인 정보 보호 및 보호 문제. 교육에 AI를 추가하면 여러 면에서 개인정보 침해 위험이 높아집니다. 교육에 사용되는 다양한 분석 시스템은 학생 데이터의 지속적인 수집 및 모니터링에 의존하며 이를 지속적인 감시 및 프로파일링의 대상으로 만듭니다. 학생 데이터와 같은 AI 입력은 데이터가 알 수 없는 위치로 전송되고 처리되므로 개인정보 보호를 위협할 수 있습니다. 데이터 유출, 랜섬웨어, 학교 시스템 해킹도 증가하고 있어 AI 시스템이 더 많은 데이터 수집을 요구함에 따라 학생의 개인 정보 보호가 더욱 취약해질 위험이 높아지고 있습니다.

정신적 쇠퇴. 맞춤형 콘텐츠 제작을 위해 AI에 의존하면 학생들의 인지 과정, 문제 해결 능력 및 비판적 사고가 저하될 수 있습니다 . 또한 AI는 자동화 채택을 포함하여 가능한 가장 효율적인 방법으로 과제 완료, 성적 획득, 학점 획득과 같은 도구적 프로세스와 외적 결과를 증폭시키기 때문에 학습 및 학습의 내재적 가치가 더욱 평가절하될 수 있습니다.

상업화와 민영화. 학교에 AI를 도입한다는 것은 기존 공교육 인프라 에 교육기술 및 거대 기술 산업 애플리케이션이 확산된다는 의미입니다 . 이제 학교는 교육 기술 플랫폼 패치워크를 사용하여 학습 관리 및 학생 정보 시스템과 같은 관리 및 교육 인프라와 상호 운용되는 경우가 많습니다. 이러한 플랫폼 중 다수는 이제 학생 데이터 처리 및 생성 AI 애플리케이션 형태의 AI를 특징으로 하며 AWS, Microsoft, Google 및 OpenAI와 같은 대형 기술 운영자가 제공하는 기본 시설을 통해 구동되므로 민간 기술 운영자가 더 많은 분야에 침투할 수 있습니다. 공립학교 시스템의 모든 일상과 관행에 깊이 관여합니다.

가치 창출. 학교를 겨냥한 AI는 코로나19 이후 기술 가치 하락 이후 업계와 투자자들에 의해 매우 가치 있는 시장 기회 로 취급됩니다. AI의 가치는 학교가 교육 기술 제품에 내장된 AI 애플리케이션에 액세스하기 위해 라이센스 및 구독료를 지불하고(종종 AI 컴퓨팅의 높은 비용을 상쇄하기 위해 높은 비율로), 사용을 통해 수집된 데이터를 향후 용도로 재사용하는 데서 비롯됩니다. 기업의 제품 개선이나 신제품 개발. 이를 경제적 임대료와 데이터 임대료라고 하며, 학교는 AI를 사용하여 두 가지 비용을 모두 지불합니다. 따라서 학교에서의 AI는 학교에서 향상된 가치 추출을 의미합니다 .

비즈니스 취약성. AI는 장기적으로 변혁적인 힘으로 홍보되지만 이를 지원하는 비즈니스 모델은 보이는 것보다 훨씬 더 취약 할 수 있습니다 . AI 회사는 프리미엄 구독, 제3자를 위한 API 추가 기능 및 엔터프라이즈 라이선스를 사용하더라도 수익보다 모델을 개발하고 실행하는 데 더 많은 비용을 지출합니다. 투자자들은 AI를 호의적으로 보고 다양한 부문에 걸쳐 AI의 가속화된 개발에 자본을 투입하고 있지만, 기업 고객과 소비자는 많은 AI 애플리케이션의 실행 가능성에 대한 장기적인 영향으로 인해 관심을 잃은 것으로 보입니다. 여기서 위험은 학교가 기술적으로 매우 불안정하고 모델 제공자의 비즈니스 가치가 추락할 경우 무너지기 쉬운 것으로 입증된 AI 시스템을 구매할 수 있다는 것입니다.

개별화. 학교를 겨냥한 AI 애플리케이션은 종종 학습을 컴퓨터로 모델링할 수 있는 좁은 개인 인지 과정 으로 취급합니다 . 교육 분야에서 AI에 대한 많은 연구가 협업을 지원하기 위한 사용에 초점을 맞춘 반면, 지배적인 업계 비전은 개인화되고 개별화된 교육, 즉 데이터 및/또는 텍스트 프롬프트 및 쿼리에 응답하는 컴퓨터와 상호 작용하는 개인이 경험하는 프로세스입니다. 인터페이스를 통해. 다른 맥락에서 학생들은 학교와 민간 기술 후원자에게 항의함으로써 자동화된 개별화 교육 모델에 대한 불만을 나타냈습니다 .

노동을 대체합니다. 대부분의 교육자에게 AI로 인한 기술 실업 위험은 여전히 ​​낮습니다. 그러나 불안정하게 고용된 교육자들은 비용 절감형 AI로 대체 될 위험이 있습니다 . 많은 교육 기관이 비용 절감과 효율성을 추구하는 상황에서 AI는 교육 노동 비용을 줄이거나 없애기 위한 전략에서 매력적인 제안이 될 가능성이 높습니다.

표준화된 노동. 교사가 자동화로 대체되지 않으면 교사의 노동력은 AI와 협력하여 작동을 보장해야 합니다. 여기서 문제는 AI와 AI가 연결된 플랫폼이 교사의 교육적 전문성에 새로운 요구를 제기하고 AI가 의도한 대로 작동하도록 관행을 형성한다는 것입니다. 교사의 업무는 이미 측정 가능한 성과 개선 및 책임에 대한 정치적 요구와 함께 교육 기술 및 학교 관리 플랫폼을 통한 다양한 형태의 작업 자동화 및 자동화된 의사 결정을 통해 형성되었습니다. 이러한 시스템에 AI를 더 추가하면 측정 가능한 목표를 향한 성과를 높이기 위해 AI와 함께 수행할 것으로 예상되므로 교사 작업의 표준화가 증가하고 강화 될 수 있습니다.

자동화된 행정 진보주의. AI는 수십 년 동안 학교 시스템을 특징지어 온 소위 행정 진보주의 라고 불리는 효율성과 측정 가능한 결과/결과에 대한 역사적 강조를 재현합니다 . 새로운 형태의 자동화된 행정 진보주의는 분석, 보고 및 결정을 AI에 위임함으로써 관료주의를 증폭시키고 투명성을 감소시키며 학교 의사결정의 불투명성을 높일 것입니다.

아웃소싱 책임. 교육적 또는 교육적 루틴에 AI를 도입하는 것은 교육적 가치와 목적에 따라 정해진 인간의 책임 있는 판단을 컴퓨터가 수행하는 계산으로 이관하는 것을 의미합니다. 따라서 교사의 교육적 자율성과 책임은 AI에 의해 손상됩니다. 가르칠 방법, 가르칠 내용, 학생의 다양한 요구에 적응하는 방법에 대한 중요한 결정이 역할을 맡을 수 있는 효율적인 기술에 아웃소싱되기 때문입니다. 교사를 대신하여 수업 계획, 자료 준비 및 채점을 담당합니다.

편견과 차별. 교육 데이터와 행정 시스템에서 현재 학생에 대한 예측과 개입에 사용되는 과거 데이터는 역사적 형태의 편견과 차별을 증폭시킬 수 있습니다 . 일반적으로 AI의 편견과 차별 문제는 교육과 같은 분야에서 삶을 변화시키는 결과를 초래할 수 있습니다. 더욱이, 인종 및 성별 고정관념은 생성 AI 애플리케이션에서 널리 퍼져 있는 문제입니다. 우익 단체가 제작한 일부 생성 AI 애플리케이션은 노골적으로 인종 차별적인 콘텐츠 와 허위 정보 서술을 생성하여 젊은이들이 정치적 선전에 접근할 위험을 높일 수도 있습니다.

환경 적 영향. AI, 특히 생성 AI는 에너지 집약적 이며 환경 지속 가능성에 위협이 됩니다. 전 세계 수백만 명의 학생들이 학업을 지원하기 위해 정기적으로 AI를 사용하고, 학교에서는 교육 및 관리 목적으로 AI를 배포한다는 비전은 환경에 막대한 피해를 가져올 가능성이 높습니다. 오늘날의 학생들은 기후 변화의 위험성을 매우 잘 인식하고 있는 가운데 지속적인 환경 악화에 대한 결과를 안고 살아야 한다는 점을 감안할 때 교육 시스템은 에너지 집약적인 교육 기술 의 사용을 늘리기보다는 줄이기를 원할 수 있습니다 .

교육 분야에서 AI에 반대하는 21가지 주장은 AI가 어떻게 직접적인 방식으로 불가피하거나 유익하거나 변혁적인 것으로 간주될 수 없는지를 보여줍니다. 교육 분야의 AI가 논쟁의 여지가 많고 논란이 많다는 것을 확인하기 위해 강력하게 규범적인 관점을 취할 필요조차 없습니다. 즉, 가능한 이익을 실현하고 실질적인 위험을 해결하려면 공적 심의와 지속적인 감독이 필요한 공공 문제입니다. 아마도 이러한 21가지 중요한 사항은 AI 불가피성에 대한 설명과 교육 혁신에 대한 기술적으로 결정론적인 비전과 대조되는 진행 중인 공개 심의의 기초가 될 수 있습니다.

디지털 환경의 아동 권리 관점에서 교육부의 ‘AI 디지털 교과서’ 정책을 수정, 보완하기 위한 논의가 필요합니다.

‘AI 디지털 교과서’가 학교에서 생산되는 학생 데이터를 사기업에 그대로 넘기는 방식으로 추진되고 있음에 문제 제기를 하는 기사가 나왔습니다.

관련 기사: 바로 가기

깊이 있는 취재를 하시는 훌륭한 기자, 탐사보도 전문가, 그리고 기술정보사회의 문제를 깊이 있게 연구하시는 학자와 전문가들이 이 문제에 대해 두루 관심을 가져주시기를 바랍니다.

‘교과서’라고 표현되어 있으니 디지털 방식의 학습 자료라고 생각하시는 분들도 많고 그래서 관심을 기울이지 않으신 분들도 있을 거라 생각합니다. 그러나 ‘AI 디지털 교과서’는 단지 학습자료가 아니라 디지털 플랫폼이 학교를 통해 학생들의 삶에 들어오는 문제입니다.

가장 최근의 정책은 “AI 디지털 교과서 개발 가이드라인“ 보고서(한국교육학술정보원, 2023.8.)에서 볼 수 있습니다.

그런데 이 정책이 추진되는 과정과 논의가 충분한 설명 없이 정부 당국 및 산하기관과 교육행정, 교육공학, 컴퓨터교육 분야의 일부 전문가의 참여에 의해 불투명하게 이루어지고 있고 그 추진 속도가 너무 빠르기 때문에, 보다 다양한 전문가들의 참여 하에 문제들을 깊이 있게 검토하고 정책에 반영하거나 수정 보완하는 신중한 태도의 논의, 연구, 제언들이 필요하다고 봅니다.

특히 어린 학생들의 데이터 권리, 데이터에 반영되는 사생활 보호 등의 측면에 대해서는, AI 기술과 디지털 플랫폼을 정보 인권, 데이터 권리, 감시사회 등의 차원에서 깊이 있게 연구해 온 철학, 정보기술사회학, 비판 커뮤니케이션 등 분야의 학자들과 전문가들이 적극 관심을 갖고 문제의 소지가 무엇인지 들여다보며 목소리를 낼 필요가 있습니다.

학생들의 학습 데이터를 활용해 “AI 튜터”나 AI 평가 시스템을 통해 학생 맞춤형 학습을 제공하는 것은 학생들의 학습 결과물을 어떻게 데이터로 사용할 것인지에 대한 깊이 있는 논의를 필요로 합니다.

예를 들어 학교 국어 수업에서 학생들이 수업 중 활동 혹은 수행평가 결과물로 제출하는 말하기, 글쓰기, 토의 토론, 발표, 미디어 제작 결과는 학생들의 이름이나 주소 등 개인식별정보를 삭제한다 하더라도 누구의 음성인지, 누구의 모습인지, 누가 한 이야기와 발언인지 등을 쉽게 유추할 수 있는 경우가 다반사입니다.

수학 문제 풀이나 코딩 연습 활동 등의 학습 결과물과는 달리, 국어, 도덕, 사회 등의 과목은 과목 성격상 학생들의 개인적인 경험, 생각, 감정 등에 관련된 많은 정보가 학습 결과물에 담깁니다. 따라서 이런 과목 혹은 이런 성격의 활동 결과인 학생 데이터를 “AI 튜터”의 학습 데이터로 사용하거나 이런 기술을 활용해 학생들에게 “맞춤형 예시 자료” 등을 제공하는 방식으로 사용하는 것은 매우 위험합니다.

’AI 기술‘을 교육에 도입할 때에는 단지 해킹을 방지하는 기술적인 ‘보안’만 잘 해결하면 아무 문제가 없는 것이라고 보시는 분들의 논의도 보았습니다. 그러나 기술적인 보안뿐 아니라, 학생 데이터의 수집, 접근, 보관, 사용 및 폐기의 과정과 방법 측면에서 기술정보사회의 위험, 정보 인권과 윤리 등 매우 복잡한 문제들을 방지할 수 있어야 합니다.

사실 연구자들이 이런 자료를 연구 목적으로 수집하려면, 예를 들어 어린이, 청소년들을 인터뷰하고 그림을 그리게 하거나 글쓰기를 하게 하는 경우에도 연구 윤리가 엄격히 적용되고, 수집된 데이터는 익명 처리뿐 아니라, 내용상 사생활 침해가 이루어지지 않도록 분석과 해석, 발표 이전에 전처리가 매우 세심하게 이루어져야 하고 동의 절차도 까다롭습니다.

데이터 수집, 보관, 접근, 보존 기간괴 방법, 파기 방법과 시기 등을 포함해 생명윤리위원회의 사전 승인을 받아야 함은 물론이고, 자발적 동의를 하지 않은 사람들의 자료는 수집 및 사용할 수 없고, 자료 수집에 동의헸다 하더라도 마음을 바꾼 경우 동의를 철회할 수 있고, 이 과정에서 어떤 불이익도 받아서는 안 됩니다.

그런데 현재 추진되는 ‘AI 디지털 교과서’ 정책은 (실제로는 전자책 형태의 ‘교과서’인 것이 아니라 그것을 포함한 교수학습평가 플랫폼임) 학생들의 학습 결과물들을 디지털 플랫폼에 탑재해 ‘맞춤형 교육’을 위한 AI 학습 데이터로 사용하는 수업과 평가를 전제로 한 것으로 보입니다.

이런 엄청난 변회를 가져오는 정책에 대해 아직까지 교육부는 교사, 학생, 부모를 포함해 우리 사회 전체적으로 어떤 사회적인 합의 절차도 진행한 바 없으며, 정보 인권, 사생활 보호를 비롯한 데이터화 사회의 문제에 대한 전문가들의 의견를 듣는 절차도 전혀 없었습니다. 지난해인 2023년 6월에 교육부에서 정책을 발표한 후 공청회 한 번 없이 정책에 속도를 냈고, 그로부터 불과 두 달만인 2023년 8월에는 아래 댓글에 링크된 ‘AI 디지털 교과서 개발 가이드라인’이 발표되었습니다.

AI 디지털 교과서 사용 여부, 사생활 보호 등에 대해 각 학교의 부모(보호자)와 학생들에게 어떻게 설명하고 동의를 받을 것인지, 부모나 보호자가 동의하지 않는 학생들의 학습권은 공교육 내에서 어떻게 보장할 것인지, 다른 방식으로 수업과 평가를 하는 학교는 없애겠다는 것인지, 그렇지 않다면 학교에 따라 AI 기술의 사용 방식과 정도를 조절하거나 거부 또는 중단할 수 있는 선택권을 어떻게 보장할 것인지 등에 대한 논의 및 정책 반영이 반드시 필요합니다.

에듀테크가 곧 AI 기술은 아니며, AI 디지털 교과서나 플랫폼 사용에 대한 신중한 접근이 디지털 기술을 교육에 활용하는 것을 ’all or nothing‘과 같이 단순하게 생각해 거부하는 것도 아닙니다. 제 글이 디지털 기술과 AI 기술에 대한 거부감을 바탕으로 한 것이 아니라는 점은 이해하실 거라 생각합니다.

그러나 ChatGPT 등 생성형 AI 기술은 만13세 미만 아동의 경우 직접 사용이 아니라 부모나 교사 등 성인을 통한 간접 체험만 허용되는 반면, AI 디지털 교과서를 실제로 설계하는 사람들이나 기업들이 이를 학생들의 AI 튜터 활용에 어떻게 ‘간접 체험’의 방식으로 적용하도록 유도할 것인지, 혹은 꼭 그렇게 해야 하는지에 대한 논의조차 실종되어 있습니다.

학생의 연령에 따른 발달과 학습이 균형 있게 이루어지도록 하는 실물 교실 공간, 그 안에서 사용되는 종이 교과서, 종이 노트/워크시트 활용, 손글씨 쓰기, 얼굴 보고 말하기 등 다양한 수업 활동을 기획하고 운영하는 ’사람 교사‘의 역할을 새삼 주목합니다. 표정, 몸짓, 움직임, 학생들과의 물리적 거리, 말걸기와 침묵 등의 교육적 가치와 효율성을 교실 상황에 적합하게 이해하고 실행히며, AI와 디지털 기슬을 학습 목적과 환경, 학교 구성원의 동의에 따라 유연하게 적용하도록 자율성을 부여해야 합니다. 그런데 이러한 선택권이 정책에서 논의된 바 없습니다.

학생의 다양한 발달상의 요구(발달 지연, 자폐/ADHD 등 신경다양성, 사회성 기술 훈련, 사회정서적 발달 등)로 인해 특수교육의 도움이 필요한 학생들의 디지털 기술과 AI 기술 이용에 대한 접근성과 활용 방법도 중요하게 다루어져야 합니다. 전반적으로 ‘AI 디지털 교과서 정책’에는 ‘학생 맞춤형 교육’이라는 말을 제외하고는 교수학습평가 방법에 대한 그간의 연구 성과를 바탕으로 한 세심한 논의를 찾아볼 수 없습니다.

AI 디지털 교과서 정책 역시 유엔아동권리위원회의 일반논평 25호에서 국제 사회에 권고한 ‘디지털 환경의 아동권리’를 존중하고 실현하는 관점에서, ‘기회’와 ‘혜택’뿐 아니라 기술사회의 ‘위험’으로부터 학생들을
보호하고 학습 방식에 대한 선택권을 존중하고 보장하는 관점에서도 균형 있고 신중한 논의가 필요하다고 보며, 이를 위해 현재의 정책 추진과 시스템 개발 및 학교 현장 적용 일정을 포함한 속도 조절과 사회적 숙의가 이루어져야 한다고 봅니다.

이 문제에 대해 지속적으로 관심 갖고, 취재, 보도, 학술 세미나/포럼 개최, 연구 논문 작성과 발표 등 각자의 방법으로 주시기 바랍니다.