(이제는 말할 수 있다.)
지난 7월에 온라인으로 먼저 출판된, 이성철 선생님과 함께 연구하고 작성해 출판된 에듀테크 연구에 대해 받았던 편집장과 두 명의 리뷰어에게 받은 총평과 리뷰어 1, 2의 심사평과 조언.
심사평을 받아보는 것은 언제나, 늘 떨리는 일이다. 그런데 편집장과 심사자들이 정말로 이 연구의 취지와 연구 문제, 이론적 개념, 방법론, 결과 등을 정말 꼼꼼하게 읽어주고, 잘된 점에 대한 약간의 칭찬으로 시작해, 개선해야 할 사항들에 대해서는 박사학위 논문 쓰며 지도받던 때처럼 세밀한 부분들까지 정말 ‘팩폭’ 수준으로, 매우 아프지만 아주 정확한 지적을 해 주었다. 그리고 수정 방안에 대해서도 건설적이고 정성어린 조언을 해 주었다.
정말 이 분야 대가들이 읽고 조언을 해 주었구나 하는 감사한 마음이 들면서도, 낯뜨거워지는 마음과 “어떡하지???” 하는 막막함이 몰려왔던 기억은 생생하다. 결국 제1저자와 함께 먼저 각자 읽고 수정 방향 구상을 해 온 후, 2박 3일 꼬박 집중 의논하고 수정해서 제출, 그 다음엔 다행히 바로 통과되었다.
최근에 이런 귀한 경험을 하면서, AI 때문에 논문 투고가 쏟아지고 리뷰어 구하기가 점점 더 어려워진 상황 속에서, 정말 소중한 조언은 인간 리뷰어에게만 얻을 수 있다는 생각을 새삼 다시 했고, 그래서 나도 리뷰를 맡으면 이렇게 해 주게 되었다.
아래는 앞으로를 위해서도 기록으로 남겨두고 공유하는 번역과 핵심 조언 요약.
<편집장 결정 서한>
정현선 박사님께,
Learning, Media and Technology에 투고하신 ”Making Inclusive Learning: How UDL Shapes Production Culture in an EdTech Company“ 원고의 심사가 끝났습니다.
심사위원 의견은 서한 하단에 있습니다. 전반적으로 호의적이며, 수정을 거치면 게재에 적합하다는 의견입니다. 수정 시 다음 두 가지를 반드시 다뤄 주십시오.
• 이 사례 연구의 더 넓은 의의와, 이 사례가 에듀테크의 ’만들어짐(making)‘에 대해 무엇을 말해 주는지 설명해 주십시오.
• ’경계 객체(boundary objects)‘가 무엇을 뜻하는지 정의하고, 사례에 적용하기 전에 충분히 설명해 주십시오.
심사위원 의견과 별도로, 편집진은 원고가 이 주제와 관련된 최근 학술지 문헌을 반영하고 있는지 점검해 보시길 권합니다. 반영되지 않았다면 참고문헌을 갱신해 주십시오.
수정 시에는 심사위원 의견에 대응하여 무엇을 바꾸었는지 밝히는 커버레터를 함께 제출해 주십시오. 원고는 참고문헌을 제외하고 8,000단어를 넘지 않아야 합니다. 내용을 추가할 때는 가능한 한 간결하게 쓰고, 필요하면 다른 부분을 줄여 주십시오.
최종본 처리를 위해 비익명 버전도 올려 주십시오. 전체 저자 목록, 소속, 실명 인용, 참고문헌 목록 앞의 기여자 안내가 들어 있어야 합니다.
수정본은 안내된 제출 링크로 제출하시고, 수정하기로 하셨다면 지적된 각 사항에 대한 변경 목록 또는 반박문을 함께 내 주십시오. 기술적 문제는 저널 편집 사무국으로 문의하시면 됩니다.
Learning, Media and Technology는 투고 논문의 신속한 출판을 지향하므로 수정본을 가능한 한 빨리 올려 주십시오. 합리적인 기간 안에 수정이 어렵다면 새 투고로 취급할 수 있습니다.
Reviewer 1
논문이 매우 좋습니다. 전통적인 연구논문 형식을 따르고 있어 적절하고, UDL을 설명한 부분(UDL이 체크리스트처럼 쓰인다는 지적이 특히 좋았습니다), 연구 방법, 연구 결과 등이 잘 서술되어 있습니다.
제 주된 우려는 ”그래서 뭐가 중요한가(so what)“입니다. 이 연구는 질이 높고 필요한 연구입니다. 다만 맥락을 따져 보면, 한국에서 출발해 다른 곳에도 사무소를 둔 도구에 대한 사례 연구입니다. 그 자체가 문제는 아니며, 논문 구조도 탄탄합니다. 문제는 이 정보를 얻은 지금, 다른 에듀테크 플랫폼이나 연구자들은 이것으로 무엇을 해야 하느냐는 점입니다(논의의 네 가지 요점을 염두에 두고 하는 말입니다). 결국 이 분석이 왜 중요한가입니다.
핵심 제안은 논의 뒤에 ”에듀테크 개발자를 위한 제언“ 같은 절을 추가하는 것입니다. 다른 회사가 자사에서 UDL을 이렇게 다루는 방식을 재현할 수 있는 실질적 전략을 제시하는 절입니다(UDL을 제품 개발만이 아니라 조직 문화로 옮겨 가는 관점에서). AlphaLearn은 어떻게 UDL을 지금처럼 바라보게 되었고, 다른 기업(스타트업, 중견기업, 대기업)은 어떻게 UDL에 반응하며 이를 자사 문화의 일부로 만들 수 있을까요?
한계점 절도 짧게 추가해 보세요. 논문에는 한계가 하나만 적혀 있는데, 일반화 가능성이 궁금합니다. 분석은 훌륭하지만, 다른 회사가 쓸 수 없다면 이는 눈에 띄는 한계입니다.
전체적으로 논문은 탄탄하지만 지금은 다소 틈새 주제입니다. 앞서 말한 구체적 전략으로 일반화 가능성을 다루면 크게 도움이 될 것입니다.
또 생각해 보니, 제품만이 아니라 기업의 UDL 측면을 평가하는 가이드를 다른 연구자들에게 제공할 수도 있겠습니다. 이미 괜찮은 모형이 있으니 이를 공식화해 다른 에듀테크 도구에도 적용할 수 있게 하면, 논문의 영향력이 커지고 틈새라는 인상에서도 벗어날 수 있습니다. 행운을 빕니다!
Reviewer 2
총평. AlphaLearn(가명)이라는 에듀테크 기업에서 UDL이 어떻게 작동하는지 살핀 통찰력 있는 사례 연구입니다. 생산 문화(Caldwell, 2008), 사회기술적 상상(Jasanoff & Kim, 2009; Jasanoff, 2015), 경계 객체 이론에 플랫폼 연구의 통찰을 결합하여, 교실 도입 이전의 조직 실천과 대외 서사를 통해 ’포용‘이 어떻게 만들어지는지 보여 주는 설득력 있는 개념적 기여를 합니다. 방법론도 견고합니다. 면담, 인터페이스 화면 자료 조사, 담론 연구를 삼각 검증하여 회사 내부 논리가 UDL 관련 실천을 어떻게 형성하는지를 효과적으로 뒷받침합니다. 면담 참여자를 신중히 익명화하고 인터페이스 화면을 재구성하여 사생활을 보호한 점에서 윤리적 인식도 돋보입니다.
핵심 강점. 개념적 독창성입니다. LMS를 경계 대상으로, UDL을 디지털 학습 설계·평가의 지침으로 다룬 기존 논의를 확장하여, UDL을 디지털 시스템 속 ’조정 장치(coordination device)‘로 다룹니다. 포용이 교실에 들어오기 전, 일상적 노동과 대외 서사를 통해 어떻게 계속 만들어지고 수행되는지를 개념화합니다.
이어서 보완할 점을 말씀드립니다.
1. 시의성. 경험 자료는 설득력 있지만, 이 사례 연구가 왜 ’지금‘ 중요한지를 더 부각할 수 있습니다. 시의성을 강조하면 연구의 의의가 분명해지고, 독자가 이 시점에 이 결과를 기록하는 일이 왜 중요한지 이해하게 됩니다.
2. 용어와 문장. 원고가 때때로 밀도 높은 전문 용어를 써서 핵심 주장이 가려질 수 있습니다. 명료함과 접근성은 여전히 중요합니다. 문장을 단순하게 하고, 가능하면 추상적 명사·형용사를 구체적 사례로 바꿔 주세요. 특히 ”platformised accountability,“ ”platformised accountability pressures,“ ”platformised accountability regimes“는 논문의 중심 개념으로 반복해서 나오고 핵심 논증의 토대인데, 독자가 뜻을 충분히 파악하도록 더 명시적으로 설명해야 합니다.
3. 근거와 해석. 연구 결과 절에는 해석 없이 제시된 면담 인용이 많아 주장과 근거 사이에 틈이 있습니다. 각 근거가 어떤 구체적 주장을 뒷받침하는지 밝혀 주세요. 표 4도 마찬가지로, 인용문 분석이 무엇이 정당화되고 신뢰성을 얻는지를 어떻게 보여 주는지 밝혀야 합니다. 주장과 근거의 연결을 더 분명히 하면 전체 논증이 강해집니다.
4. 4.2.2절. 그림 1과 2의 연결, 그리고 두 그림이 ’생태계(ecosystem)‘ 전반의 참여를 어떻게 보여 주는지 불분명합니다. 이 맥락에서 ’생태계‘를 정의하고, 그림이 참여를 어떻게 읽을 수 있게 하는지 설명하면 절 전체가 좋아집니다(이 절은 플랫폼 인프라가 UDL을 ’이동하는 증거(travelling proof)‘로 정당화하고 유지함을 보이려는 것입니다). 또한 면담자의 인용(본문과 표 4의 마지막 분석 초점 ”OOO 작업을 둘러싼 리브랜딩 긴장“에 나옴)을 제시할 때 맥락이 부족합니다. ”OOO 작업“이 AlphaLearn의 다른 활동과 어떻게 다르고 어떻게 맞물리는지 불분명합니다. 정확히 무슨 작업이며, 지금까지 논의한 것과 별개의 것인가요? 맥락을 더 제공하면 이 절을 이해하고 혼란을 막는 데 도움이 됩니다.
5. 결론. 결론이 플랫폼화된 에듀테크 전반에 대해 넓은 주장을 합니다. ”플랫폼화된 에듀테크에서 포용적 학습은 생산의 성취이다“ 같은 포괄적 진술은 단일 기업 사례에 기반한 연구에서 과잉 일반화가 될 수 있습니다. 연구 범위를 반영한 더 신중한 표현이 필요합니다. ”감사 가능한 포용(auditable inclusion)은 반복되는 조건, 그리고 점점 산업적 규범을 가리킨다“ 같은 진술도 뒷받침하는 인용이 필요합니다.
종합. 사례 연구에서 맥락적 통찰을 끌어낸 설득력 있는 원고입니다. 언어를 단순화하고, 근거와 주장의 연결을 강화하고, 결론을 다듬고, 연구의 의의를 부각하는 소소한 수정만 거치면 특별호에 큰 기여가 될 것입니다.
<세 사람의 총평과 심사평 핵심 요약>
– 앞으로도 연구하고 논문 쓰면서 두고두고 참고해야 할 사항들.
”이 논문의 핵심 주장은 무엇이고, 독자는 왜 그것을 믿고 중요하게 여겨야 하는가?“ 이 질문에 답하려면 용어를 줄이고 말을 쉽게 하는 것만으로는 부족하고, 연구를 더 넓은 세계와 연결해 주는 ’맥락화‘가 필요하다는 것이 공통 메시지.
① 어려운 말을 덜고, 핵심 개념에 집중하기 (Reviewer 2)
저자의 중심 개념인 ”platformised accountability“는 논문 전체를 떠받치는데도 정의가 충분히 설명되지 않았다는 지적임. 교훈은 용어를 많이 쓰는 것이 아니라, 핵심 용어 몇 개를 독자가 쓸 수 있을 만큼 풀어 주는 것이 학문적 엄밀함이라는 것.
추상 명사를 구체적 사례로 바꾸라는 요구도 같은 맥락. 편집장이 ’경계 객체‘의 정의를 요구한 것 역시 같은 문제.
이론적 개념은 사례에 쓰기 전에 독자와 먼저 공유해야 한다.
② 근거를 ’해석‘해서 주장에 연결하기 (Reviewer 2)
면담 인용을 해석 없이 나열하면 독자가 ”그래서 이 인용이 무슨 주장을 뒷받침하는가?“를 스스로 추측해야 한다. 인용은 증거 그 자체가 아니라, 분석자가 해석을 붙여야 비로소 증거가 된다. 표 4와 4.2.2절의 그림에 대한 지적도 같은 지적. 그림과 표가 무엇을 보여 주는지 말해 주어야 하고, ’생태계‘나 ’AI 교과서 작업‘ 같은 용어는 독자가 모른다고 가정하고 맥락을 제공해야 한다.
③ 사례를 더 넓은 시야 속에 놓기 (편집장, Reviewer 1, Reviewer 2)
• 편집장: 이 사례가 에듀테크의 ’만들어짐‘ 전반에 대해 무엇을 말해 주는지 설명하라.
• Reviewer 1: ”so what?“ 다른 기업과 연구자는 이 결과로 무엇을 해야 하는가? 제언 절, 일반화 가능성을 다루는 한계 절, 다른 연구자가 쓸 수 있는 평가 틀을 제안하라.
• Reviewer 2: 이 연구가 ’지금‘ 왜 중요한가(시의성)를 밝혀라.
즉 ”한 회사의 이야기“를 ”다른 맥락에서도 참고할 수 있는 이야기“로 바꾸라는 요구
④ 주장의 범위를 사례에 맞추기 (Reviewer 2)
단일 기업 연구에서 ”플랫폼화된 에듀테크 전반“을 말하는 것은 과잉 일반화임. 맥락화는 사례를 키워 말하는 것이 아니라, 사례의 범위를 정직하게 밝히면서 시사점을 제시하는 일임. 근거 없는 진술(”산업적 규범“)에 인용을 요구한 것도 같은 맥락임.
결론적으로, ‘minor revision’ 판정을 받았으나, 자체적으로는 major revision으로 생각하고 완전 대공사를 해야 했다.
<이 경험을 통해 이후 박사과정생들 지도를 위한 점검 질문으로 남긴 것>
1. 내 논문의 핵심 개념 3~4개를, 해당 분야를 모르는 독자에게 두세 문장으로 설명할 수 있는가?
2. 내가 넣은 인용·표·그림마다, 이것이 어떤 주장을 뒷받침하는지 한 문장으로 말할 수 있는가?
3. 이 연구가 ’왜 지금, 왜 이 사례여야 하는가‘를 서론에서 답했는가?
4. 결론의 주장 범위가 내 자료의 범위와 일치하는가?
5. 독자(연구자, 실천가)가 이 결과를 가지고 무엇을 할 수 있는지 제시했는가?
용어 설명은 늘리되 문장은 단순하게 하는 것이 주어진 분량의 제약 속에서 맞는 방향임.
이 개인적인 경험이 사회과학 분야에서 질적 연구하시는 다른 분들께도 조금이라도 도움이 되면 좋겠다.
You must be logged in to post a comment.