우리 논문심사를 심사해보아요

지난 호에서 [학술지 논문]을 주제로 ‘투고’ 경험을 다루었다면, 이번 탁상共론에서는 그 반대편에 있는 ‘심사’라는 자리에서 연구자들의 경험을 풀어보았다. 졸업을 하자마자 어디선가 예고 없이 찾아오는 논문 심사는, 연구자의 기본적 책무이자 서로가 익명으로 마주하는 학술적 대화의 한 형태라는 점에서 적잖은 공력을 들이게 되는 중요한 학술 활동이기도 하다.

논문을 투고하고 심사 결과를 받아보는 과정을 반복하다 보면, 자연스럽게 ‘심사자는 과연 어떤 자격을 갖춰야 하는가’, ‘좋은 심사란 무엇인가’와 같은 질문들이 따라온다. 하지만 정작 그 내용과 형식에 대한 논의는 여전히 실전에 들어서기 전까지는 공유되지 않은 채, 암묵적인 기밀로 남아 있는 것이 현실이다. 이번 대담에서는 최근 활발하게 심사 요청을 받고 있는 신진 연구자 시크릿과 애플파이를 초대해, 처음 심사를 맡았던 기억부터 ‘좋은 심사’에 대한 고민, 그리고 국내 학계의 학술지 시스템이 안고 있는 한계까지 다양한 이야기를 나누어 보았다.

참석자 소개

시크릿 연구 분야 상관 없음! 심사비 다 기부합니다! 모든 심사요청 대환영! 심사를 위해 무언가를 읽는 게 큰 공부가 된다고 생각한다. 그래서 모든 심사에 진심을 다해 임하는 편. 그런데 한 가지 바람이 있다면, 내가 투고한 논문의 심사자도 나만큼만 너그럽다면 참 좋을텐데..!

애플파이 여러 일에 허덕이느라 남의 논문 심사하는 게 공부가 되어 버린 신진 연구자. 논문 투고도, 게재도, 심사도 제법 겪었다고 생각하는데, 그 어떤 것도 좀처럼 쉬워지지는 않는다. 논문이란 무엇인가? 심사란 무엇인가?

(1부부터 참석한 푸우딩, 파란고래, 팔랑귀의 소개는 여기를 참조!) 

#1 졸업하자 밀어닥치는 심사요청, 무엇이든 한다 

파란고래 이번 시간에는 학술지 논문 심사자로서의 경험을 말해볼까 해. 우선 시크릿과 애플파이 모두 심사경험이 꽤 있는 편이지?

애플파이 심사 정말 많이 들어오는 편이야. 한 달에 한 편은 꼭 맡는 것 같은데? 신진연구자라는 위치 때문이기도 할 거고, 학술지 편집위원들도 원로보다 최근에 활동하는 젊은 연구자 분이 많다 보니까. 아니, 근데 나 방금 얘기하다 생각났다. 심사요청 들어온게 또 있었는데 잊고 답장을 못 했네, 큰일났네!

시크릿 올해 초에 CV 쓰면서 메일함에서 심사 기록을 뒤져 봤는데 나도 벌써 15군데 학술지에서 심사를 했더라고. 한 번 심사 루트가 뚫리기 시작하면 알음알음 여러 곳에서 연락이 오는 것 같아.

푸우딩  첫 학술지 투고를 했을 때는 비로소 내가 이제 조금 연구를 할 수 있는 사람인 것 같다는 느낌들을 서로 나눴었거든. 다들 첫 심사의 경험은 어땠어?

애플파이 첫 심사 자체는 잘 기억이 안 나네. 요즘엔 남의 연구를 읽을 시간이 적어서 심사 때도 약간 ‘공부 겸 읽겠다’는 느낌으로 읽는 편인데, 실제로 배우는 부분도 많아. 그런데 논문들이 관점도 그렇고 연구 분야랑 방법론도 다 다르다보니 결국 심사 자체는 내 주관에 따라 하게 되는거잖아. 그래서 내 심사기준도 뭔가 들쭉날쭉하게 되는 것 같고. 아직까지는 ‘심사를 되게 잘하고 있다’는 느낌을 스스로 받지 못하고 있어. 그래서 실제로는 나도 투고를 해보고 나서 심사자 코멘트를 보면서 이런 식으로 해야겠다고 판단하게 되더라.

시크릿 내가 처음 심사했을 때는 박사 수료 때였는데, 애플파이랑 비슷하게 생각했던 것 같아. 이런 걸 나에게 맡겨도 되나 싶으면서, 나도 심사 받을 때 기분이 좋지 않았을 때가 많아서 어떻게 하면 기분 나쁘지 않게 평가서를 줄 수 있을까, 대물림을 하지 않겠다는 어떤 다짐이 그때 있었는데 얼마나 잘 됐는지는 모르겠어.

파란고래 나도 딱 한번 심사를 볼 기회가 있었는데, 막상 심사를 하니 이 톤을 어떻게 잡아야 될지 고민이더라고. 정중하면서도 전문적으로 쓰고 싶은데. 그래서 심사서 쓰기 전에 막 선생님들한테 다 물어보고 다녔어. 존댓말로 쓰시냐 평서체로 쓰시냐 하면서(웃음) 다들 심사 톤 같은 건 어떻게 쓰고 있어?

팔랑귀 학술지마다 심사서의 형식이 다 있잖아, 내가 받았던 어떤 심사서에는 학회에서 보내는 안내문의 흔적이 남아 있었는데, ‘투고자들에게 무례한 표현은 쓰지 말아달라’는 식으로 지침을 주기도 하더라.

시크릿 얼마 전에 정말 누가 봐도 원로고 은퇴한 교수가 쓴 걸로 추정되는 논문 심사를 본 적이 있어. 정황상 확실한데 왜 나한테 심사를 줬을까 싶었는데, 내가 젊은 사람인 게 티가 나지 않게 하고 싶은거야. 고민 끝에 챗지피티한테 '50대 아저씨 기성연구자의 톤으로 고쳐달라' 했더니 정말 그렇게 고쳐주더라고(웃음) 이렇게도 챗지피티를 활용할 수 있다고 자랑하고 있어.

파란고래 심사를 많이 받다 보면 이런 것도 고민일 것 같거든. 나 같은 경우엔 학위 논문이 되게 뾰족한 주제다 보니 나중에 심사요청도 내 주제랑 부합한 논문이 들어올 것 같지가 않은 거야. 다들 심사서를 받을 때 주제 연관성이 좀 있는 편이야? 그게 없을 때 청탁을 거절하기도 하는지 궁금해.

애플파이 우선은 내 전공분야 안에서 그냥 질적 연구면 다 본다는 느낌으로 하고 있어. 물론 양적 연구도 부탁받아서 심사한 적 있고. 심사자가 나만 있는 건 아니니까 나는 내 시각에서 볼 수 있는 부분을 주면 되겠지 싶어서 수락했었어. 시간이 부족해서 거절한 적은 있어도 주제 때문에 거절한 적은 없는 것 같아.

시크릿 나도 연구분야 특성상 양적 논문 심사도 자주 하는 편이야. 오히려 심사를 통해 양방에 대한 어떤 벽을 무너뜨리는 기회도 됐어. 심사를 하면 사실 한 번도 내가 써본 적 없거나 아예 알지 못하는 방법으로 쓴 논문들도 오거든. 새롭게 공부도 되고, 수업 시간에 그걸 소개시켜 줄 수도 있어. 그래서 왠만하면 심사 거절을 안 하는 것 같아. 돈을 안 주긴 하지만 거의 모든 부분에 도움이 되니까.

파란고래 일단 들어온 거는 내가 다룰 수 있는 거라면 다 한다는 거네. 기본적으로 심사를 한다는 건 내 영역을 초과할 수밖에 없는 여러 주제들을 하게 되는 거구나.

#2 좋은 심사평과 나쁜 심사평?

파란고래 아까 애플파이가 심사를 잘 한다는 느낌이 아직 안 든다고 했었지. ‘심사를 잘한다는 거’란 과연 뭘까? 실제로 겪어 보면서 각자가 느꼈던 좋은 심사의 기준이 있을 것 같아.

시크릿 이건 내가 투고자로서 생각하는 좋은 심사의 기준과 이어지는 것 같아. 솔직히 게재 불가를 받더라도 심사자가 내가 무엇을 하려고 했는지를 이해한 상태면 좋을 것 같거든. 근데 나는 이걸 연구한 건데, 나와는 전혀 관련이 없는 다른 걸 자꾸 요구하는 심사평은 좋지 않다고 생각해. 그래서 나의 심사 추구미는 ‘당신이 이런 것을 하려고 했군요!’를 앞에 자세히 적어주는 거야. 물론 그 뒤엔 ‘그런데 이건 이런 부분에서 실패하고 있군요’를 쓰지만.

팔랑귀 난 향후 연구방향을 본인이 제안해 준 심사서가 인상깊었어. 몇 가지 키워드로 이후에는 연구자께서 이런 연구가 가능할 것이라는 내용이었는데, 지금 당장 연구에 구현하지 않아도 나중에라도 해보라는 제안이 참 좋더라구.

시크릿 내가 심사를 잘하고 있는지는 모르겠지만서도, 심사평을 쓰며 스스로 너무나 공부가 되고 인사이트도 생길 때가 있단 말이야. 심사서를 너무 열심히 써서 아깝다는 생각이 들면서도 왜 이렇게 다들 심사서를 열심히 쓰실까 싶어. 전에 푸우딩이 학교에서는 깊은 코멘트를 받은 적 없었는데 심사에서 그런걸 처음 받아봤다고 했었지.

푸우딩 맞아. 내 지도교수님은 워낙 학생 수가 많아 어쩔 수 없었다고도 생각하지만. 아무튼 심사에서는 ‘네가 얘기하려던 게 이거였지’를 심사자가 너무 잘 이해해 줬고 어떻게 이런 걸 한 번에 알아보지 싶었거든. 근데 갑자기 한편으로는, 지도교수님은 나름 깊은 코멘트를 했는데 내가 못 알아봤던 걸지도... (자기성찰 중)

파란고래 예를 들면 지도교수의 피드백은 전부 말로 되어 있잖아. 학회에 발표할 때도 토론자가 대부분 글보다는 말로 피드백을 주고. 근데 심사서를 받는다는 건 내 논지를 그 사람의 글로 언어화하는 과정이 그 안에 들어 있다 보니까, 이런 걸 확인하는 데서 느끼는 효능감이 있는 것 같아.

푸우딩 반대로, 이렇게는 심사하지 말아야지 싶었던 최악의 심사평을 받아본 적이 있었어?

애플파이 내가 받았던 최악의 심사서는 심사자가 혹시 술을 먹고 쓴 게 아닐까 싶을 정도의 수준이었어. 애초에 문장이 완성되지 않은 채로 왔고 무슨 블로그에 남기는 메모처럼 써져 있더라고. 편집위에 말할까 고민하다가 그냥 심사답변서를 엄청 길게 써서 보냈더니 바로 게재해 주더라구. 편집위원이 심사서의 최소한의 퀄리티를 검토한 흔적이 거의 없는 것 같아서 조금 당황스러웠어.

시크릿 그럴 때, 최근에 나는 심사서를 받고 이의제기를 해본 적도 있어!

파란고래 너무 성의가 없거나 문제가 될 수 있는 평가를 받을 때, 투고자 입장에서 이의제기도 할 수 있구나. 표절처럼 되게 심각한 경우에만 하는 줄 알았어.

팔랑귀 이의제기를 하면 심사위원이 교체되기도 해?

시크릿 학술지마다 이의제기를 받았을 때 처리하는 규정이 달라서 어떤 곳은 교체하기도 하고 어떤 곳은 심사평을 다시 쓰게 해. 사실 관련 규정이 있는 학술지도 잘 안 하는 것 같아. 학술지 운영이 돌아가는 구조를 생각하면, 이의제기가 물리적으로 가능한 시간이 별로 없긴 할 거야.

#3 심사평가와 판정, 그 애매한 기준

팔랑귀 다들 심사를 계속하다 보면 평가에 대해서도 나름의 기준이 생겨? 이를테면 이 정도는 게재가 가능하다거나, 이 정도로 쓰는 건 도저히 안된다거나.

애플파이 아까도 말했지만 ‘내가 심사를 크게 잘하고 있지 못하다’라는 생각이 드는 게, 여러 번 심사를 해도 논문마다 모두 성격이 다르다 보니 그 기준에 대한 확신이 크게 없어서야. 게다가 지역에서 나온 학술지라거나 미등재지의 경우 예상보다 심사 커트라인을 임의로 좀 낮춰야 하는 경우도 있어서 평가기준을 통일하기는 어렵더라구.

팔랑귀 왠지 심사자들한테 제일 애매한 판정은 ‘수정 후 게재’와 ‘수정 후 재심’의 사이에 있을 것 같은데.

애플파이 맞아, 항상 둘 중에 무엇을 줄지가 고민이야. 만약 ‘대폭 수정 후 재심’을 준다면, 큰 방향성이나 구조 자체가 잘못된 논문이라면 부담이 없거든. 근데 그냥 글에 너무 세부적인 오류가 많은 경우라면 양으로 따져야 하는지 질로 따져야 하는지 고민되기 시작하는 거야. 재심을 판정할 만큼의 자격이나 확신이 나한테 없는 것 같기도 해서, 어떨 때는 수정 후 게재 판정을 하는 대신 편집위원회에 이야기하기도 해. 조금 애매하니까 투고자에게 이 지적 사항을 반드시 강조해 달라는 식으로.

시크릿 그런데 어떤 논문에는 정말 재심 판정을 주고 싶단 말이야. 나 같은 경우 학술지 발행주기를 고려해 판정에 반영하고 있어. 만약 2개월에 한 번 나오는 학술지면 마음을 내려놓고 쓰지만, 6개월에 한 번 나오는 곳이면 차라리 투고자가 게재 불가를 받고 다른 곳에 내는 게 더 빠를 테니까.

애플파이 심사자 풀이 좀 좁다고 느껴지는 게, 심사뿐 아니라 투고할 때도 항상 나는 연구 방법 파트에 대한 지적이 오거든. 내 생각에는 내 분야 심사에는 늘 나랑 방법론적 배경이 완전히 다른 연구자가 끼는 것 같아. 그러다 보니 애초에 연구 방법 파트에서 미리 방어를 많이 하는 식으로, 이게 객관적인 기준이란 걸 강조하면서 쓰게 된다고 해야 하나.

시크릿 맞아, 그래서 방법론 파트가 너무 구구절절 되는 것도 문제지. 나는 심사할 때 제일 어려운 게 점수표에 점수를 매기는 거였어. 학술지마다 기준이 다르지만 어떤 곳은 대폭 수정이면 60점 아래로 맞춰야 되기도 하고, 전체적으로 모든 항목에서 높은 점수를 주기가 어려운 선지로 되어 있어. 내가 심사평을 받았을 때도 점수화된 게 기분이 나쁘지만 이런 기준이 옳은건지 잘 모르겠더라.

푸우딩 나중에 ‘심사평 성토대회’ 같은 것도 해야되는 게 아닐까 싶어. 예전에 다른 분야에서 공부하는 친구에게 심사평을 보여준 적 있는데 서로의 경험을 나누면서 여러 가지를 느꼈거든. 대학원생 입장에서는 정보가 없으니까, 좀 열린 장소에서 심사평에 대한 이야기들을 정리하고 좋았던 사례도 나누고 비판도 해보면 좋지 않을까?

파란고래 그런게 있다면 좋겠다. 나도 예전에 투고하고 심사서 받은 경험을 나눌 때 정말 좋았거든. 얘기를 듣다 보니, 학술지마다 차이는 있겠지만 기본적으로 심사서 쓰는 데 다들 공력을 많이 들이는 것 같네? 각자 심사할 때 들이는 품과 심사비용으로 받는 금액도 적절하다고 느끼는지 궁금하네.

시크릿 심사평 쓰는 데는 얼마 안 걸리는 것 같아. 오히려 읽는 데 시간이 걸리고 쓰는 데는 한 1시간 반?

애플파이 나도 그래. 쓰는 건 읽으면서 이미 할 말이 좀 정해진 상태에서 쓰는 거니까 언어만 다듬는 느낌? 심사비는 내 전공분야는 거의 안 주는 것 같은데. 어디서 만 원을 준다고 해서 후원하겠다고 답변한 적은 있었어.

파란고래 놀랍다. 내가 편집간사로 일했던 곳은 심사비 3만 원을 줬거든, 내가 심사했을 때는 2만 원을 받았고. 다 이 정도는 하는 줄 알았어.

시크릿 그런데, 뭔가 2만 원을 준다고 해도 좀 기분이 이상하다고 해야 하나? 그래서 학회에 기부 옵션이 없어도 심사비를 안 받을 수 있는지 물어보는 편이야. 물론 내가 돈을 안 받으면 행정상 문제가 되는 연구소도 있긴 하지만.

팔랑귀 심사비가 매겨지면 노동의 대가가 되는데, 돈을 안받으면 연구자 사이의 협력이 되니까 학계에 기여하는 취지 아닐까.

#4 한국 학술지의 시간은 너무 빨라

푸우딩 나는 해외 학술지들도 좀 궁금해. 투고나 심사에서 해외 저널은 어때?

애플파이 확실히 투고할 때 해외 저널이 더 좋은 심사가 올 거라는 기대가 있어. 연구주제에 맞는 심사자가 매칭될 확률도 높고 도움되는 평가도 많이 받는 느낌이거든. 결국 국내 심사자 풀이 좁아서의 문제라 생각해. 편집위원을 직접 해 보니까 느낀 건데, 국내 학술지는 한 번에 심사자가 모아지는 경우가 거의 없어. 계속 거절의 연속을 받다 보면 돌고 돌아서 사실 주제와 크게 관련 없는 심사자까지 가게 되니까 연구 방법이나 디테일한 부분만 자꾸 지적하게 되는건 아닌가 싶거든. 그리고, 기한 문제도 좀 큰 것 같아. 우리는 빠르게 심사자를 선정해야 하고 심사 기간과 수정 기간도 되게 짧으니까 수정 반영이 충분히 되지 못할 때도 있잖아. 해외 학술지는 대체로 기한이 몇 개월씩 넉넉하게 주어지는 편이니 심사도 수정도 여유가 좀 많은 편이야. 물론 그만큼 게재에 오래 걸리긴 하지만.

파란고래 얼마나 걸렸었어?

애플파이 최근에 나온 논문은 2년 반 걸렸어. 한번 결과가 올 때마다 수정본은 한 6개월 뒤까지 주면 된다고 안내를 받아서, 그 기한을 다 활용했더니 그렇게 오래 걸렸어.

시크릿 국내 학술지들은 적게는 5일부터 많게는 3주까지 심사기한을 주는 것 같은데. 아무래도 해외 저널은 호별 마감이 없는 경우도 많으니까.

애플파이 전에 한 번 국제 컨퍼런스를 열어서 발표자들을 저자로 모시고 스페셜 이슈를 내보려 한 적이 있거든. 전부 외국 연구자들이었고 중간에서 내가 연락 담당이었는데 원고 마감기한을 한 명도 못 맞추더라고. 기한을 안내하면 ‘난 그때까지 무슨 할 일이 있어서 못 준다’고 하는데, ‘우리는 그런 거 없는데, 우린 그냥 내야 하는데...’ 싶으면서도 너무 민망한 거야. 게다가 우리는 학술지 평가가 들어가니까 투고 기한을 자유롭게 줄 수가 없잖아. 저자들은 연락이 두절되고 학술지 간사는 애가 타고. 결국 그 특집호는 수정본이 안 들어와서 무산됐던 기억이 나.

팔랑귀 와, 내 동료는 정반대의 경험이 있어. 해외 학회에서 발표했다가 특집 기획에 들어와 달라는 요청을 받았는데, 아무리 기다려도 원고를 달라는 안내가 안 오고 기획이 어떻게 진행 중이라는 플랜도 없이 계속 밀리는거야. 한국식 속도라면 우리는 빨리 실적을 내야 하는 상황인 경우가 많잖아. 그쪽 저널 연락만 2년, 3년씩 기다릴 수가 없으니까 혼자 철회하는 경우도 있었어.

애플파이 왜 이렇게 힘들고 빡세게 하는 걸까. 다 같이 천천히 하면 될 텐데.

시크릿 한국은 어쨌든 지금 연구자 자리가 너무 없어서 그런가 싶고. 그리고 한국연구재단이 좀 문제긴 한 것 같아. 모든걸 정량적 평가기준으로 환원시키니까.

푸우딩 지난 시간엔 우리끼리 학술지를 새로 만들자고 얘기했었는데, 얘기를 들어보니 만들기가 만만찮겠다는 생각도 드네.

애플파이 연구재단 평가 때문에 새로 학술지 만들어야 하는 상황은 정말 힘들지. 내 동료도 미등재지 편집위원장으로 일하고 있거든. 학술지를 만들면 편집위원을 모집해야 하잖아. 그런데 신생 학술지 편집위원한테 일을 맡기기도 그렇고, 페이를 줄 수 있는 것도 아니니 투고도 잘 안 될거고. 섭외 전화를 드리면서 결국 ‘이름만 올려주시면 자리 잡히면 일을 드리겠다’ 하고, 편집위원회의 이름으로 출발하긴 하지만 대부분의 일은 그 사람이 하게 되는거야. 이런 걸 보면 세상에 학술지가 그렇게 많은데 왜 또 만드는걸까 싶기도 해.

시크릿 국내 학술지만 2천 개가 넘는데 말이지.

애플파이 학술지를 새로 만들면 규정 만드는 것도 힘들대. 연구재단에서 학술지 규정에 대한 평가 지표 같은게 너무 많으니까 세부 조항으로 고려해야 할 게 많은거지. 그런데 일본도 그렇고 유럽 쪽도 그렇고 해외엔 학술지 등급 같은 게 별로 없나봐. 미국이나 우리처럼 SCI나 등재지 제도와 같은 구분을 엄격하게 두지 않고, 온라인으로 자유롭게 퍼블리시되는 걸 별로 개의치 않고. 학술지인지 잡지인지 모호한 곳인데도 자유롭게 내는 곳들이 많더라.

팔랑귀 확실히 SSCI나 SCOPUS에 포함되는지의 여부가 우리만큼 학술지 평가에 중요한 기준이 되지는 않는 거 같아.

파란고래 학술지 평가 담당하시는 분들은 정성평가 준비하는데도 골머리를 많이 앓더라고. 학술지 편집위원회의 일관성, 학술지 내용의 질적 일관성이 보장되어야 등재지를 유지할 수 있으니까. 학술지를 만들고 유지한다는 건 너무 까다로워.

#5 마무리로, 심사자에게 고한다

팔랑귀 권력을 가지고 싶어서 학술지를 만들고 싶었던 건데, 학술지를 만들면 권력을 가질 수 있을까?

애플파이 위 경험에 따르면, 오히려 노동자가 되지 않을까? (웃음)

팔랑귀 그럼 돈은 누가 버는 거야?

푸우딩 아마도 디비피아겠지?

팔랑귀 이 논문서비스 플랫폼이 진짜 문제인 것 같아. 대학들이랑 계약하면서 돈도 많이 받지 않나? 그럼 진짜 권력자가 되려면 플랫폼을 만들어야 할지도 몰라. (웃음)

푸우딩 오늘 여러 얘기를 들어봤는데, 마무리로 심사자에게 한 마디씩 해보면 어떨까? 나는 아직 경험이 적어서 이렇게만 해 주셨으면 너무 좋겠다는 얘기밖에 할 수 없지만.

팔랑귀 아직 세상의 쓴맛을 보지 못했구만. 저는 통과만 시켜주시면 뭐든 하겠습니다.

파란고래 심사자들한테? 고생이 많으십니다... 오늘 대담 하면서는, ‘좋은 심사를 하는 것의 의미’를 나도 차츰 발굴해 나가고 싶다는 생각이 들었어.

애플파이 내가 그렇게 수준 이하의 논문을 쓰지는 않을텐데, 읽어보고 어느 정도 말이 되면 세상에 나와서 그냥 평가를 받게 해도 되지 않을까요? (웃음). 이런 논문도 있고 저런 논문도 있으니까.

시크릿 생각해보면, 심사자 중에서도 ‘이 글은 꼭 끝까지 막아야 해’라는 포지션으로 하시는 분들이 꼭 한분은 있단 말이야. 좀 더 너그러워지셨으면 좋겠어요.

정리. 파란고래

편집. 김선기

신진에게 하고 싶은 말은 여기에 ♥

신진레터 구독하기

지난 신진레터 보기

신진 X로 연결