당신의 연구 성과를 측정하는 방법들

연구자들은 자신만의 전문 분야에서 지속적으로 성과를 낼 것을 강요 받습니다. 경쟁적인 “출판 또는 도태”의 환경 속에서 이러한 분위기는 더욱 심화되고 있습니다. 연구자들은 자신이 가장 최근에 출판한 논문의 가치에 따라 평가를 받고 있으며, 연구자에 대한 인지도가 그 연구자의 실력과 동의어로 여겨지고 있습니다. 현재 또는 미래의 고용주에게 연구자 자신의 학술 업적을 끊임 없이 입증해야 하는 상황에서 연구자들은 다른 기준으로 성과를 측정할 방법을 찾고 있습니다.

부정확한 도구들

전통적으로, 연구 성과의 상대적 영향도는 해당 연구가 출판된 저널의 명성에 의해 측정되었습니다. 그리고 이후 등장한 것이 논문의 인용도입니다. 

저널의 명성은 약 60년 전 유진 가필드가 고안한 임팩트팩터에 기초하여 측정되고 있습니다. 임팩트팩터는 상위 피인용 논문들과 상위 영향도의 상관관계를 분석해주는 도구입니다. 이러한 임팩트팩터 방식은 구글의 웹사이트 순위 산정 방법과 유사합니다. 그러나 임팩트팩터는 “부정확한 도구”라는 비판을 받고 있습니다. 즉 좋은 저널을 선택하는 데는 유용하나, 개별 논문의 질을 평가하는 데는 부적합하다는 것입니다.

계량서지학(Bibliometrics)

피인용 수를 추적하여 연구의 질을 측정하는 방식 등을 계량서지학이라고 합니다. 피인용 수는 연구자들이 논문을 읽었다는 유일한 증거입니다. 계량서지학에서는 학술논문들의 인용색인검색을 통해 저자간 혹은 논문간의 관계를 분석하여 그 영향력을 분석할 수 있습니다. 

h-index는 보다 개인 친화적인 지표로써, 저널과 인용도에만 의존하여 측정됩니다. h-index를 통해서는 개별 논문의 영향력과 그 논문의 저자의 영향력을 주로 측정할 수 있습니다.

논문별 측정지표

기술의 발달로 인해, 이제는 개별 논문 수준에서 보다 많은 정보를 수집할 수 있게 되었습니다. cybermetrics, webometrics, altmetrics 등의 용어가 등장하고 있으며, 연구자들은 자신의 연구 주제에 따라 활용 가능한 모든 평가 데이터들을 수집하기 원하고 있습니다. 

최근에는 특정 저널의 명성 또는 피인용 수보다 온라인 조회수, 북마크 수, 블로그 게시 빈도, 트위터 리트윗 수, 공유 정도 등이 연구 논문에 대한 실질적 관심도를 평가하는데 더 적합한 데이터라는 의견이 증가하고 있습니다. 그러나 비평가들은 이러한 온라인 기반 데이터들은 쉽게 조작될 수 있어 객관적 데이터로써 적합하지 않다고 말합니다. 반면, 논문의 실시간 활용에 관한 정보는 매우 유용하므로 일부 가짜 온라인 계정이 존재한다는 점을 감안하더라도 온라인 기반 데이터는 매우 유용한 측정 도구가 될 수 있습니다. 

인지도는 현실

연구 커뮤니티에서는 위에 언급된 모든 데이터를 잘 활용하기 위해 노력하고 있습니다. 그러나 이러한 데이터의 활용 정도는 연구기관 및 자금지원 기관에서 연구의 질을 측정하는 신뢰 가능한 지표로써 해당 데이터를 받아들일 수 있느냐 그렇지 않으냐에 따라 좌우됩니다. 자료수집 도구 관련 기술의 발달로 인해, 데이터의 수집은 물론 수집된 데이터를 개별 논문과 연결 지어 분석하는 것이 한결 용이해졌습니다. 그러나 유의해야 하는 점은, 활용 가능한 데이터의 양이 증가했다고 해서 모든 데이터가 저절로 가치 있는 데이터가 되는 것은 아니라는 점입니다.  데이터 분석 기술의 발달로 인해 데이터 자체의 양은 늘어났지만, 이러한 데이터의 중요도를 판단하여 선택적으로 잘 활용하여 유의미한 분석 결과 및 통찰력을 얻는 것은 결국 연구자들의 새로운 과제가 되고 있습니다.