[전민우의 마음도장] 태권도 자유품새 AI 판정... 심판의 눈을 어떻게 도울 것인가?

같은 심판의 반복 채점은 안정적, 심판 간 일치도는 낮아…평가 기준 정립과 단계적 기술 도입 필요

태권도 자유품새 심판의 반복 채점은 총점과 조화 항목에서 높은 안정성을 보였지만, 심판 간 점수 일치도는 매우 낮았다는 연구 결과가 나왔다. 이는 AI 판정 보조의 도입이 단계적이어야 하는 이유를 보여준다.

발을 구르는 소리와 함께 선수가 허공으로 솟구친다. 1초도 안 되는 찰나의 순간, 선수는 공중에서 세 번, 네 번 발을 뻗고, 경기장 바닥에 닿는 순간까지 음악의 비트에 맞춰 기백을 뿜어낸다.

관중의 환호가 터져 나오는 사이, 심판석에서는 또 다른 치열한 ‘인지적 싸움’이 펼쳐진다. “방금 뒤공중 몸돌아 다단차기의 타격 횟수는 정확히 몇 회였는가?” “회전 각도는 완벽했는가? 음악과 동작의 조화는 과연 몇 점짜리인가?”

최근 국제학술지 Frontiers in Psychology에 게재된 전민우·김홍석·박지용·조혜수의 논문 ‘Revisiting judging reliability in taekwondo freestyle Poomsae: implications for AI-supported evaluation’은 바로 이 지점에서 출발했다.

국제종목으로 도약하는 태권도 자유품새에서 채점의 ‘공정성’과 ‘신뢰도’는 종목의 생존과 직결된 문제다. 연구진은 국제공인 품새 심판 10명을 대상으로 공식 대회 1위 입상자들의 경기 영상 10편을 1주일 간격으로 두 번 평가하게 하는 반복측정 실험을 진행했다.

과연 인간 심판의 눈은 얼마나 일관되고, 서로 얼마나 일치하고 있었을까.

연구 결과는 흥미롭고도 뼈아픈 시사점을 던져주었다. 이 연구는 채점의 일치도를 평가하는 급내상관계수(ICC)가 0.75 이상이면 ‘우수(Excellent)’, 0.40 이상 0.75 미만이면 ‘수용 가능(Acceptable)’, 0.40 미만이면 ‘불량(Poor)’으로 분류했다.

이 기준으로 동일한 심판이 1주일 뒤 같은 영상을 다시 채점했을 때의 시간적 안정성, 즉 검사-재검사 신뢰도를 살펴보면 총점(ICC=0.773)과 조화(ICC=0.848) 항목은 모두 ‘우수’한 일관성을 보였다.

총점과 조화에서는 동일 심판의 평가가 비교적 안정적으로 재현된 것이다. 그러나 ‘심판 간 일치도(Inter-rater agreement)’로 시선을 돌리면 상황은 완전히 달라진다.

열 명의 심판이 서로 얼마나 같은 점수를 주었는지를 보여주는 개별 심판 점수의 총점 일치도(ICC)는 1차 평가에서 -0.007, 2차 평가에서도 0.060에 그쳤다. 연구에서 정한 수용 가능 기준인 0.40에 한참 못 미치는 수준으로, 심판들 사이의 점수 일치도가 매우 낮게 나타났다.

더욱이 1차 평가보다 2차 평가에서 총점이 평균 0.304점 높아지는 ‘체계적 회기 효과(Session effect)’도 관찰됐다. 이 차이는 통계적으로 유의했다.

스포츠심리학에서 거론되는 ‘단순 노출 효과(Mere exposure effect)’나 기억의 영향처럼, 같은 연기를 다시 보면 평가가 너그러워질 가능성을 생각해볼 수 있다. 다만 이번 연구에서 이러한 심리적 요인이 점수 상승의 원인으로 확인된 것은 아니다.

항목별로 파고들면 더욱 본질적인 문제가 드러난다.

뛰어 옆차기나 회전 발차기, 아크로바틱 발차기 등은 동일 심판의 반복 평가에서 비교적 안정적인 채점이 이루어졌다. 반면 ‘도약 다단차기’나 ‘겨루기형 연속차기’, ‘기본동작 및 실용성’은 재검사 신뢰도가 0.2~0.3대로 낮아 ‘불량’으로 분류됐다.

왜 유독 이 항목들에서 신뢰도가 떨어졌을까. 심판의 자질 부족만으로 설명할 문제는 아니다. 인간의 눈과 뇌가 실시간으로 처리해야 하는 동작의 속도와 복잡성, 평가 기준의 명확성을 함께 살펴야 한다.

짧은 체공 시간 동안 무릎이 충분히 펴졌는지, 몇 번의 유효 발차기가 이루어졌는지를 맨눈으로 구분하는 일은 쉽지 않다. 이러한 판단에는 인간의 시간적 해상도 한계(Temporal resolution limit)가 영향을 미쳤을 가능성이 있다.

연구에서 적용한 경기 규칙이 무릎의 신전 각도나 타격점 등 유효 발차기를 인정할 구체적인 운동학적 기준(Kinematic anchors)을 충분히 정의하지 않은 상태에서는 심판 각자의 주관적 지각에 의존할 수밖에 없는 구조적 한계도 존재한다.

겨루기 부문이 전자호구 시스템(PSS)과 비디오 판독을 도입해 판정을 보조하듯, 자유품새 역시 AI 판정 보조 시스템의 도입이 대안으로 논의되고 있다.

실제로 체조는 2019년 슈투트가르트 세계선수권에서 AI와 3D 센서 기반의 채점 지원 시스템을 일부 종목에 공식 도입했다. 당시에는 이의 제기나 점수 보류 상황에서 난도 확인을 보조하는 용도로 활용됐다.

하지만, 이 연구가 말해주는 핵심은 “무턱대고 AI를 들이댈 수는 없다”는 점이다.

인간 심판의 점수를 AI의 학습·검증 기준으로 활용하려면, 심판들이 합의한 일관된 ‘정답 라벨(Ground truth)’이 필요하다. 인간 심판들 사이에서도 일치도가 낮은 점수를 그대로 활용하면 AI 모델의 신뢰성을 확보하기 어렵기 때문이다. 따라서 기술의 도입은 단계적이어야 한다.

1단계: 공중 체공 시간, 도약 높이, 회전 각도, 다단차기 횟수 등 정량화가 가능한 운동학적 데이터를 컴퓨터 비전과 센서로 측정·검증하는 ‘기술적 계측’부터 출발해야 한다.

2단계: 음악과 동작의 일치성, 연출의 독창성과 같은 ‘표현성(Presentation)’ 영역은 섣불리 기계에 맡기기보다, 심판 연수를 통해 공통 평가 기준을 합의하고 채점 기준을 조정하는 캘리브레이션(Calibration)이 선행돼야 한다.

이 연구에서 가장 인상적인 수치 중 하나는 연출성 영역의 ‘조화(Harmony)’ 항목이 보여준 높은 검사-재검사 신뢰도(ICC=0.848)였다.

음악과 동작, 선수의 기량이 경기장 전체에 뿜어내는 ‘총체적 인상(Holistic impression)’과 무도적 호흡을 종합적으로 받아들이는 평가는, 동일 심판에게 가장 안정적으로 재현된 영역이었다.

다만 안정적으로 반복했다는 것이 곧 정확하게 판정했다는 뜻은 아니다. 조화 역시 심판 간 점수 일치도는 낮았다는 점에서, 인간의 종합적 판단을 존중하면서도 공통 기준을 다듬는 노력이 필요하다.

기계는 선수의 발끝이 얼마나 회전했는지 수치로 분석할 수 있다. 그러나 그 발끝에 실린 선수의 투지와 무도인으로서의 품격을 어떻게 평가할지는 여전히 인간에게 중요한 과제로 남는다.

이번 연구의 범위도 함께 봐야 한다. 영상 평가 실험은 실제 경기장의 모든 조건을 반영하지 못하며, 1위 입상 영상만 사용해 경기력과 점수의 차이가 제한됐을 가능성이 있다. 이는 ICC에도 영향을 줄 수 있어, 이번 결과를 자유품새 전체 경기나 심판단 평균 점수의 신뢰도로 확대 해석해서는 안 된다.

결국 미래의 태권도 판정 시스템은 인간의 감각적 한계를 덜어주는 ‘따뜻한 보조자’의 형태로 발전해야 한다는 것이다. 

순간의 기술적 오차와 횟수는 검증된 기술이 보조하고, 선수가 매트 위에서 온몸으로 표현하는 기술과 기백, 무도의 조화로움은 인간 심판이 책임 있게 평가해야 한다.

기술의 정밀함과 인간의 혜안이 명확한 평가 기준 위에서 만날 때, 태권도 자유품새는 세계적 무대에서 더욱 신뢰받는 스포츠이자 무도로 나아갈 수 있을 것이다.

[무카스미디어 = 전민우 교수(경희대학교 태권도학과) ㅣ yesjmw@khu.ac.kr]
<ⓒ무카스미디어 / www.mookas.com 무단전재 및 재배포 금지>