2020 데이터 챌린지 (게임보안 트랙) 관련 소고

게임봇 데이터 챌린지를 몇년째 하고 있는데요,

데이터 배포 후 Accuracy, Precision, Recall, F1 스코어만으로 상을 주는게 아니라, 굳이 본선과정에서 팀별 발표 및 Q&A 세션을 두어서 검증하는 이유에 대해서 약간 부연설명을 드리자면 다음과 같습니다.

단순히 높은 스코어를 얻은 것인지, 실제로 데이터에 대해 이해를 하고 또 적용한 알고리즘들에 대해 고민을 했는지 파악을 해낼 필요가 있기 때문입니다. 이번에도 그러한 취지에서 심사위원 분들 모두 고민을 많이 해주시고 채점해 주셨습니다.

본선 참가팀들에게 발송할 설명자료 중 일부를 발췌하여 포스팅합니다.

... (발췌) ...

(올해만이 아니라 매년 그렇습니다만) 이번 발표세션에서 심사위원들이 중점을 두는 사항들로는 아래와 같은 사항들이 있습니다

- 왜 그 feature 를 선정하였는가, 선정된 feature 의 의미는 무엇인가

-- 다양한 feature selection 알고리즘을 이용해서 발굴된 feature 들 중에서도 기계적으로 발굴된 feature 가 있어, 한번 더 분석가가 충분히 review 를 해야 하는데, 이런 의사결정을 잘 할만큼 data 에 대해 EDA 를 하였는가

- 데이터 자체에 대한 이해도, 이를 토대로 데이터 가공에 얼마나 공을 들였는가?

-- 데이터의 샘플링, 데이터의 정규화, 아웃라이어 사전 처리 등 데이터 그 자체에서 야기될 수 있는 문제를 사전에 제거하기 위해 얼마나 공을 들였는가

- 사용한 기법에 대해 justification 이 가능한가

-- 적용한 아이디어의 참신성도 중요합니다.

-- 그리고 왜 그 classifier 를 썼으며, 왜 특정 classifier 의 성능이 높게 나왔을지에 대한 분석이 얼마나 충실했는지를 살펴본 고민의 흔적들이 있는가

- Recall, Precision 별로 성능이 좋았다면, 또는 안좋았다면 그 원인은 무엇이었을지 분석해 보았는지

몇년전 게임보안 트랙이 처음 생겼던 시점부터 발표세션을 두고 운영해 오는 이유는 딱 하나입니다. 참가팀들이 보통 F1 스코어만을 추구하면서 발생할 수있는 문제, 즉, 데이터에 대한 이해도 없이 기계적으로 데이터를 넣고, 현존하는 기계학습 모델들에 무차별적으로 대입해서 돌려본 뒤, 결과값이 만족스러운수준으로 나올때까지 하이퍼파라메터 튜닝을 기계적으로 반복하였는지, 아니면 각 과정에서 데이터 이해도, 모델에 대한 이해도, 분석과정에서 본인들이 적용한 행위들이 어떠한 이유에 의해 (이론적, 경험적) 수행된 것인지 justification 이 가능한가를 확인하기 위해서 입니다.

...... (발췌) ...