투디지트, AI자연어 이해 평가 대회 ‘GLUE’서 세계 14위 랭크

[스마트에프엔=김대한 기자] 지난 4월 미국 스탠퍼드 대학이 주최하는 기계독해대회 SQuAD2.0에서 페이스북, 마이크로소프트 등을 제치고 7위를 차지한 국내 AI기업 투디지트(2Digit)가 또 한 번의 성과를 냈다.

인공지능 스타트업 투디지트는 AI자연어 이해 평가 대회인 GLUE에 참가해 리드보드 89.3으로 14위에 올랐다고 1일 밝혔다.

1위 91.3점과 불과 2점 차이이며 GLUE Human Baseline인 87.1점을 뛰어넘는 점수이다. 현재 1위는 JD Explore d-team으로 호주 시드니대학, 중국 우한대학 및 베이징 항공 우주 대학 합동팀이다.

투디지트는 SQuAD2.0에서도 90.420점으로 Human Performance 86.831을 뛰어넘는 성능을 달성하였고 GLUE에서도 89.3으로 GLUE Human Baseline인 87.1점을 뛰어넘는 성능을 동시에 달성했다.

GLUE(General Language Understanding Evaluation)는 AI자연어 이해 평가 대회로 10개의 task에 대한 총점수가 높은지를 겨루는 대회이다.

대회 방식은 자연어처리 AI 모델을 훈련하고 성능을 평가, 비교하기 위한 9개의 데이터세트로 구성돼 있다. 일종의 문제은행 방식인데 문법의 정확도, 두 문장의 유사도, 문장의 의미 등을 묻는 문제를 내고 AI가 이를 풀도록 한다. 다수의 AI 모델을 평가할 수 있고 평가 결과를 시각적으로 확인할 수 있어 AI 모델에 대한 객관적인 품질 측정이 가능하다는 장점이 있다.

이처럼 GLUE는 자연어 처리 모델의 성능을 평가하는 가장 기본이 되는 벤치마크로 많은 글로벌 업체가 참여하고 있는 대회임에도 난이도가 높아 국내 기업은 상위권에 전무해 아쉬움이 많았던 대회이다.

이번에 투디지트가 달성한 성과는 우리나라의 자연어 이해 인공지능 기술력 보유의 증빙이며 인간의 독해 능력을 넘어선 AI의 능력은 한 국가의 기술력 판단에 아주 중요한 요소로 우리나라 자연어 이해 능력이 전 세계적으로도 입증이 가능함을 보여주는 지표이다.

박석준 투디지트 대표는 " 지난 SQuAD2.0를 통해 전 세계에 우리나라 인공지능 기술의 개발력을 알린 것에 힘입어 더 많은 글로벌적 성과를 내고 싶어 참가했다”고 말했다.

그러면서 “SQuAD2.0 이후 신한금융투자, SK증권, 우리금융 등 국내 금융권과 교류도 많아져 내부적으로 굉장히 바쁜 시간을 보내고 있다. 회사의 성과에 집중할 뿐 아니라 세계 대회 등 글로벌적 성과에도 집중해 우리나라 인공기술의 힘을 널리 알리겠다”고 밝혔다.

자연어 인공지능 기술을 선도하는 투디지트가 인공지능 기술을 적용한 글로벌 프로젝트는 '뉴스샐러드'다. 자연어 인공지능 기술에 컴퓨터 사이언스와 파이낸셜 엔지니어링 백그라운드의 노하우를 융합하여 인공지능 콴(QUAN, 觀)을 만들었다.

인공지능 콴(QUAN)은 2500만 명을 대신해 매일 1만 건 이상의 뉴스 기사를 읽고 각자에게 필요한 뉴스 콘텐츠를 추천한다. 고객이 검색하고 있지 않아도 고객에게 필요한 콘텐츠를 알려주는 서비스다.



김대한 기자 dhkim@smartfn.co.kr