[꿀팁] IPhO 현장 평가, 왜 지금 아스테로모프가 등판했나

안녕하세요, 스타트업의 성장을 IP로 지키는 윌로특허법률사무소입니다. 😊

대표님, AI 스타트업 소식이 벤치마크 점수가 아니라 '현장 평가'라는 형식으로 나온 것 자체가 이번 소식의 배경입니다. 원문이 짚은 경위를 함께 짚어보겠습니다.

왜 지금 이런 현장 평가가 나왔나

AI의 과학 추론 능력은 이미 공개된 문제를 사후에 푸는 벤치마크만으로 정확하게 평가하기 어렵다는 지적이 출발점입니다. 모델이 학습 과정에서 문제와 정답을 접했을 가능성이 있고 제한시간이나 사용할 수 있는 도구도 실제 시험과 다르기 때문입니다. 이런 한계 때문에 아스테로모프는 국제물리올림피아드 현장에서 처음 공개된 이론시험지를 받아 사람 참가자와 같은 5시간 동안 AI 모델을 작동시켰다. 그 결과 모델은 인터넷 검색과 외부 AI 호출, 사람의 개입 없이 답안을 완성해 30점 만점에 28.6점을 받았다.

그 전에는 어떤 조건에서 시험이 진행됐나

아스테로모프는 지난 7월 콜롬비아 부카라망가에서 열린 제56회 국제물리올림피아드(IPhO 20266) 이론시험 현장 평가에서 28.6점을 기록했다고 31일 발표했다. 고동현 부사장을 중심으로 한 엔지니어팀은 이론시험이 진행된 7월 8일 오전 9시부터 오후 2시까지 현지에서 시스템을 운영했다. 시험 결과는 국제물리올림피아드 공식 채점위원들이 대회 기준에 따라 평가했고, 조직위원회는 해당 이론 성적을 금메달급으로 인정하고 AI 모델의 이름을 기재한 별도 디플로마와 메달을 수여했다.

💡 변리사 팁: 이번 현장 AI 평가에는 아스테로모프 외에 메타의 AI 연구조직 메타 슈퍼인텔리전스 랩스와 중국 화웨이도 참여했다고 회사는 설명했다. 다만 각 기관의 모델과 점수, 세부 평가 조건은 이번 자료에 포함되지 않았다는 점을 대표님도 참고하시면 좋겠습니다.

앞으로 무엇을 지켜봐야 하나

아스테로모프 역시 결합한 오픈소스 모델의 명칭과 연산 자원 규모, 프롬프트 구성, 추론 횟수, 실행 로그 등은 공개하지 않았다. 결과를 외부에서 재현하고 다른 시스템과 객관적으로 비교하려면 세부 평가 조건과 채점 자료가 추가로 제시될 필요가 있다고 원문은 지적합니다. 아스테로모프는 2025년 2월 설립된 스타트업으로 물리학을 비롯한 과학기술 분야의 고난도 문제를 해결하는 AI 모델과 추론 시스템을 개발하고 있다. 이 스타트업이 이후 세부 조건을 어디까지 공개할지가 다음 관전 포인트이며, 자세한 내용은 벤처스퀘어 원문에서 확인하실 수 있습니다.

제도 활용 방향이 사업 상황에 따라 달라집니다. 검토가 필요하시면 윌로특허법률사무소로 연락 주세요.

📞 02-2038-3285 / 010-4321-5373 🚀