고객 후기
이렇게 효율적으로 작업을 완수해 주신 귀하와 팀에 감사드립니다!
AI + 휴먼 요약
고객사 소개와 프로젝트 요구 사항
Coursera는 스탠퍼드 대학교 컴퓨터공학과 교수 두 명이 설립한 온라인 학습 플랫폼입니다. 예일, 프린스턴, 펜실베이니아, 스탠퍼드, 구글 등 세계 유수의 대학 및 기업 200곳 이상과 협력하여 수천 개의 온라인 강좌를 제공합니다. Coursera는 학습자 피드백을 바탕으로, 특히 강좌 내용에 이미 익숙해 전체 영상을 다시 듣고 싶지 않은 학습자를 위해 강좌 영상 요약이 필요하다는 점을 확인했습니다. 또한 이 요약은 나중에 강좌를 빠르게 복습하고 싶은 학습자에게 유용한 자료가 될 수 있었습니다.
프로젝트 진행 중 직면한 과제
촉박한 일정과 가이드라인 부재
고객사는 전체 프로젝트를 완료하는 데 단 3주의 시간만 주었습니다. 설상가상으로 요약 분량은 강의에 따라 크게 달라지기 때문에 고객사에는 요약 길이에 대한 기준이 전혀 없었습니다. Coursera는 간결하고 핵심 중심적이어야 한다는 원래 요구 사항만 지킨다면 올바른 판단은 저희에게 맡기겠다는 입장이었습니다.
길이가 제각각인 기술 강좌와 구어체 표현
대부분의 강좌는 기술적인 내용이었고 전문 용어가 많았습니다. 요약은 맥락에 의존하는 예시는 배제하면서 핵심 개념, 키워드, 정의(예: 결정 경계란 무엇인가? 결정 경계를 더 복잡하게 만들려면 어떻게 해야 하는가?)의 개요를 제공해야 했습니다. 일부 강의에서는 구어체 표현도 사용되었는데, 간결한 글머리 기호 요약에서는 이를 피해야 했습니다.
방대한 요약본 추적 관리의 어려움
고객사는 3~4명의 내부 검토자와 함께 모든 요약본을 검토할 예정이었기에, 양 팀이 검토 전후의 모든 납품 현황을 파악할 수 있는 추적 체계(공동 양식)를 마련하는 것이 필수였습니다. 이후 모든 변경 사항과 제안은 저희 요약 전문가가 다시 반영해야 했습니다.
율라투스가 제공한 솔루션
추상 요약과 추출 요약 모두를 위한 맞춤형 가이드라인/스타일 가이드 선제적 작성
시범 제출물과 결과물을 바탕으로 품질팀과 분야 전문 요약 전문가가 고객사와 회의를 열어 준수해야 할 가이드라인을 정립했습니다. 가이드라인은 고객사가 기대하는 바와 최종 사용자가 콘텐츠를 소비하는 방식을 염두에 두고 작성되었습니다. 이는 고객사의 시장 성공 관점에서 가장 중요한 단계였습니다.
프로젝트의 일관성과 전반적 품질 관리를 위한 스마트한 기술 활용
추상 요약과 추출 요약 모두에서 고객사의 가이드라인을 충족하도록 자체 요약 도구를 학습시켜, 휴먼 요약 전문가가 작업할 탄탄한 기반을 마련했습니다. AI 도구의 요약에 더해, 자체 문법 검사 도구인 Trinka AI를 활용하여 추상 요약에 대한 교정 단계를 한 번 더 추가했습니다. Trinka의 AI 문법 교정 도구는 정확성, 스타일 가이드 준수, 간결성, 문맥에 맞는 철자 검사를 담당했습니다.
요약본의 일관성을 위한 종합 QA 프로세스 설계
약 5~6명의 요약 전문가가 여러 강좌를 동시에 작업하면서 프로젝트 기간 동안 약 10개의 중간 배치를 납품했습니다. 각 배치는 Trinka QA와 사내 품질 QA 등 여러 검토 단계를 거쳤습니다. 이러한 노력 덕분에 고품질의 일관된 요약을 제공한다는 목표를 달성할 수 있었습니다.
완벽한 계획과 일정 관리
양 팀이 각 요약본을 검토하고 최종화할 시간을 동등하게 확보할 수 있도록 요약본을 순차적으로 납품하는 일정을 수립했습니다. 양 팀이 각 요약본의 상태를 쉽게 확인할 수 있도록 Google Sheets에 추적 체계를 만들었습니다. 파일은 고객사의 Google Drive 위치에 직접 업로드되었으며, 고객사의 정확한 사양에 따라 파일명을 지정했습니다.