영상 편집에서 자막 작업은 전체 제작 시간의 30% 이상을 잡아먹는 번거로운 과정입니다. 최근에는 정밀한 음성 인식(STT) 모델을 탑재한 무료 AI 툴이 늘어나면서 초벌 자막 작업 시간을 대폭 단축할 수 있게 되었습니다.
실제 영상 제작 현장에서 가장 널리 쓰이는 대표 무료 AI 자막 도구 3종(Vrew, CapCut, Whisper 기반 도구)의 정확도와 특징을 비교하고, 오타율을 절반 이하로 줄이는 실전 세팅법을 정리합니다.
대표 무료 AI 자막 도구 3종 비교
| 도구명 | 추천 대상 | 한국어 정확도 | 주요 특징 및 무료 범위 |
|---|---|---|---|
| Vrew (브루) | 유튜브 롱폼, 인터뷰, 강의 영상 | 최상 (95% 이상) | 문서 편집하듯 자막을 잘라내면 영상 컷도 함께 잘리는 워크플로. 무료 플랜은 매월 음성 분석 120분 |
| CapCut (캡컷) | 쇼츠, 릴스, 틱톡 숏폼 | 상 (90% 내외) | 클릭 한 번으로 음절 단위 모션 캡션 자동 생성. 트렌디한 템플릿과 무료 폰트 기본 탑재 |
| 클로바노트 / 위스퍼(Whisper) | 장시간 회의, 현장 녹음, 팟캐스트 | 최상 (95% 이상) | 배경 소음과 겹치는 대화 분리 성능이 우수. 텍스트와 타임코드(SRT) 추출 전용으로 활용 |
도구별 장단점과 최적 용도
Vrew: 자막 기반 영상 편집의 정석
- 장점: 한국어 인식률이 매우 높고, 대화 중 침묵 구간을 클릭 한 번으로 일괄 삭제할 수 있습니다. 편집창에서 워드 치듯 자막을 고치면 원본 영상의 컷 편집까지 함께 끝납니다.
- 단점: 모션 그래픽이나 화려한 숏폼용 텍스트 애니메이션은 다소 단순합니다.
- 추천: 말하는 분량이 많은 인터뷰, 브이로그, 튜토리얼 영상.
CapCut: 숏폼에 최적화된 자동 캡션
- 장점: 자동 캡션 기능 한 번으로 말하는 타이밍에 맞춰 글자가 튀어나오는 팝업 자막을 만듭니다. 템플릿이 다양해 시각적 완성도가 높습니다.
- 단점: 한국어 고유명사나 빠른 은어에서 오타가 종종 발생해 초벌 검수가 필요합니다.
- 추천: 60초 이내의 빠른 템포를 가진 숏폼(릴스, 쇼츠, 틱톡).
Whisper 기반 도구: 잡음 많은 야외 촬영용
- 장점: 오픈소스 모델인 Whisper 기반 툴은 카페 소음이나 바람 소리가 섞인 열악한 환경에서도 화자의 음성을 정밀하게 복원합니다.
- 단점: 편집기 내장 툴에 비해 타임라인 UI가 부족해, 자막 파일(SRT)을 따로 내보내는 과정이 필요합니다.
도구 선택의 기준은 정확도 하나가 아니라 "자막 다음에 무엇을 하느냐"입니다. 컷 편집까지 이어갈 것인지, 숏폼 자막 디자인이 목적인지, 텍스트만 뽑아 쓸 것인지에 따라 답이 달라집니다.
정확도를 95% 이상으로 끌어올리는 3단계
아무리 뛰어난 AI 모델이라도 원본 오디오 상태가 나쁘면 오타가 급증합니다. 다음 3단계를 거치면 수정 시간이 절반으로 줄어듭니다.
- 1단계: 업로드 전 오디오 노이즈 정리
음성 변환을 돌리기 전에 툴에 내장된 소음 제거나 목소리 강조 기능을 먼저 켭니다. 목소리와 배경음이 분리될수록 인식률이 올라갑니다. - 2단계: 고유명사 단어장 등록
Vrew 등에 있는 맞춤 단어장 기능에 브랜드명, 채널명, 전문 용어를 미리 등록해 두면 고유명사 오인식을 사전에 차단할 수 있습니다. - 3단계: SRT 파일 분리 워크플로 구축
영상 화질 손실 없이 다른 편집 툴(프리미어, 다빈치 리졸브 등)과 연동하려면, 자막을 영상에 굽지 말고 SRT 파일로만 내보내 메인 편집기에 얹는 방식을 권합니다.
무료 플랜의 분량 제한은 도구마다 다르고 정책도 자주 바뀝니다. 길이가 긴 작업을 맡기기 전에 각 서비스의 현재 무료 한도를 먼저 확인하세요.
