論文の概要: Optimizing Estonian TV Subtitles with Semi-supervised Learning and LLMs
- arxiv url: http://arxiv.org/abs/2501.05234v1
- Date: Thu, 09 Jan 2025 13:41:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-10 14:00:55.584951
- Title: Optimizing Estonian TV Subtitles with Semi-supervised Learning and LLMs
- Title（参考訳）: 準教師付き学習とLLMによるエストニアのテレビ字幕の最適化
- Authors: Artem Fedorchenko, Tanel Alumäe,
- Abstract要約: 我々は人為的なエストニア語字幕のWhisperモデルを微調整し、それを反復的な擬似ラベルと大言語モデル(LLM)ベースの後編集で強化する。
実験は、ラベルなしデータセットによる擬似ラベル付けによる顕著な字幕品質改善を示す。
- 参考スコア（独自算出の注目度）: 4.297070083645049
- License:
- Abstract: This paper presents an approach for generating high-quality, same-language subtitles for Estonian TV content. We fine-tune the Whisper model on human-generated Estonian subtitles and enhance it with iterative pseudo-labeling and large language model (LLM) based post-editing. Our experiments demonstrate notable subtitle quality improvement through pseudo-labeling with an unlabeled dataset. We find that applying LLM-based editing at test time enhances subtitle accuracy, while its use during training does not yield further gains. This approach holds promise for creating subtitle quality close to human standard and could be extended to real-time applications.
- Abstract（参考訳）: 本稿では,エストニアのテレビコンテンツに対して,高品質な同語字幕を生成するためのアプローチを提案する。
我々は人為的なエストニア語字幕のWhisperモデルを微調整し、それを反復的な擬似ラベルと大言語モデル(LLM)ベースの後編集で強化する。
実験では、ラベルなしデータセットによる擬似ラベル付けにより、字幕品質が顕著に向上することを示した。
テスト時にLLMベースの編集を適用することで字幕の精度が向上するのに対して、トレーニング中の使用ではそれ以上の利益が得られないことがわかった。
このアプローチは、人間の標準に近い字幕品質を作成することを約束しており、リアルタイムアプリケーションに拡張することができる。
関連論文リスト
- Improving Text-To-Audio Models with Synthetic Captions [51.19111942748637]
本研究では,テクスタイディオ言語モデルを用いて,高精度で多様な音声キャプションを大規模に合成する音声キャプションパイプラインを提案する。
このパイプラインを利用してAudioSetと命名されたAudioSetの合成キャプションのデータセットを作成し、これらの合成キャプション上でのテキスト音声モデルの事前学習の利点を評価する。
論文 参考訳（メタデータ） (2024-06-18T00:02:15Z) - HowToCaption: Prompting LLMs to Transform Video Annotations at Scale [72.69268311756082]
本稿では,大言語モデル(LLM)の能力を活用して,大規模ビデオに対応する高品質な映像記述を実現することを提案する。
本稿では,より長い字幕テキストを考慮に入れたプロンプト手法を提案する。
我々は、HowTo100Mデータセットの字幕にメソッドを適用し、新しい大規模データセット、HowToCaptionを作成します。
論文 参考訳（メタデータ） (2023-10-07T19:32:55Z) - Gloss Alignment Using Word Embeddings [40.100782464872076]
大規模音声言語モデルを用いて,スポッティングを対応する字幕と整列する手法を提案する。
我々は,この手法がacfmdgsおよびacfbobslデータセットに与える影響を定量的に示す。
論文 参考訳（メタデータ） (2023-08-08T13:26:53Z) - CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained
Language-Vision Models [50.42886595228255]
本稿では,橋梁としての視覚的モダリティを活用して,所望のテキスト・オーディオ対応を学習することを提案する。
我々は、事前訓練されたコントラスト言語画像事前学習モデルによって符号化されたビデオフレームを考慮し、条件付き拡散モデルを用いてビデオの音声トラックを生成する。
論文 参考訳（メタデータ） (2023-06-16T05:42:01Z) - Automatic dense annotation of large-vocabulary sign language videos [85.61513254261523]
自動アノテーションの密度を大幅に高めるための,シンプルでスケーラブルなフレームワークを提案する。
これらのアノテーションは手話研究コミュニティをサポートするために公開されています。
論文 参考訳（メタデータ） (2022-08-04T17:55:09Z) - Between Flexibility and Consistency: Joint Generation of Captions and
Subtitles [13.58711830450618]
音声翻訳(ST)は、最近、中間ソース言語の転写とタイミングを必要とせず、字幕生成への関心が高まっている。
本研究では、構造や語彙内容の観点から一貫した字幕字幕を生成するSTモデルに焦点を当てる。
本研究は, 共同復号化によって生成した字幕と字幕間の性能と一貫性が向上し, 言語固有のニーズや規範に適合した字幕を生成するのに十分な柔軟性が得られていることを示す。
論文 参考訳（メタデータ） (2021-07-13T17:06:04Z) - Aligning Subtitles in Sign Language Videos [80.20961722170655]
17.7時間に及ぶビデオの字幕15k以上の注釈付きアライメントを手作業でトレーニングした。
我々は,この2つの信号を符号化するために,BERT字幕埋め込みとCNNビデオ表現を用いた。
本モデルでは,ビデオフレームごとのフレームレベルの予測,すなわちクェリされたサブタイトルに属するか否かを出力する。
論文 参考訳（メタデータ） (2021-05-06T17:59:36Z) - Watch and Learn: Mapping Language and Noisy Real-world Videos with
Self-supervision [54.73758942064708]
我々は、明示的なアノテーションを使わずに、文章と騒々しいビデオスニペットのマッピングを学習することで、視覚と自然言語を理解するように機械に教える。
トレーニングと評価のために、多数のオンラインビデオとサブタイトルを含む新しいデータセットApartmenTourをコントリビュートする。
論文 参考訳（メタデータ） (2020-11-19T03:43:56Z) - MuST-Cinema: a Speech-to-Subtitles corpus [16.070428245677675]
TED字幕から構築した多言語音声翻訳コーパスである MuST-Cinema について述べる。
コーパスを用いて文を字幕に効率的に分割するモデルを構築することができることを示す。
本稿では,既存の字幕を字幕の字幕にアノテートする手法を提案する。
論文 参考訳（メタデータ） (2020-02-25T12:40:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。