論文の概要: CLEAR: Context-Aware Learning with End-to-End Mask-Free Inference for Adaptive Video Subtitle Removal

• arxiv url: http://arxiv.org/abs/2603.21901v1
• Date: Mon, 23 Mar 2026 12:23:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.664799
• Title: CLEAR: Context-Aware Learning with End-to-End Mask-Free Inference for Adaptive Video Subtitle Removal
• Title（参考訳）: CLEAR: アダプティブビデオ字幕削除のためのエンド・ツー・エンドマスクフリー推論による文脈認識学習
• Abstract要約: ビデオ字幕削除は、時間的コヒーレンスを維持しながら、背景コンテンツとテキストオーバーレイを区別することを目的としている。 既存の拡散に基づく手法は、トレーニングと推論の段階で明示的なマスクシーケンスを必要とする。 本稿では,文脈認識適応学習を通じて,真にエンドツーエンドの推論を実現するマスクフリーフレームワークであるCLEARを提案する。
• 参考スコア（独自算出の注目度）: 27.349697965175384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video subtitle removal aims to distinguish text overlays from background content while preserving temporal coherence. Existing diffusion-based methods necessitate explicit mask sequences during both training and inference phases, which restricts their practical deployment. In this paper, we present CLEAR (Context-aware Learning for End-to-end Adaptive Video Subtitle Removal), a mask-free framework that achieves truly end-to-end inference through context-aware adaptive learning. Our two-stage design decouples prior extraction from generative refinement: Stage I learns disentangled subtitle representations via self-supervised orthogonality constraints on dual encoders, while Stage II employs LoRA-based adaptation with generation feedback for dynamic context adjustment. Notably, our method only requires 0.77% of the parameters of the base diffusion model for training. On Chinese subtitle benchmarks, CLEAR outperforms mask-dependent baselines by + 6.77dB PSNR and -74.7% VFID, while demonstrating superior zero-shot generalization across six languages (English, Korean, French, Japanese, Russian, German), a performance enabled by our generation-driven feedback mechanism that ensures robust subtitle removal without ground-truth masks during inference.
• Abstract（参考訳）: ビデオ字幕削除は、時間的コヒーレンスを維持しながら、背景コンテンツとテキストオーバーレイを区別することを目的としている。 既存の拡散に基づく手法では、トレーニングと推論フェーズの両方で明示的なマスクシーケンスを必要とするため、実際の展開が制限される。 本稿では,文脈認識適応学習による真エンドツーエンド推論を実現するマスクフリーなフレームワークであるCLEAR(Context-aware Learning for End-to-end Adaptive Video Subtitle removal)を提案する。 ステージIは、二重エンコーダ上の自己監督直交制約により、アンタングル付き字幕表現を学習し、ステージIIは、動的文脈調整のための生成フィードバックとLoRAベースの適応を用いる。 特に,本手法は基礎拡散モデルのパラメータの0.77%しか必要としない。 中国の字幕ベンチマークにおいて、CLEARは6つの言語(英語、韓国語、フランス語、日本語、ロシア語、ドイツ語)で優れたゼロショット一般化を示しながら、+6.77dB PSNRと-74.7%のVFIDでマスク依存ベースラインを上回り、提案した世代主導のフィードバック機構により、推論中に接地トルースマスクなしで堅牢な字幕除去を実現する。

関連論文リスト

• Masked Diffusion Vision-Language Models for Temporal Action Localization [10.018515245238216]
  テンポラルアクションローカライゼーション(TAL)では、ターゲットイベントを認識し、開始時刻と終了時刻を未トリミングビデオで正確にローカライズする必要がある。 最近の視覚言語定式化はセマンティック推論を改善し、言語条件付き出力をサポートするが、自動回帰デコーダは依然として左から右へトークンを生成する。 我々は視覚言語モデルをTALに適応させ、反復的復調を通して意味トークンと境界トークンを編集可能にした。
  論文  参考訳（メタデータ） (2026-05-28T12:39:04Z)
• Diffusion Large Language Models for Visual Speech Recognition [56.81307584718608]
  本稿では,最初の拡散大言語モデル(DLLM)に基づく視覚音声認識(VSR)フレームワークを提案する。 DLLM-VSRは早期に高信頼位置をコミットし、コミットトークンを双方向コンテキストとして、曖昧なトークンを洗練させる。 我々は、ビデオ長を用いて、可塑性転写長仮説を構築する長さ誘導型候補復号法を開発した。 提案手法はラベル付きトレーニングデータのみを用いて, LRS3 上で19.5%の最先端 WER を実現する。
  論文  参考訳（メタデータ） (2026-05-27T13:22:08Z)
• Adapting Text LLMs to Speech via Multimodal Depth Up-Scaling [52.02344262645619]
  本稿では,新しいトランス層を凍結テキストLLMに挿入し,付加層のみを音声データに基づいて訓練するマルチモーダル深さアップスケーリングを提案する。 SmolLM2-360MとSmolLM2-1.7Bによる48k時間の英語自動音声認識(ASR)データによる実験により、深度アップスケーリングは完全な微調整に匹敵するASRを実現することが示された。 さらに,テキストの劣化を75%以上低減し,トレーニング可能なパラメータを60%少なく抑えながら,大規模モデルの完全微調整に適合あるいは超越したASRを実現するために,音声認識用に設計されたアーキテクチャであるE-Branchformerを組み込むことが示される。
  論文  参考訳（メタデータ） (2026-04-01T05:16:06Z)
• SAIL: Similarity-Aware Guidance and Inter-Caption Augmentation-based Learning for Weakly-Supervised Dense Video Captioning [8.976074934042071]
  Weakly-Supervised Video Captioningは、時間境界のないキャプションアノテーションだけで訓練されたビデオ内のイベントをローカライズし、記述することを目的としている。 横断的なアライメントによって意味的に認識されたマスクを構成するSAILを提案する。 類似性を認識したトレーニング対象は,イベントキャプションと高い類似性を持つ映像領域を強調するためにマスクをガイドする。
  論文  参考訳（メタデータ） (2026-03-05T17:59:58Z)
• Masks Can Be Distracting: On Context Comprehension in Diffusion Language Models [19.847438086389616]
  Masked Diffusion Language Modelsは、Autoregressive Language Modelsに代わる有望な選択肢として登場した。 本研究は,MDLMの局所性バイアスが強いことを示す。 本稿では,マスク数に不変な予測を推奨するマスク非依存損失関数を提案する。
  論文  参考訳（メタデータ） (2025-11-26T12:44:29Z)
• Enrich and Detect: Video Temporal Grounding with Multimodal LLMs [60.224522472631776]
  ED-VTGは,マルチモーダルな大言語モデルを用いた微細なビデオ時間的グラウンド化手法である。 提案手法は,テキストと動画を共同処理するマルチモーダルLLMの機能を利用する。 我々は,時間的ビデオグラウンドと段落グラウンドの設定において,様々なベンチマークにおいて最先端の結果を示す。
  論文  参考訳（メタデータ） (2025-10-19T22:12:45Z)
• FlowDubber: Movie Dubbing with LLM-based Semantic-aware Learning and Flow Matching based Voice Enhancing [81.3306413498174]
  Movie Dubbingは、スクリプトを、時間的および感情的な両方の面において、所定の映画クリップと整合するスピーチに変換することを目的としている。 既存の手法は、リップシンクと音響品質の重要性を無視しながら、単語エラー率の低減に重点を置いている。 ダビングのための大規模言語モデル(LLM)に基づくフローマッチングアーキテクチャであるFlowDubberを提案する。
  論文  参考訳（メタデータ） (2025-05-02T13:30:19Z)
• DirecT2V: Large Language Models are Frame-Level Directors for Zero-Shot Text-to-Video Generation [37.25815760042241]
  本稿では,テキスト・ツー・ビデオ(T2V)ビデオを生成するための新しいフレームワークであるDirecT2Vを紹介する。 拡散モデルに新しい値マッピング法とデュアルソフトマックスフィルタリングを適用し、追加のトレーニングを必要としない。 実験により,視覚的コヒーレントかつストーリーフルなビデオ制作におけるフレームワークの有効性が検証された。
  論文  参考訳（メタデータ） (2023-05-23T17:57:09Z)
• Structured Video-Language Modeling with Temporal Grouping and Spatial Grounding [112.3913646778859]
  簡単なビデオ言語モデリングフレームワークであるS-ViLMを提案する。 これには、学習領域オブジェクトのアライメントと時間認識機能を促進するために、クリップ間の空間的接地と、クリップ内の時間的グループ化という、2つの新しい設計が含まれている。 S-ViLMは4つの下流タスクにおいて、最先端の手法を大幅に超えている。
  論文  参考訳（メタデータ） (2023-03-28T22:45:07Z)
• MaskCLIP: Masked Self-Distillation Advances Contrastive Language-Image Pretraining [138.86293836634323]
  MaskCLIPは、新たに提案されたマスク付き自己蒸留をコントラスト言語イメージ事前学習に組み込む。 MaskCLIPは、言語エンコーダの誘導により、線形探索、微調整、ゼロショット性能において優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-08-25T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。