論文の概要: Hint, Not Hole: Localization-Robust Video Overlay Removal
- arxiv url: http://arxiv.org/abs/2611.13711v2
- Date: Wed, 11 Nov 2026 11:26:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.906993
- Title: Hint, Not Hole: Localization-Robust Video Overlay Removal
- Title(参考訳): Hint, not Hole: ローカライゼーションによるビデオオーバーレイ削除
- Abstract要約: 生成ビデオモデルは、既知の領域を説得力を持って埋めるが、実際には、その領域は検出器またはセグメンタから来ている。
HintEraseは、局所化をヒントとして扱うもので、穴ではない。
- 参考スコア(独自算出の注目度): 6.411134648756403
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video overlay removal recovers the scene beneath burned-in subtitles, karaoke lyrics, titles, credits, logos and watermarks. Generative video models now fill a known region convincingly, but in practice the region comes from a detector or a segmenter, and it is wrong in both directions: it misses strokes, halos, whole frames and whole objects, and it covers background between characters, around boxes and on genuine scene text. Erasers that treat the mask as a hole, regenerating inside and copying outside, inherit every one of these errors. We present HintErase, which treats localization as a hint, not a hole. The model sees the full, unmasked video together with a hint channel; during training the hint is corrupted the way real localizers fail, while supervision follows the true overlay. The result is a single model that removes overlay the hint missed, keeps background the hint wrongly covered, and is trained to keep genuine scene text even when the hint lands on it. For full-length releases, a streaming pipeline handles interlaced sources, shot cuts, missed and jittering hints, paste-back and audio, with memory independent of the length of the video. This report describes the approach, the pipeline that turns it into full-length deliveries, and qualitative results; video results, with input, hint and output side by side, are on the project page.
- Abstract(参考訳): ビデオオーバーレイ削除は、焼かれた字幕、カラオケの歌詞、タイトル、クレジット、ロゴ、ウォーターマークの下のシーンを復元する。
ジェネレーティブビデオモデルは現在、既知の領域を確実に満たしているが、実際には、その領域は検出器またはセグメンタから来ているが、どちらの方向にも間違っている。
マスクを穴として扱い、内部を再生し、外部をコピーする消去剤は、これらのエラーを全て継承する。
HintEraseは、局所化をヒントとして扱い、穴ではない。
トレーニング中、ヒントは実際のローカライザが失敗するのに対して、監督は真のオーバーレイに従っている。
その結果は、見逃されたヒントのオーバーレイを排除し、ヒントを誤って覆い隠し、ヒントが着地した場合でも本物のシーンテキストを保持するように訓練された単一のモデルである。
完全なリリースでは、ストリーミングパイプラインがインターレースされたソース、ショットカット、ミスとジッタリングのヒント、ペーストバックとオーディオを処理し、メモリはビデオの長さに依存しない。
本報告では,このアプローチを,フル長のデリバリと質的な結果に変換するパイプラインとして記述する。
関連論文リスト
- DeOverlay: A Benchmark and Source-Anchored Flow for Video Overlay Removal [15.965929603286208]
ビデオオーバーレイ削除は、周囲のコンテンツを保存しながら、字幕、タイトル、ロゴで隠されたシーンを復元することを目的としている。
DeOverlayはソースアンコールフローモデルであり,ソースラテントからのクリーンな映像を固定したソースガイダンスで再構成する。
論文 参考訳(メタデータ) (2026-10-19T09:39:06Z) - SepGen: Multi-Stem Audio-Video Separation and Generation in a Single Model [78.12651379541563]
4Dオーディオ・ヴィジュアルシーンは、ビデオと、その描写するダイナミックな幾何学と、それを映し出す音源で構成されている。
このようなシーンを新しい視点からレンダリングするには、すべてのソースを個々の波形として利用する必要がある。
本稿では,事前に訓練したオーディオビデオ生成装置を拡張して,ビデオ,混合サウンドトラック,および1つの同時サンプリング実行時の1つの波形を出力するSepGenを提案する。
論文 参考訳(メタデータ) (2026-10-08T06:51:59Z) - Smart-Insertion-V: Photorealistic Video Insertion via a Closed-Loop Feedback Dual-Stream Framework [52.477407591581176]
マスクのないビデオオブジェクト挿入は、ソースビデオへの参照オブジェクトの調和を要する、困難なタスクとして登場した。
ビデオ挿入と画像スタイル転送を同時に行う,エンドツーエンドのtextbfDual-Stream フレームワークである textittextbfSmart-Insertion-V を提案する。
論文 参考訳(メタデータ) (2026-05-22T17:54:54Z) - Video Inpainting Localization with Contrastive Learning [2.1210527985139227]
ディープ・インペイントは通常、偽ビデオを作成するための重要なオブジェクトを削除する悪質な操作として使用される。
コントロアシブラーニング(ViLocal)を用いた簡易かつ効果的な映像塗装手法を提案する。
論文 参考訳(メタデータ) (2024-06-25T15:15:54Z) - DiffDub: Person-generic Visual Dubbing Using Inpainting Renderer with
Diffusion Auto-encoder [21.405442790474268]
DiffDub: Diffusion-based dubbingを提案する。
まず、編集可能なゾーンと未修正領域をデライン化するためのマスクを組み込んだ塗装により、Diffusion Auto-Encoderを製作する。
これらの課題に対処するため、我々はデータ強化や補充的アイガイダンスを含む多目的戦略を採用した。
論文 参考訳(メタデータ) (2023-11-03T09:41:51Z) - Ground-A-Video: Zero-shot Grounded Video Editing using Text-to-image
Diffusion Models [65.268245109828]
Ground-A-Videoは、マルチ属性ビデオ編集のためのビデオからビデオへの変換フレームワークである。
トレーニング不要な方法で、時間的に一貫した入力ビデオの編集を可能にする。
実験と応用により、Ground-A-Videoのゼロショットキャパシティは、編集精度とフレームの整合性の観点から、他のベースライン手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-10-02T11:28:37Z) - FateZero: Fusing Attentions for Zero-shot Text-based Video Editing [104.27329655124299]
本研究では,FateZeroを提案する。FateZeroは,実世界のビデオに対して,プロンプトごとのトレーニングや使用専用のマスクを使わずに,ゼロショットのテキストベースの編集手法である。
本手法は、ゼロショットテキスト駆動型ビデオスタイルと、訓練されたテキスト・ツー・イメージモデルからローカル属性を編集する機能を示す最初の方法である。
論文 参考訳(メタデータ) (2023-03-16T17:51:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。