論文の概要: EgoPlay: Event-Triggered Video Editing for Egocentric Streams

• arxiv url: http://arxiv.org/abs/2607.24560v1
• Date: Mon, 27 Jul 2026 15:31:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.479409
• Title: EgoPlay: Event-Triggered Video Editing for Egocentric Streams
• Title（参考訳）: EgoPlay:エゴセントリックストリームのためのイベントトリガー付きビデオ編集
• Abstract要約: EgoPlayはイベントトリガー付きビデオ・ツー・ビデオエディタで、エゴセントリックなストリームを提供する。 イベント認識、時間的拘束、ピクセルレベルの編集を1つのエンドツーエンドモデルで共同で学習する。 これは、Ego4DベンチマークでEgoEditを大きく上回っている。
• 参考スコア（独自算出の注目度）: 104.58379791199197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce EgoPlay, an event-triggered video-to-video editor for egocentric streams, obtained by fine-tuning a pretrained V2V diffusion transformer on event-conditioned data built primarily from Ego4D. Given a monocular video and an event-triggered prompt of the form "when X happens, do Y," EgoPlay infers whether and when event X occurs, preserves pre-event frames, and applies edit Y only to the post-event continuation. Rather than cascading a separate event detector with an editor, EgoPlay learns event recognition, temporal restraint, and pixel-level editing jointly in a single end-to-end model, while also handling negative and multi-event prompts. To support this, we construct a large-scale dataset of 106K event-triggered clip-prompt pairs spanning positive triggers, fabricated-trigger negatives, and multi-event prompts. We then train a bidirectional video diffusion editor with event-triggered supervision and derive a causal variant for chunk-by-chunk streamable inference. We further introduce an event-aware evaluation protocol that separately measures post-trigger editing quality, pre-trigger preservation, and false-trigger robustness. On the Ego4D benchmark, EgoPlay substantially outperforms EgoEdit, the state-of-the-art instruction-based egocentric video editing baseline, with relative gains of 17.7%, 16.9%, and 16.4% in editing quality, visual quality, and background consistency. It also surpasses a VLM-guided detector-editor baseline by 15.7%, 14.5%, and 13.5% on the same metrics, while using less than half the GPU memory.
• Abstract（参考訳）: 主にEgo4Dから構築されたイベントコンディショニングデータ上で,事前学習したV2V拡散変換器を微調整して得られる,イベントトリガーによるエゴセントリックストリーム用ビデオ・ツー・ビデオエディタであるEgoPlayを紹介する。 モノクロビデオとイベントトリガー付きプロンプトが "X が発生したら、Y をせよ" という形式で与えられると、EgoPlay はイベント X が発生したかどうかを推測し、イベント前フレームを保存し、編集後継続のみに Y を適用します。 エディタで個別のイベント検出器をカスケードする代わりに、EgoPlayはイベント認識、時間的拘束、ピクセルレベルの編集を単一のエンドツーエンドモデルで共同で学習すると同時に、ネガティブなプロンプトとマルチイベントプロンプトも処理する。 これをサポートするために, イベントトリガー付き106Kクリッププロンプトペアの大規模データセットを構築し, 正のトリガー, ファストトリガー負, マルチイベントプロンプトにまたがる。 次に、イベントトリガーを用いた双方向ビデオ拡散エディタを訓練し、チャンク・バイ・チャンク・ストリーム可能な推論のための因果変異を導出する。 さらに,後トリガー編集品質,前トリガー保存,偽トリガー堅牢性を別々に測定するイベント認識評価プロトコルを導入する。 Ego4Dベンチマークでは、EgoPlayは最先端のインストラクションベースのエゴセントリックなビデオ編集ベースラインであるEgoEditを大幅に上回り、17.7%、16.9%、および16.4%の編集品質、視覚的品質、背景整合性が向上した。 また、VLM誘導検出器-エディターベースラインを15.7%、14.5%、13.5%で上回り、GPUメモリの半分以下を使用する。

関連論文リスト

• Ego-Grounding for Personalized Question-Answering in Egocentric Videos [54.479709790133946]
  本稿では,マルチモーダル大言語モデル (MLLM) を,ego-grounding を必要とするパーソナライズされた質問応答において初めて体系的に解析する。 MyEgoは、MLLMのカメラ装着者の理解、記憶、推論能力を評価するために設計された最初のエゴセントリックなVideoQAデータセットである。
  論文  参考訳（メタデータ） (2026-04-02T12:29:23Z)
• EgoEdit: Dataset, Real-Time Streaming Model, and Benchmark for Egocentric Video Editing [87.43439966824111]
  対話型ARアプリケーションのための指導誘導型エゴセントリックビデオの編集について検討する。 EgoEditは命令追従エゴセントリックなビデオエディタで、単一のGPU上でリアルタイムストリーミング推論をサポートする。 EgoEditBench(エゴ編集ベンチ)は、指示の忠実さ、手動と相互作用の保存、およびエゴモーション下での時間的安定性を目標とした評価スイートである。
  論文  参考訳（メタデータ） (2025-12-05T18:57:05Z)
• EgoThinker: Unveiling Egocentric Reasoning with Spatio-Temporal CoT [56.24624833924252]
  EgoThinkerは、時間的連鎖管理と2段階の学習カリキュラムを通じて、堅牢なエゴセントリック推論能力を備えたMLを支援するフレームワークである。 EgoThinkerは、複数のエゴセントリックなベンチマークで既存のメソッドよりも優れており、微粒な時間的ローカライゼーションタスクで大幅に改善されている。
  論文  参考訳（メタデータ） (2025-10-27T17:38:17Z)
• EgoVideo: Exploring Egocentric Foundation Model and Downstream Adaptation [54.32133648259802]
  CVPR 2024のEgoVis Challengesには、Ego4Dチャレンジの5トラックとEPIC-Kitchensチャレンジの3トラックが含まれています。 ビデオ言語2towerモデルを構築し,厳密に整理された自我中心型ビデオデータを活用することにより,EgoVideoという新しい基礎モデルを導入する。 このモデルは、エゴセントリックなビデオの特徴に特化して設計されており、当社のコンペティションへの強力なサポートを提供する。
  論文  参考訳（メタデータ） (2024-06-26T05:01:37Z)
• Do Egocentric Video-Language Models Truly Understand Hand-Object Interactions? [48.702973928321946]
  Egocentric Video-Language Pretrainingは、一対一のシナリオにおける手動対話の理解を促進するための重要なステップである。 既存のテストベッドでの成功にもかかわらず、現在のEgoVLMは簡単な修正によって容易に誤認できることがわかった。 EgoVLMは手動オブジェクトの相互作用を本当に理解していますか?
  論文  参考訳（メタデータ） (2024-05-28T00:27:29Z)
• EgoVSR: Towards High-Quality Egocentric Video Super-Resolution [23.50915512118989]
  EgoVSRは、エゴセントリックビデオ用に特別に設計されたビデオ超解法フレームワークである。 VSRフレームワークのDual Branch Deblur Network (DB$2$Net) を用いて,エゴセントリックな動画における動きのぼかしに明示的に対処する。 一般的なVSRトレーニングデータに対するオンラインモーションブラー合成モデルを提案し,エゴセントリックビデオのような動きブラーをシミュレートした。
  論文  参考訳（メタデータ） (2023-05-24T04:25:51Z)
• Egocentric Video-Language Pretraining [74.04740069230692]
  Video-Language Pretrainingは、転送可能な表現を学習して、幅広いビデオテキストダウンストリームタスクを前進させることを目的としている。 我々は、最近リリースされたEgo4Dデータセットを利用して、3方向のEgoセントリックトレーニングを開拓しました。 3つのデータセットにわたる5つのエゴセントリックなダウンストリームタスクに対して、強いパフォーマンスを示します。
  論文  参考訳（メタデータ） (2022-06-03T16:28:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。