論文の概要: EgoEdit: Dataset, Real-Time Streaming Model, and Benchmark for Egocentric Video Editing

• arxiv url: http://arxiv.org/abs/2512.06065v1
• Date: Fri, 05 Dec 2025 18:57:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.178865
• Title: EgoEdit: Dataset, Real-Time Streaming Model, and Benchmark for Egocentric Video Editing
• Title（参考訳）: EgoEdit:エゴセントリックビデオ編集のためのデータセット、リアルタイムストリーミングモデル、ベンチマーク
• Authors: Runjia Li, Moayed Haji-Ali, Ashkan Mirzaei, Chaoyang Wang, Arpit Sahni, Ivan Skorokhodov, Aliaksandr Siarohin, Tomas Jakab, Junlin Han, Sergey Tulyakov, Philip Torr, Willi Menapace,
• Abstract要約: 対話型ARアプリケーションのための指導誘導型エゴセントリックビデオの編集について検討する。 EgoEditは命令追従エゴセントリックなビデオエディタで、単一のGPU上でリアルタイムストリーミング推論をサポートする。 EgoEditBench(エゴ編集ベンチ)は、指示の忠実さ、手動と相互作用の保存、およびエゴモーション下での時間的安定性を目標とした評価スイートである。
• 参考スコア（独自算出の注目度）: 87.43439966824111
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study instruction-guided editing of egocentric videos for interactive AR applications. While recent AI video editors perform well on third-person footage, egocentric views present unique challenges - including rapid egomotion and frequent hand-object interactions - that create a significant domain gap. Moreover, existing offline editing pipelines suffer from high latency, limiting real-time interaction. To address these issues, we present a complete ecosystem for egocentric video editing. First, we construct EgoEditData, a carefully designed and manually curated dataset specifically designed for egocentric editing scenarios, featuring rich hand-object interactions, while explicitly preserving hands. Second, we develop EgoEdit, an instruction-following egocentric video editor that supports real-time streaming inference on a single GPU. Finally, we introduce EgoEditBench, an evaluation suite targeting instruction faithfulness, hand and interaction preservation, and temporal stability under egomotion. Across both egocentric and general editing tasks, EgoEdit produces temporally stable, instruction-faithful results with interactive latency. It achieves clear gains on egocentric editing benchmarks-where existing methods struggle-while maintaining performance comparable to the strongest baselines on general editing tasks. EgoEditData and EgoEditBench will be made public for the research community. See our website at https://snap-research.github.io/EgoEdit
• Abstract（参考訳）: 対話型ARアプリケーションのための指導誘導型エゴセントリックビデオの編集について検討する。 最近のAIビデオエディタは、第三者の映像でうまく機能するが、エゴセントリックなビューは、急激なエゴモーションや頻繁なハンドオブジェクトインタラクションなど、ドメインギャップを生じさせるユニークな課題を提示する。 さらに、既存のオフライン編集パイプラインはレイテンシが高く、リアルタイムのインタラクションが制限されている。 これらの問題に対処するために、エゴセントリックなビデオ編集のための完全なエコシステムを提示する。 まず、エゴセントリックな編集シナリオに特化して設計された、慎重に設計され手動でキュレートされたデータセットであるEgoEditDataを構築する。 次に,1つのGPU上でのリアルタイムストリーミング推論をサポートする命令追従エゴセントリックビデオエディタであるEgoEditを開発した。 最後に,EgoEditBenchを紹介する。EgoEditBenchは,指示の忠実度,手と対話の保存,時間的安定性を目標とした評価スイートである。 エゴセントリックな編集タスクと一般的な編集タスクの両方で、EgoEditは時間的に安定し、対話的な遅延を伴う命令に忠実な結果を生成する。 既存のメソッドは、一般的な編集タスクにおける最強のベースラインに匹敵するパフォーマンスを維持するのに苦労している。 EgoEditDataとEgoEditBenchは、研究コミュニティのために公開される。 Webサイトはhttps://snap-research.github.io/EgoEditにある。

関連論文リスト

• EgoThinker: Unveiling Egocentric Reasoning with Spatio-Temporal CoT [56.24624833924252]
  EgoThinkerは、時間的連鎖管理と2段階の学習カリキュラムを通じて、堅牢なエゴセントリック推論能力を備えたMLを支援するフレームワークである。 EgoThinkerは、複数のエゴセントリックなベンチマークで既存のメソッドよりも優れており、微粒な時間的ローカライゼーションタスクで大幅に改善されている。
  論文  参考訳（メタデータ） (2025-10-27T17:38:17Z)
• EgoLoc: A Generalizable Solution for Temporal Interaction Localization in Egocentric Videos [13.10069586920198]
  自我中心の視覚における手動物体の相互作用の分析は、VR/ARアプリケーションと人間ロボットのポリシー伝達を促進する。 EgoLocと呼ばれる新しいゼロショットアプローチを提案し、エゴセントリックなビデオで手動接触と切り離しタイムスタンプをローカライズする。 EgoLocは、視覚言語モデルを利用して、コンタクト/セパレーション属性を特定し、特定のタイムスタンプをローカライズし、さらなる改善のためにクローズドループフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-08-17T12:38:56Z)
• EgoVideo: Exploring Egocentric Foundation Model and Downstream Adaptation [54.32133648259802]
  CVPR 2024のEgoVis Challengesには、Ego4Dチャレンジの5トラックとEPIC-Kitchensチャレンジの3トラックが含まれています。 ビデオ言語2towerモデルを構築し,厳密に整理された自我中心型ビデオデータを活用することにより,EgoVideoという新しい基礎モデルを導入する。 このモデルは、エゴセントリックなビデオの特徴に特化して設計されており、当社のコンペティションへの強力なサポートを提供する。
  論文  参考訳（メタデータ） (2024-06-26T05:01:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。