論文の概要: Moving Beyond More Views: Redundancy-Aware Ego-Exo Fusion for Proficiency Estimation

• arxiv url: http://arxiv.org/abs/2608.25736v1
• Date: Wed, 26 Aug 2026 12:47:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.827964
• Title: Moving Beyond More Views: Redundancy-Aware Ego-Exo Fusion for Proficiency Estimation
• Title（参考訳）: さらなる視点を超えて進む: 熟練度推定のための冗長性を考慮したエゴエクソフュージョン
• Abstract要約: EgoExoの推定は、エゴセントリックな(一人称の)視点からのきめ細かい動きのキューと、複数のエゴセントリックな(3人称の)視点からの空間的コンテキストを統合することを目的としている。 マルチビュー冗長性 - データの観点からは、特定のビューは限定的あるいはノイズの多い情報を提供し、識別的手がかりを希釈する; オーバーフィッティング - 特徴の観点からは、従来の融合は表現の複雑さを増大させ、一般的な表現を学習するのではなく、ビュー固有のパターンを記憶させる。
• 参考スコア（独自算出の注目度）: 12.151605559533337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: EgoExo proficiency estimation aims to assess action quality by integrating fine-grained motion cues from egocentric (1st-person) views with spatial context from multiple exocentric (3rd-person) views. Simply adding more exocentric views degrades EgoExo performance, as redundant or noisy perspectives dilute useful motion cues. Our analysis identifies two key causes: (1) Multiview redundancy - From the data perspective, certain views provide limited or noisy information, diluting discriminative cues; (2) Overfitting - From the feature perspective, conventional fusion increases representational complexity, causing the model to memorise view-specific patterns rather than learn generalisable representations. To address these issues, we propose two complementary modules: AdaMVS, which adaptively identifies and fuses the most informative view tokens under weak supervision from the data perspective, and VIB-GB, which combines Gradient Blending and Variational Information Bottleneck regularisation from the feature perspective to compress redundant signals and suppress overfitting during training. Experiments on EgoExo-4D and EgoExo-Fitness demonstrate that our method learns both which view to look at and how to fuse them, achieving new state-of-the-art results. Our source code is available at https://github.com/dx199771/AdaMVS
• Abstract（参考訳）: EgoExoの熟練度推定は,エゴセントリックな(一対一の)視点からのきめ細かい動きキューを,複数のエゴセントリックな(三対三の)視点からの空間的コンテキストと統合することにより,行動品質を評価することを目的としている。 よりエキゾセントリックなビューを追加するだけで、EgoExoのパフォーマンスは低下する。 マルチビュー冗長性 - データの観点からは、特定のビューは限定的あるいはノイズの多い情報を提供し、識別的手がかりを希釈する; オーバーフィッティング - 特徴の観点からは、従来の融合は表現の複雑さを増大させ、一般的な表現を学習するのではなく、ビュー固有のパターンを記憶させる。 これらの問題に対処するために、データの観点から最も情報に富んだビュートークンを適応的に識別・融合するAdaMVSと、特徴の観点からのグラディエントブレンディングと変分情報ボトルネック正規化を組み合わせたVIB-GBの2つの補完モジュールを提案し、冗長信号を圧縮し、訓練中の過度適合を抑制する。 EgoExo-4DとEgoExo-Fitnessの実験では、どのビューを見るか、どのように融合するかを学習し、新しい最先端の結果を得る。 ソースコードはhttps://github.com/dx 199771/AdaMVSで入手できる。

関連論文リスト

• VIEW2SPACE: Studying Multi-View Visual Reasoning from Sparse Observations [47.94531550391802]
  多視点視覚推論は、スパースと離散的な視点から複雑な環境を理解する必要があるインテリジェントシステムにとって不可欠である。 現実のシナリオでは、ビュー間の推論は、明示的なガイダンスなしで部分的な観察を統合する必要がある。 我々は物理基底シミュレーションを利用して、ビュー毎の正確なメタデータを持つ多種多様な高忠実な3Dシーンを構築する。
  論文  参考訳（メタデータ） (2026-03-17T13:36:30Z)
• Robust Egocentric Referring Video Object Segmentation via Dual-Modal Causal Intervention [58.05340906967343]
  Egocentric Referring Video Object (Ego-RVOS)は、言語クエリで説明されているように、人間のアクションに積極的に関与する特定のオブジェクトを、一人称ビデオに分割することを目的としている。 既存の手法はしばしば苦労し、データセット内の歪んだオブジェクト-アクションのペアリングから急激な相関を学習する。 本稿では,強力なトレーニング済みRVOSをエゴセントリックドメインに適応させるプラグイン因果フレームワークであるCausal-Referring(CERES)を紹介する。
  論文  参考訳（メタデータ） (2025-12-30T16:22:14Z)
• EgoExo-Con: Exploring View-Invariant Video Temporal Understanding [66.25513481642845]
  Video-LLMは、ビデオが異なる視点から同じイベントをキャプチャしたとき、一貫した時間的理解を実現することができるか? EgoExo-Con (Consistency) は、自然言語による人間精製クエリと総合的に同期されたエゴセントリックおよびエクソセントリックなビデオペアのベンチマークである。 ビュー固有の時間的推論を効果的に強化する新しい強化学習フレームワークであるView-GRPOを提案する。
  論文  参考訳（メタデータ） (2025-10-30T03:53:22Z)
• EgoWorld: Translating Exocentric View to Egocentric View using Rich Exocentric Observations [4.252119151012245]
  EgoWorld(エゴワールド)は、エゴセントリックな視点を、豊富なエゴセントリックな視点から再構築する新しいフレームワークである。 提案手法は,推定された遠心深度マップから点雲を再構成し,それをエゴセントリックな視点に再投影し,拡散に基づくインペインティングを適用して,密集した意味的コヒーレントなエゴセントリックな画像を生成する。 EgoWorldは最先端のパフォーマンスを実現し、新しいオブジェクト、アクション、シーン、主題への堅牢な一般化を実証している。
  論文  参考訳（メタデータ） (2025-06-22T04:21:48Z)
• Bootstrap Your Own Views: Masked Ego-Exo Modeling for Fine-grained View-invariant Video Representations [47.04855334955006]
  本稿では,因果的時間的ダイナミクスと相互視的アライメントを促進するマスク付きエゴエクソモデリングを提案する。 我々は、堅牢なクロスビュー理解の基礎として、人間の行動の構成的性質を捉えることの重要性を強調した。
  論文  参考訳（メタデータ） (2025-03-25T14:33:32Z)
• ObjectRelator: Enabling Cross-View Object Relation Understanding Across Ego-Centric and Exo-Centric Perspectives [109.11714588441511]
  Ego-Exoオブジェクト対応タスクは,セグメンテーションを通じて,ego-Exoパースペクティブ間のオブジェクト関係を理解することを目的としている。 最近提案されたセグメンテーション手法であるPSALMは、このタスクでデモされたゼロショット能力を例外として挙げている。 我々は、マルチモーダルコンディションフュージョンとSSLベースのクロスビューオブジェクトアライメントという、2つの重要なモジュールを特徴とする新しいアプローチであるObjectRelatorを提案する。
  論文  参考訳（メタデータ） (2024-11-28T12:01:03Z)
• Ego3DPose: Capturing 3D Cues from Binocular Egocentric Views [9.476008200056082]
  Ego3DPoseは、高度に高精度な両眼エゴ中心型3Dポーズ再構築システムである。 両眼熱マップと独立に手足のポーズを推定する経路を持つ2経路ネットワークアーキテクチャを提案する。 三角法を用いた新しい視点認識表現を提案し,手足の3次元方向を推定する。
  論文  参考訳（メタデータ） (2023-09-21T10:34:35Z)
• Learning Fine-grained View-Invariant Representations from Unpaired Ego-Exo Videos via Temporal Alignment [71.16699226211504]
  我々は,エゴセントリックな映像とエゴセントリックな映像を時間内に整列させることにより,視点に不変なきめ細かいアクション特徴を学習することを提案する。 そこで本研究では,2つの鍵設計を持つ自己教師型埋め込み手法であるAE2を提案する。 評価のために,エゴ・エクソ・コンテキストにおけるきめ細かい映像理解のためのベンチマークを構築した。
  論文  参考訳（メタデータ） (2023-06-08T19:54:08Z)
• Ego-Exo: Transferring Visual Representations from Third-person to First-person Videos [92.38049744463149]
  大規模第3者映像データセットを用いた自己中心型映像モデルの事前訓練手法について紹介する。 私たちのアイデアは、重要なエゴセントリック特性を予測する第三者ビデオから潜在信号を見つけることです。 実験の結果,Ego-Exoフレームワークは標準ビデオモデルにシームレスに統合可能であることがわかった。
  論文  参考訳（メタデータ） (2021-04-16T06:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。