論文の概要: EgoActionBench: Benchmarking Dense Action Captioning for Egocentric Human Videos

• arxiv url: http://arxiv.org/abs/2611.03646v1
• Date: Mon, 02 Nov 2026 18:59:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-05 20:26:43.067638
• Title: EgoActionBench: Benchmarking Dense Action Captioning for Egocentric Human Videos
• Title（参考訳）: EgoActionBench:エゴセントリックな人間ビデオのためのDense Action Captioningのベンチマーク
• Abstract要約: 連続的な人間の操作のベンチマークであるEgoActionBenchを紹介する。 EgoActionBenchには1,407エピソードと41,132の人為的なアクションアノテーションが含まれている。 本実験は, 動作原子性, 時間的精度, ハンドアクション関連における現行モデルに対する限界を明らかにする。
• 参考スコア（独自算出の注目度）: 40.132703937499635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning from human data offers a scalable path toward embodied intelligence, yet it requires models to accurately understand fine-grained human actions from egocentric observations. However, existing benchmarks remain limited in action atomicity, temporal precision, and hand-action association. We introduce EgoActionBench, a benchmark that represents continuous human manipulation as temporally localized atomic actions associated with the left hand, right hand, or both hands. EgoActionBench contains 1,407 episodes with 41,132 human-refined action annotations. To evaluate such dense predictions, we propose an evaluation protocol that retrieves temporally eligible candidates, selects a prediction by content agreement, and scores semantic fidelity and temporal overlap alongside action precision and recall, jointly capturing what happens, when it happens, and which hand performs it. We benchmark 20 baseline models and systems on EgoActionBench and further adapt two backbones, Qwen3-VL-4B and LLaVA-OneVision-2-8B, through supervised fine-tuning followed by reinforcement learning on automatically annotated training episodes. EgoAction improves EgoActionScore by 15.9 and 23.2 points on the two backbones, and both adapted models outperform all open-source baselines. Our experiments reveal substantial limitations of current models in action atomicity, temporal precision, and hand-action association, highlighting the gap between general video understanding and the action understanding required for embodied intelligence.
• Abstract（参考訳）: 人間のデータからの学習は、インボディードインテリジェンスへのスケーラブルなパスを提供するが、エゴセントリックな観察からきめ細かい人間の行動を正確に理解するためには、モデルが必要である。 しかし、既存のベンチマークは、アクション原子性、時間的精度、手動関連に制限されている。 EgoActionBenchは、人間の連続的な操作を、左手、右手、両手に関連する時間的局所的な原子活動として表すベンチマークである。 EgoActionBenchには1,407エピソードと41,132の人為的なアクションアノテーションが含まれている。 このような密集した予測を評価するため、時間的候補を検索し、コンテンツ合意による予測を選択し、動作精度とリコールとともに意味的忠実度と時間的重なり合いをスコアし、発生時、発生時、実行時、実行時を共同で把握する評価プロトコルを提案する。 我々は、EgoActionBench上で20のベースラインモデルとシステムをベンチマークし、さらに2つのバックボーン(Qwen3-VL-4BとLLaVA-OneVision-2-8B)を教師付き微調整と、自動注記トレーニングエピソードの強化学習により適用した。 EgoActionは2つのバックボーンでEgoActionScoreを15.9ポイント、23.2ポイント改善し、どちらのモデルも全てのオープンソースベースラインを上回っている。 実験の結果,動作原子性,時間的精度,手動行動関連における現在のモデルには,一般的な映像理解と,具体的知能に必要な行動理解とのギャップが顕著であることがわかった。

関連論文リスト

• EgoContact: Evaluating Physical Intelligence with Egocentric Video [83.4015764164399]
  EgoContactは、学習前の操作の一般化性と精度を評価するための大規模なエゴセントリックデータセットである。 現在の方法では、正確な相互作用の接触を予測するのに苦労することが多く、時には対象物を多種多様なシーンでローカライズするのに失敗することがある。
  論文  参考訳（メタデータ） (2026-10-29T01:57:52Z)
• Decoupling Action from Egocentric Observation for World Simulation [90.38609292843644]
  エゴセントリックな行動伝達は、エゴセントリックな観察からセマンティックな行動を切り離し、新しい視覚的文脈でそれらを再現することを目的としている。 本稿では,エゴセントリックな行動伝達のためのテストタイムフレームワークであるEgoACTについて紹介する。 EgoActionBenchは、多様なエゴセントリックな操作シナリオにおいて、アクションの保存、視覚的品質、手動の可視性を評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2026-10-20T09:52:46Z)
• Ego2Act: Evaluating Goal-Directed Manipulation in Egocentric Video Generation [46.6894894489978]
  Ego2Actは、110の現実世界のタスクから2,640の動画を収録したゴール指向のベンチマークである。 Ego2Actは、映像生成モデルが、作業を実行するために手操作対象の現実的なエゴセントリックなビデオを生成することができるかどうかを評価する。 その結果、モデルが生成したシミュレーションは、しばしばステップをスキップまたは部分的に実行し、後続のステップに依存状態が失われることが判明した。
  論文  参考訳（メタデータ） (2026-10-01T05:35:29Z)
• GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation [63.853929983870955]
  本稿では,ジェニー・エンスペクタ法 2.0 (GE-Act 2.0) について紹介する。 制御指向オートエンコーダ(CoAE)、ワンステップビジュアルプランナー(SVP)、逆ダイナミクスモデル(IDM)を組み合わせている。 それらのコンポーネントは、知識に整合した選択最適化(KASO)で共同で訓練され、記録された行動に適合していると判断された予測された未来のみを選択することで、ミスマッチした監視を減らす。
  論文  参考訳（メタデータ） (2026-09-04T17:16:48Z)
• EgoPro-Bench: Benchmarking Personalized Proactive Interaction in Egocentric Video Streams [12.739319690508482]
  EgoPro-Benchは、プロアクティブなインタラクション能力のトレーニングと評価のための新しいベンチマークである。 評価セットには2400本、トレーニングセットには12,000本以上のビデオが含まれている。 実験により,EgoPro-BenchはMLLMの意図理解能力を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2026-05-08T06:10:23Z)
• Zero-Shot Temporal Interaction Localization for Egocentric Videos [13.70694228506315]
  EgoLocと呼ばれる新しいゼロショットTIL手法を提案する。 2Dと3Dの両方を吸収することにより、EgoLocはHOIの接触/分離タイムスタンプに関する高品質な初期推定を直接サンプリングする。 EgoLocは、最先端のベースラインに比べて、エゴセントリックなビデオの時間的相互作用のローカライゼーションが優れている。
  論文  参考訳（メタデータ） (2025-06-04T07:52:46Z)
• EgoAgent: A Joint Predictive Agent Model in Egocentric Worlds [119.02266432167085]
  EgoAgentは単一変換器内での表現、予測、動作を同時に学習する統合エージェントモデルである。 EgoAgentは、タスクをインターリーブされた状態とアクションのシーケンスとして定式化することで、これらの能力間の因果的および時間的依存関係を明示的にモデル化する。 EgoAgentの画像分類,エゴセントリックな将来の状態予測,3次元人間の動作予測といった代表的課題に対する総合的な評価は,本手法の優位性を示している。
  論文  参考訳（メタデータ） (2025-02-09T11:28:57Z)
• Semi-Supervised Few-Shot Atomic Action Recognition [59.587738451616495]
  半教師付き数発のアトミック・アクション認識のための新しいモデルを提案する。 我々のモデルは、教師なしおよびコントラスト付きビデオ埋め込み、ゆるやかなアクションアライメント、マルチヘッド特徴比較、アテンションベースのアグリゲーションを特徴としている。 実験により,本モデルは,それぞれの最先端の分類精度よりも高い精度を全監督条件下で達成できることが確認された。
  論文  参考訳（メタデータ） (2020-11-17T03:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。