論文の概要: EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos
- arxiv url: http://arxiv.org/abs/2609.39378v1
- Date: Wed, 30 Sep 2026 09:30:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.518137
- Title: EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos
- Title（参考訳）: EgoTools: 実世界のエゴセントリックビデオにおけるツール中心の推論を目指して
- Abstract要約: EgoToolsは、エゴセントリックなツール利用理解のための、初めての総合的なスイートだ。
EgoTools-DataとEgoTools-Benchの2つの補完コンポーネントで構成されている。
- 参考スコア（独自算出の注目度）: 77.1413225676627
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world embodied tasks, from everyday activities to professional procedures, require agents to act under physical constraints while tracking evolving object and task states. Tool use sits at the heart of such tasks, as many everyday and professional activities are tool-mediated. Understanding them requires reasoning about affordances, hand-tool-object geometry, procedural progress, and causal effects on target objects. Yet despite strong performance on perception-oriented video tasks such as captioning and general video QA, current multimodal video models remain limited in this form of tool-centric embodied reasoning. Progress in this direction has been limited by the lack of real-world egocentric data and diagnostic benchmarks. To address this gap, we introduce EgoTools, the first comprehensive suite for egocentric tool-use understanding. It consists of two complementary components: EgoTools-Data, a large-scale corpus of 100 hours of tool-centric egocentric recordings with synchronized audio, dense captions, reasoning-heavy narrations, and supplementary 3D information; and EgoTools-Bench, a diagnostic benchmark of 1,000 QA pairs across four tracks that cover tool-use understanding from perception and geometry to procedure and causal reasoning. Experimental results show that current models still struggle to ground tool use in visual evidence: Gemini-3.1-Pro achieves 66.9% overall accuracy but only 51.7% on Perception & Grounding. Beyond evaluation, we validate EgoTools-Data as a training resource. On the full 1,000-question benchmark, full supervised fine-tuning improves Qwen3-VL-8B-Instruct from 50.0% to 60.9%, under strict source-video separation. Together, these results establish EgoTools as a unified resource for both training and diagnostic evaluation of real-world egocentric tool-use understanding.
- Abstract（参考訳）: 日常的な活動からプロの手続きまで、現実世界の具体化されたタスクは、進化するオブジェクトとタスク状態を追跡しながら、エージェントが物理的な制約の下で行動することを要求する。
ツールの使用は、日常や専門的な活動の多くがツールに依存しているため、そのようなタスクの中心にある。
それらの理解には、余裕、手動形状、手続き的進歩、および対象物に対する因果的影響の推論が必要である。
しかし、キャプションや一般的なビデオQAのような認識指向のビデオタスクでは高いパフォーマンスを保っているが、現在のマルチモーダルビデオモデルは、このツール中心の具体的推論の形で制限されている。
この方向の進歩は、実世界のエゴセントリックなデータと診断ベンチマークの欠如によって制限されている。
このギャップに対処するために、エゴセントリックなツール使用理解のための最初の包括的なスイートであるEgoToolsを紹介します。
EgoTools-Dataは、ツール中心の100時間の大規模なコーパスで、同期されたオーディオ、密集したキャプション、推論重大なナレーション、補足的な3D情報を備えている。
Gemini-3.1-Proは、全体的な精度は66.9%だが、知覚とグラウンドでは51.7%しか達成していない。
評価以外にも、トレーニングリソースとしてEgoTools-Dataを検証する。
フル1000クエストベンチマークでは、厳密なソース・ビデオ分離の下で、Qwen3-VL-8B-インストラクションを50.0%から60.9%改善した。
これらの結果と合わせて,EgoToolsは実世界のエゴセントリックなツール利用理解のトレーニングと診断のための統合リソースとして確立された。
関連論文リスト
- Transductive Visual Programming: Evolving Tool Libraries from Experience for Spatial Reasoning [63.071280297939005]
提案するTransductive Visual Programming (TVP, Transductive Visual Programming) は、投機ではなく、独自の経験から新しいツールを構築する新しいフレームワークである。
TVPは最先端のパフォーマンスを達成し、GPT-4oを22%上回り、以前の最高のビジュアルプログラミングシステムを11%上回っている。
私たちの研究は、自己進化型ビジュアルプログラミングエージェントを構築するための強力なパラダイムとして、経験駆動型トランスダクティブツールの作成を確立します。
論文 参考訳（メタデータ） (2025-12-24T04:30:21Z) - Developing Vision-Language-Action Model from Egocentric Videos [14.1517430035289]
エゴセントリックなビデオは、人間がオブジェクトやツールを操作する方法を捉え、オブジェクトの操作を学ぶための多様な動きの手がかりを提供する。
このようなビデオを利用してロボットのポリシーを訓練する以前の研究は、手動の詳細な記録のような補助的なアノテーションに依存していた。
本研究では,エゴセントリックビデオから6DoFオブジェクト操作トラジェクトリを抽出するフレームワークであるEgoScalerを活用することで,この問題に対処する。
論文 参考訳（メタデータ） (2025-09-26T07:09:33Z) - EgoBlind: Towards Egocentric Visual Assistance for the Blind [94.45487133965361]
EgoBlindは、視覚障害者から収集された最初のエゴセントリックなビデオQAデータセットである。
視覚障害者と視覚障害者の日常生活の1,392人の初対人ビデオで構成されている。
また、視覚補助のために、視覚障害者が直接提示または検証した5,311の質問も入っている。
論文 参考訳（メタデータ） (2025-03-11T09:40:31Z) - EgoLife: Towards Egocentric Life Assistant [60.51196061794498]
我々はEgoLifeを紹介した。EgoLifeは、AIを使ったウェアラブルグラスを通じて、個人の効率を向上するエゴセントリックなライフアシスタントを開発するプロジェクトだ。
我々は、6人の参加者が1週間一緒に暮らし、マルチモーダル・エゴセントリックなビデオキャプチャーにAIグラスを使用して日々の活動を継続的に記録し、同期された3人称ビデオ参照を行う総合的なデータ収集研究を行った。
この取り組みの結果、EgoLifeデータセットは、集中的なアノテーションを備えた300時間のエゴセントリック、対人、マルチビュー、マルチモーダルの日常生活データセットである。
私たちはEgoLifeQAを紹介します。EgoLifeQAは、長いコンテキスト、ライフ指向の質問応答タスクのスイートで、提供するように設計されています。
論文 参考訳（メタデータ） (2025-03-05T18:54:16Z) - ToolBeHonest: A Multi-level Hallucination Diagnostic Benchmark for Tool-Augmented Large Language Models [43.895478182631116]
ツール拡張大型言語モデル(LLM)は、現実世界のアプリケーションに急速に統合されている。
この課題に対処するために、包括的な診断ベンチマークであるToolBHを導入する。
ツールセットの特徴に基づいた,必要なツールや潜在的なツール,限定的な機能ツールの3つのシナリオについて検討する。
結果は、ToolBHベンチマークで提示された重要な課題を示している。
論文 参考訳（メタデータ） (2024-06-28T16:03:30Z) - Object Aware Egocentric Online Action Detection [23.504280692701272]
我々は,egocentric-specific presを既存のオンライン行動検出フレームワークに統合するObject-Aware Moduleを紹介した。
私たちの作業は最小限のオーバーヘッドで既存のモデルにシームレスに統合することができ、一貫したパフォーマンス向上をもたらします。
論文 参考訳（メタデータ） (2024-06-03T07:58:40Z) - EgoExoLearn: A Dataset for Bridging Asynchronous Ego- and Exo-centric View of Procedural Activities in Real World [44.34800426136217]
EgoExoLearnは、以下のプロセスで人間の実演をエミュレートするデータセットである。
EgoExoLearnには120時間にわたるエゴセントリックでデモ的なビデオデータが含まれている。
クロスビューアソシエーション、クロスビューアクションプランニング、クロスビュー参照スキルアセスメントなどのベンチマークを提示する。
論文 参考訳（メタデータ） (2024-03-24T15:00:44Z) - Localizing Active Objects from Egocentric Vision with Symbolic World
Knowledge [62.981429762309226]
タスクの指示をエゴセントリックな視点から積極的に下す能力は、AIエージェントがタスクを達成したり、人間をバーチャルに支援する上で不可欠である。
本稿では,現在進行中のオブジェクトの役割を学習し,指示から正確に抽出することで,アクティブなオブジェクトをローカライズするフレーズグラウンドモデルの性能を向上させることを提案する。
Ego4DおよびEpic-Kitchensデータセットに関するフレームワークの評価を行った。
論文 参考訳（メタデータ） (2023-10-23T16:14:05Z) - Egocentric Video-Language Pretraining [74.04740069230692]
Video-Language Pretrainingは、転送可能な表現を学習して、幅広いビデオテキストダウンストリームタスクを前進させることを目的としている。
我々は、最近リリースされたEgo4Dデータセットを利用して、3方向のEgoセントリックトレーニングを開拓しました。
3つのデータセットにわたる5つのエゴセントリックなダウンストリームタスクに対して、強いパフォーマンスを示します。
論文 参考訳（メタデータ） (2022-06-03T16:28:58Z) - Enhanced Self-Perception in Mixed Reality: Egocentric Arm Segmentation
and Database with Automatic Labelling [1.0149624140985476]
本研究は、拡張仮想性における自己認識を改善するために、自我中心の腕のセグメンテーションに焦点を当てる。
GTEA Gaze+, EDSH, EgoHands, Ego Youtube Hands, THU-Read, TEgO, FPAB, Ego Gesture などの実効自我中心のデータセットについて報告する。
このタスクに対するEgoArmデータセットの適合性を確認し、元のネットワークに対して最大40%の改善を実現した。
論文 参考訳（メタデータ） (2020-03-27T12:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。