論文の概要: EgoArgus: Benchmarking VLMs as Situational Assistants for Modality-Grounded User Supports
- arxiv url: http://arxiv.org/abs/2608.25561v1
- Date: Wed, 26 Aug 2026 09:09:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.697267
- Title: EgoArgus: Benchmarking VLMs as Situational Assistants for Modality-Grounded User Supports
- Title（参考訳）: EgoArgus: モダリティを考慮したユーザサポートのための状況対応アシスタントとしてのVLMのベンチマーク
- Abstract要約: EgoArgusは人間にアノテートされたデータセットで、エゴセントリックなアシスタントを理解と意思決定のタスクで評価する。
以上の結果から,現在のVLMは信頼性の高い自己中心型アシスタントとして依然として困難であることが示唆された。
- 参考スコア（独自算出の注目度）: 5.919102792488079
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: VLMs are increasingly positioned as daily assistants that perceive first-person environments, follow user dialogue, and decide how to help. Existing egocentric benchmarks mainly evaluate visual understanding in isolation, leaving open whether models can arbitrate between visual evidence and user-provided language when the two are helpful, irrelevant, or conflicting. We introduce EgoArgus, a human-annotated dataset for evaluating egocentric assistants on understanding and decision tasks in five dialogue-video daily scenarios. Our results demonstrate that it is still challenging for current VLMs as reliable egocentric assistants, which requires identifying which modality is trustworthy and deciding when intervention is warranted. Deeper analysis also shows that existing modality bias mitigation methods are quite restricted to enhance performance, providing insights to aid practioners into the deployment of current VLMs as daily assistants.
- Abstract（参考訳）: VLMは、日々のアシスタントとして位置づけられ、一人称の環境を理解し、ユーザー対話に追従し、助ける方法を決定する。
既存のエゴセントリックなベンチマークは、視覚的理解を分離して評価し、モデルが視覚的エビデンスとユーザが提供する言語を仲裁できるかどうかを判断する。
EgoArgus(エゴアルガス)は、5つの対話ビデオの日常シナリオにおいて、理解と意思決定のタスクにおいて、人間中心のアシスタントを評価するための人間アノテーション付きデータセットである。
以上の結果から,既存のVLMは信頼性の高い自己中心型アシスタントであり,どのモダリティが信頼できるか,いつ介入が保証されるかを判断する必要があることが示唆された。
より深い分析により、既存のモダリティバイアス緩和法は、パフォーマンスを高めるために非常に制限されており、実践者が日々のアシスタントとして現在のVLMを配備するのを助けるための洞察を提供する。
関連論文リスト
- Self-Evolving Visual Questioner [53.949845616431624]
視覚言語モデル(VLM)は一般的に受動応答器として訓練される。
VLMは外部の監督なしに視覚的質問者として継続的に改善できることを示す。
本稿では,VLM自体をプロジェクタとフィルタの両方として使用する自己進化型フレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-11T21:45:46Z) - EgoIntrospect: An Egocentric Dataset and Benchmark for User-Centric Internal State Reasoning [47.853306116245484]
EgoIntrospectは、セルフアノテーションを備えたユーザ駆動のシナリオでキャプチャされた最初のエゴセントリックなデータセットである。
収録時間は60人から180時間、平均録音時間は1人あたり3時間である。
我々は、感情経験、インタラクティブな意図、認知記憶など、ユーザ内部状態を中心とした一連のタスクを形式化する。
論文 参考訳（メタデータ） (2026-05-17T05:05:29Z) - LifeEval: A Multimodal Benchmark for Assistive AI in Egocentric Daily Life Tasks [71.05217306468857]
LifeEvalは、リアルタイムでタスク指向の人間とAIのコラボレーションを評価するために設計されたマルチモーダルベンチマークである。
LifeEvalは、タスク指向の全体的評価、連続したファーストパーソンストリームからのエゴセントリックなリアルタイム認識、自然な対話による人間と人間の協力的な相互作用の3つの重要な側面を強調している。
論文 参考訳（メタデータ） (2026-02-28T06:05:31Z) - Robust Egocentric Referring Video Object Segmentation via Dual-Modal Causal Intervention [58.05340906967343]
Egocentric Referring Video Object (Ego-RVOS)は、言語クエリで説明されているように、人間のアクションに積極的に関与する特定のオブジェクトを、一人称ビデオに分割することを目的としている。
既存の手法はしばしば苦労し、データセット内の歪んだオブジェクト-アクションのペアリングから急激な相関を学習する。
本稿では,強力なトレーニング済みRVOSをエゴセントリックドメインに適応させるプラグイン因果フレームワークであるCausal-Referring(CERES)を紹介する。
論文 参考訳（メタデータ） (2025-12-30T16:22:14Z) - VLMs Guided Interpretable Decision Making for Autonomous Driving [39.29020915361483]
我々は、高度な意思決定タスクにおいて、最先端のオープンソースビジョン言語モデル(VLM)を評価する。
本稿では,VLMの役割を直接決定ジェネレータからセマンティックエンハンサーへシフトさせるアプローチを提案する。
提案手法は,VLMを信頼性・解釈可能なADシステムに統合する上で有望な方向を提供することにより,最先端の性能を実現する。
論文 参考訳（メタデータ） (2025-11-17T19:57:51Z) - In the Eye of MLLM: Benchmarking Egocentric Video Intent Understanding with Gaze-Guided Prompting [12.567763863700058]
EgoGazeVQAは、エゴセントリックな視線誘導型ビデオ質問応答ベンチマークである。
実験の結果,既存のMLLMはユーザの意図を正確に解釈するのに苦労していることがわかった。
我々の視線誘導インテントプロンプト法は性能を著しく向上させる。
論文 参考訳（メタデータ） (2025-09-09T07:11:56Z) - EgoBlind: Towards Egocentric Visual Assistance for the Blind [94.45487133965361]
EgoBlindは、視覚障害者から収集された最初のエゴセントリックなビデオQAデータセットである。
視覚障害者と視覚障害者の日常生活の1,392人の初対人ビデオで構成されている。
また、視覚補助のために、視覚障害者が直接提示または検証した5,311の質問も入っている。
論文 参考訳（メタデータ） (2025-03-11T09:40:31Z) - EgoLife: Towards Egocentric Life Assistant [60.51196061794498]
我々はEgoLifeを紹介した。EgoLifeは、AIを使ったウェアラブルグラスを通じて、個人の効率を向上するエゴセントリックなライフアシスタントを開発するプロジェクトだ。
我々は、6人の参加者が1週間一緒に暮らし、マルチモーダル・エゴセントリックなビデオキャプチャーにAIグラスを使用して日々の活動を継続的に記録し、同期された3人称ビデオ参照を行う総合的なデータ収集研究を行った。
この取り組みの結果、EgoLifeデータセットは、集中的なアノテーションを備えた300時間のエゴセントリック、対人、マルチビュー、マルチモーダルの日常生活データセットである。
私たちはEgoLifeQAを紹介します。EgoLifeQAは、長いコンテキスト、ライフ指向の質問応答タスクのスイートで、提供するように設計されています。
論文 参考訳（メタデータ） (2025-03-05T18:54:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。