論文の概要: EgoErrorVQA: Assess Egocentric Comprehension Capabilities through Procedural Errors for Ego-Agentic AI
- arxiv url: http://arxiv.org/abs/2608.24134v1
- Date: Tue, 25 Aug 2026 06:58:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.850254
- Title: EgoErrorVQA: Assess Egocentric Comprehension Capabilities through Procedural Errors for Ego-Agentic AI
- Title（参考訳）: EgoErrorVQA:Ego-Agentic AIのための手続きエラーによるエゴセントリックな理解能力の評価
- Abstract要約: EgoErrorVQAタスクは、明示的な手続き的エラーモデリングを用いて、エゴセントリックな手続き的理解のために提案される。
エージェント2Agentプロトコルに基づくユーザフレンドリーな評価エージェントを開発した。
また、Adaptive Decoupled ReasoningフレームワークであるEgo-ADRを紹介します。
- 参考スコア（独自算出の注目度）: 24.612087629174656
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The majority of our everyday activities are procedural and consist of sequences of interdependent steps. However, existing benchmarks for Visual Agents and Visual Language Models (VLMs) overlook the evaluation of their procedural comprehension ability from an egocentric visual perspective, particularly for detecting procedural errors, a critical capability for everyday assistance. To bridge this gap, the EgoErrorVQA task is firstly proposed for egocentric procedural comprehension with explicit procedural errors modeling. Besides, we develop a user-friendly evaluator agent based on the Agent2Agent (A2A) protocol, enabling rigorous and standardized evaluation of visual agents through VQA-based interaction. A range of models are evaluated using both open-ended and multiple-choice questions, revealing persistent weaknesses in handling procedural errors and error types. Moreover, we introduce Ego-ADR, an Adaptive Decoupled Reasoning framework that decouples complex procedural reasoning to enhance models' understanding of procedural errors. It achieves consistent performance gains over the selected baselines and attains state-of-the-art results on several metrics under comparable settings. Code: https://github.com/z1oong/EgoErrorVQA
- Abstract（参考訳）: 私たちの日常活動の大部分は手続き的であり、相互依存的なステップのシーケンスで構成されています。
しかしながら、既存のVisual Agents and Visual Language Models (VLMs) のベンチマークでは、エゴセントリックな視覚的視点から手続き的理解能力の評価を見落としている。
このギャップを埋めるために、EgoErrorVQA タスクは、まず、明示的な手続き的エラーモデリングを伴うエゴセントリックな手続き的理解のために提案される。
さらに,エージェント2Agent(A2A)プロトコルに基づくユーザフレンドリな評価エージェントを開発し,VQAベースのインタラクションによる視覚エージェントの厳密で標準化された評価を可能にする。
オープンエンドとマルチチョイスの両方の質問を用いて、さまざまなモデルを評価し、手続き的エラーやエラータイプを扱う際の弱点を明らかにする。
さらに、複雑な手続き的推論を分離し、手続き的誤りに対するモデルの理解を深めるアダプティブデカップリング型推論フレームワークであるEgo-ADRを導入する。
選択されたベースラインに対して一貫したパフォーマンス向上を実現し、同じ設定でいくつかのメトリクスで最先端の結果を得る。
コード:https://github.com/z1oong/EgoErrorVQA
関連論文リスト
- MMPCBench: Benchmarking Multimodal Large Language Models on Proactive Critique of Flawed Inputs [16.970480774847857]
我々は、Proactive Critiqueを、追加のプロンプトなしで欠陥のあるユーザ入力を特定し、分析し、修正するモデルの自律的な能力として定義する。
MLLMの積極的批判能力を評価するための総合的なフレームワークMMPCBenchを提案する。
12のサブカテゴリにまたがる4つの主要なエラータイプのきめ細かい分類が特徴で、クロスモーダルな矛盾から視覚的前提の欠如まで様々である。
論文 参考訳（メタデータ） (2026-08-29T14:19:10Z) - From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。
最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。
縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。
IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
論文 参考訳（メタデータ） (2026-08-03T12:52:04Z) - EgoProceVQA: A Novel Egocentric Procedural Understanding Task with Self-Skill-Exploration Agent [40.15272756472325]
Egocentric Procedural Understanding VQA task (EgoProceVQA)
EgoProceGenは、異なる質問タイプに適したQAデータを効率的に構築するデータ生成プラットフォームである。
EgoProceAgent - セルフスキル探索エージェントフレームワーク。
論文 参考訳（メタデータ） (2026-07-15T12:55:35Z) - How to Correctly Make Mistakes: A Framework for Constructing and Benchmarking Mistake Aware Egocentric Procedural Videos [18.88275830423089]
本稿では,自己中心型手続き型ビデオの構築とベンチマークを行うフレームワークであるPIE-Vについて述べる。
ベンチマークには、ステップレベルとプロシージャレベルの品質をカバーする9つの指標を備えた統合分類法と人間のルーリックを導入する。
論文 参考訳（メタデータ） (2026-04-16T15:14:29Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳（メタデータ） (2026-03-15T16:13:58Z) - Metacognitive Self-Correction for Multi-Agent System via Prototype-Guided Next-Execution Reconstruction [58.51530390018909]
大規模言語モデルに基づくマルチエージェントシステムは、協調的な問題解決において優れているが、エラーのカスケードには脆弱である。
我々は,MASにリアルタイム,教師なし,ステップレベルの誤り検出と自己補正を付与するメタ認知フレームワークMASCを提案する。
論文 参考訳（メタデータ） (2025-10-16T05:35:37Z) - Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。
不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。
対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
論文 参考訳（メタデータ） (2025-02-18T17:12:26Z) - Transparent and Coherent Procedural Mistake Detection [30.540514590818265]
手続き的誤り検出(英: Procedural mis detection、PMD)は、人間がタスクをうまく実行したかどうかを分類する難しい問題である(手続き的テキストで特定)。
我々は、意思決定に視覚的自己対話的合理性を生成するためにPMDを拡張した。
近年のヴィジュアル・アンド・ランゲージモデル(VLM)で観察される印象的かつ成熟した画像理解能力を考えると、個々のフレームに基づいてPMDに適したベンチマークデータセットをキュレートする。
論文 参考訳（メタデータ） (2024-12-16T16:13:55Z) - Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳（メタデータ） (2024-04-04T15:36:53Z) - PREGO: online mistake detection in PRocedural EGOcentric videos [49.72812518471056]
自己中心型ビデオにおける誤り検出のための,最初のオンライン一級分類モデルであるPregoを提案する。
PreGOは、現在のアクションをモデル化するオンラインアクション認識コンポーネントと、次のアクションを予測するシンボリック推論モジュールに基づいている。
手続き的誤り検出のオンラインベンチマークに適応する2つの手続き的自己中心型ビデオデータセットであるAmbly101とEpic-tentについてPreGOを評価した。
論文 参考訳（メタデータ） (2024-04-02T13:27:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。