論文の概要: HelpMeOut: A Neuropsychology-Grounded Benchmark for Error-Aware Monitoring of Household Task Execution

• arxiv url: http://arxiv.org/abs/2610.17694v1
• Date: Tue, 13 Oct 2026 04:20:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.504306
• Title: HelpMeOut: A Neuropsychology-Grounded Benchmark for Error-Aware Monitoring of Household Task Execution
• Title（参考訳）: HelpMeOut: 家庭のタスク実行を誤検知する神経心理学のベンチマーク
• Abstract要約: 我々はHelpMeOutを紹介した。HelpMeOutは、家庭用タスク実行のエラー対応監視のための組込みAIベンチマークである。 HelpMeOutは、毎日のアクションエラーの研究を20000対のアクティビティエピソードに運用し、9つの神経心理学的動機付けられたエラーカテゴリをカバーしている。 その結果、標準のゴール推論とタスク補完ベンチマークで残されたギャップが示唆され、HelpMeOutはエラー対応エージェントのテストベッドとなる。
• 参考スコア（独自算出の注目度）: 8.199006180025593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce HelpMeOut, an embodied AI benchmark for error-aware monitoring of household task execution. Existing embodied household benchmarks typically assume that humans execute tasks correctly, but this assumption does not hold for cognitively impaired persons or older adults whose everyday activities produce structured execution errors. To address this gap, HelpMeOut operationalizes research on everyday action errors into 20000 paired activity episodes, covering nine neuropsychologically motivated error categories. In each episode, agents observe a streaming human activity trajectory and must monitor whether the execution is unfolding correctly, diagnosing any structured errors as early as possible. We evaluate learned-monitor, symbolic, change-point, and frontier LLM prompting baselines. Results show that these methods perform poorly as error monitors, often missing when execution goes wrong. These results suggest a gap left by standard goal-inference and task-completion benchmarks, making HelpMeOut a testbed for error-aware assistive agents.
• Abstract（参考訳）: 我々はHelpMeOutを紹介した。HelpMeOutは、家庭用タスク実行のエラー対応監視のための組込みAIベンチマークである。 既存の家庭用ベンチマークでは、人間が正しくタスクを実行すると仮定されるが、この仮定は、日常的な活動が構造的実行エラーを引き起こす認知障害のある人や高齢者には当てはまらない。 このギャップに対処するため、HelpMeOutは毎日のアクションエラーの研究を20000対のアクティビティエピソードに運用し、9つの神経心理学的動機付けられたエラーカテゴリをカバーしている。 各エピソードでは、エージェントはストリーミング人間の活動軌跡を観察し、実行が正しく展開されているかどうかを監視し、可能な限り早く構造化されたエラーを診断しなければならない。 我々は,学習指標,記号,変化点,フロンティアLPMをベースラインとして評価した。 結果は、これらのメソッドがエラーモニタとして機能しておらず、実行が失敗したときにしばしば欠落していることを示している。 これらの結果は、標準のゴール推論とタスク補完ベンチマークによって残されたギャップを示唆しており、HelpMeOutはエラー認識支援エージェントのテストベッドとなっている。

関連論文リスト

• Fly-by-Code: Embodied Coding Agents for Aerial Manipulation with Active Visual and Physical Feedback [63.75302732504381]
  エンボディードコーディングエージェントは、プログラムを生成し、実行フィードバックからそれらを精製することで、ロボットポリシーを構築する。 この改善は、実行フィードバックがタスクが成功したかどうかを明らかにし、失敗した後、プログラムのリビジョンをガイドするのに十分な証拠を提供すると仮定する。 同じフィードバックを再検査しても、収集されていない観察や、利用可能な証拠が区別できない原因を分離することはできません。 アクティブな"View and Probe"フレームワークであるActive Feedback(AF)を紹介します。
  論文  参考訳（メタデータ） (2026-10-08T18:00:00Z)
• PyINE: A Framework for Scalable Elicitation and Oversight via Code Execution [68.74093425009342]
  推論モデルは、コストが安いが誤解を招くショートカットにデフォルトを保ちながら、タスクを解決できる。 PyINEはPythonのインスツルメンテーションプログラムを使ってスケーラブルなエレケーションと監視を行うフレームワークである。 PyINE-v1は100万近い決定論的実行トレースから構築された最初のリリースです。
  論文  参考訳（メタデータ） (2026-10-03T20:03:43Z)
• TRAJDEBUG: Tracing Error Lifecycle to Identify Critical Failures in Long-Horizon Agent Trajectories [48.638067300108276]
  臨界エラー検出は、最終失敗の原因となる軌道上の最初期のエラーステップを見つけることを目的としている。 長い軌道は、ステップを判断する証拠は遠方の指示、観察、事前の文脈に散らばっているため、個々のエラーを特定するのを困難にしている。 長距離エラー検出に対処するエラーライフサイクルトレースフレームワークであるTraj Debugを提案する。
  論文  参考訳（メタデータ） (2026-08-06T17:51:20Z)
• Leveraging Trajectory Graphs for Pre-Execution Error Diagnosis in Agentic LLM Systems [47.66236392009794]
  LLM(Large Language Model)ベースのエージェントは、様々な複雑な対話的タスクにおいて、例外的なパフォーマンスを示す。 textitTrajectory Graph Copilot は LLM エージェントの副操縦士' として機能する新しいフレームワークで,実行前に潜在的な動作エラーを診断する。
  論文  参考訳（メタデータ） (2026-07-29T20:14:43Z)
• Experience Memory Graph: One-Shot Error Correction for Agents [9.23684438376937]
  大規模言語モデル(LLM)エージェントは、エラーを複雑にし、障害から回復するのに苦労する。 既存の自己補正機構は本質的に不安定なプロンプトベースの反射に依存している。 本稿では,エージェント障害回復をグラフマッチング問題として再構成するフレームワークであるExperience Memory Graph (EMG)を提案する。
  論文  参考訳（メタデータ） (2026-07-15T14:33:15Z)
• ESTANet: Efficient Online Error Detection in Procedural Videos via Prediction Inconsistency [10.854541165722814]
  手続き型ビデオにおけるオンラインエラーのリアルタイム検出を,単純だが見落とされがちな視点から検討する。 動作検知器は入力力学や時間的文脈に対する感度によって自然に異なる予測特性を示す。 本稿では,動作予測の不整合を利用してエラーを検出する軽量フレームワークESTANetを提案する。
  論文  参考訳（メタデータ） (2026-06-24T02:29:57Z)
• Hodoscope: Unsupervised Monitoring for AI Misbehaviors [25.119538476586737]
  AIエージェントを監視する既存のアプローチは、既知の障害モードをチェックする人間によるルールやLLMベースの判断に依存している。 我々は教師なしのモニタリングを定式化し、教師なしの学習に類似している。 この洞察を運用するツールであるHodoscopeを紹介します。
  論文  参考訳（メタデータ） (2026-04-13T06:52:05Z)
• InspectCoder: Dynamic Analysis-Enabled Self Repair through interactive LLM-Debugger Collaboration [71.18377595277018]
  大きな言語モデル(LLM)は、診断が難しい複雑なロジックエラーを伴うバグの多いコードを生成することが多い。 対話型デバッガ制御による動的解析を LLM に委ねる初のエージェントプログラム修復システムである InspectCoder を提案する。
  論文  参考訳（メタデータ） (2025-10-21T06:26:29Z)
• Technical Report for Egocentric Mistake Detection for the HoloAssist Challenge [5.257305312436567]
  手続き的エラーと実行的エラーの両方を処理するオンライン誤り検出フレームワークを導入する。 誤りを検知すると、説明的フィードバックを生成するために大きな言語モデル(LLM)を使用する。 HoloAssistベンチマークの実験により,本手法の有効性が確認された。
  論文  参考訳（メタデータ） (2025-06-06T15:39:09Z)
• Guiding Through Complexity: What Makes Good Supervision for Hard Math Reasoning Tasks? [74.88417042125985]
  複雑さの異なるタスクにおいて、様々な品質レベルで監視データを提供する様々なデータ駆動戦略について検討する。 ハードタスクの監視における結果エラー率が高い場合でも、そのようなデータによるトレーニングは、より簡単なサブタスクの監督を完璧に上回ります。 また,本研究の結果から,タスク・インスペクションとサブタスク・インスペクションを補完することで,顕著なパフォーマンス向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-10-27T17:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。