論文の概要: OptionWorld: A Benchmark for Diagnosing Failures of LLMs as Long-Term Personal Assistants

• arxiv url: http://arxiv.org/abs/2610.28491v1
• Date: Tue, 20 Oct 2026 16:38:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.923326
• Title: OptionWorld: A Benchmark for Diagnosing Failures of LLMs as Long-Term Personal Assistants
• Title（参考訳）: OptionWorld:長期パーソナルアシスタントとしてのLCMの障害診断ベンチマーク
• Abstract要約: 情報や状況が変わるにつれて、長期のアシスタントは数日にわたって未完成のタスクを守らなければならない。 しかし、情報を見つけたり、アクションを開始することは、タスクが完了することを保証しません。 我々は、情報取得、判断、行動、結果を追跡するベンチマークであるOptionWorldを紹介した。
• 参考スコア（独自算出の注目度）: 20.02070178238691
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-term assistants must follow unfinished tasks across days as information and circumstances change. Finding information or starting an action, however, does not ensure that the task gets completed. We introduce OptionWorld, a benchmark that traces information acquisition, judgments, actions, and outcomes in simulated daily-life tasks to identify where current LLMs fall short as long-term personal assistants. In runs with archived decision inputs, the key facts remain in the model's last input before the deadline in 35.5% of failed instances. Failure analysis identifies the three most frequent problems: needed information is not obtained or combined, available opportunities to act go unused, and agents impose restrictions that the task does not require. Three follow-up experiments show that supplying missing facts restores task success in some cases; action reminders can restart work while subsequent steps still miss the deadline; and correcting a supplied note that wrongly forbids contact restores permitted inquiry. These findings locate shortcomings in maintaining task state: connecting facts to unfinished work, following through before deadlines, and separating actual restrictions from the agent's assumptions.
• Abstract（参考訳）: 情報や状況が変わるにつれて、長期のアシスタントは数日にわたって未完成のタスクを守らなければならない。 しかし、情報を見つけたり、アクションを開始することは、タスクが完了することを保証しません。 我々は、情報取得、判断、行動、結果を追跡するベンチマークであるOptionWorldを導入し、現在のLLMが長期的なパーソナルアシスタントとして不足している場所を特定する。 アーカイブされた決定入力を伴う実行では、失敗するインスタンスの35.5%の期限前のモデルの最後の入力に重要な事実が残っている。 障害分析は、必要な情報が得られなかったり、組み合わせられたりせず、実行可能な機会は未使用となり、エージェントはタスクが要求しない制限を課す、という3つの最も頻繁な問題を特定する。 続く3つの実験は、不足した事実の供給がタスクの成功を回復することを示している; アクションリマインダーは作業を再起動し、その後のステップは期限を逸脱する。 これらの知見は、未完成の作業と事実を結びつけること、期限前を通り抜けること、エージェントの仮定から実際の制約を分離すること、といったタスク状態を維持する上での欠点を見つける。

関連論文リスト

• RoboQuest: Generalist Physical Agents that Search, Inspect and Test [39.17463515070178]
  目標指向の実施探索のためのベンチマークであるRoboQuestを紹介する。 RoboQuestには,検索,操作ベースの検査,インタラクティブテストという,3つの不確実性を中心とした10のモバイル操作タスクが含まれている。 我々は5つのフロンティアマルチモーダルエージェントを共通のビジュモータインタフェースで評価し、また、リリースした全エピソードのデモに基づいて、$_0.5$のポリシーを微調整した。
  論文  参考訳（メタデータ） (2026-10-07T16:46:45Z)
• When History Fails to Become Experience: Action Calibration in Language Agents [14.773308083944562]
  言語エージェントは、同じタスク内で後の意思決定を改善するために、事前の試行と環境フィードバックを引き出す必要がある。 履歴は全体のタスク完了を改善するが、このメリットの多くは過去のアクションがシャッフルされたとしても持続する。 過去の行動を明示的に再評価し、経験を選択的に記録し、その後の意思決定を導く学習校正器を導入する。
  論文  参考訳（メタデータ） (2026-10-02T03:50:34Z)
• Dude, Where's My State? Execution Information Requirements for Stateful Agents [10.501126275738219]
  本研究では,個々の作業の難易度から情報需要,維持,回復を別々に変化させるような,既知の依存関係を持つタスクを生成するフレームワークを開発する。 エージェント実行トレースを使用してセマンティックグラフを構築し,実際のタスクに対する情報要求を計測するVESTIGEも導入する。
  論文  参考訳（メタデータ） (2026-09-26T14:48:41Z)
• ORAgentBench: Can LLM Agents Solve Challenging Operations Research Tasks End to End? [28.383940617377856]
  ORAgentBenchは、自律エージェントを運用研究タスクで評価するための実行基盤ベンチマークである。 さまざまな運用シナリオにまたがる107のヒューマンレビュータスクが含まれており、それぞれに自然言語で簡潔な複数ファイルデータ、設定アーティファクト、必要なスキーマがパッケージされている。 14のフロンティアエージェントモデルによる実験では、現在のエージェントは信頼性の高いORの実践から程遠いままである。
  論文  参考訳（メタデータ） (2026-06-18T04:43:23Z)
• When Is Enough Not Enough? Illusory Completion in Search Agents [56.98225130959051]
  検索エージェントが、複数の条件をトラッキングし、検証し、維持することで、すべての要件に対して確実に理性性を持たせるかどうかを調査する。 エージェントは、未解決の制約や違反の制約にもかかわらずタスクが完了したと信じており、未検証の回答につながる。 我々は、実行中の明示的な制約状態追跡が、推論時トラッカーであるLiveLedgerを介してこれらの障害を緩和するかどうかを検討する。
  論文  参考訳（メタデータ） (2026-02-07T13:50:38Z)
• Are Your Agents Upward Deceivers? [73.1073084327614]
  大規模言語モデル(LLM)ベースのエージェントは、ユーザのためにタスクを実行する自律的な従属者として、ますます使われています。 これは、人間の組織の個人がどのように上官に嘘をついて良いイメージを作り出したり、罰を免れるかのような、詐欺にも関与するかどうかという問題を提起する。 本研究では,環境制約に直面するエージェントが障害を隠蔽し,報告なしに要求されない動作を行う現象であるエージェント上行錯誤を観察・定義する。
  論文  参考訳（メタデータ） (2025-12-04T14:47:05Z)
• InfoMosaic-Bench: Evaluating Multi-Source Information Seeking in Tool-Augmented Agents [60.89180545430896]
  InfoMosaic-Benchは、ツール拡張されたエージェントを探すマルチソース情報に特化した最初のベンチマークである。 汎用検索とドメイン固有のツールを組み合わせるにはエージェントが必要である。 この設計は信頼性と非自明性の両方を保証する。
  論文  参考訳（メタデータ） (2025-10-02T17:48:03Z)
• When does In-context Learning Fall Short and Why? A Study on Specification-Heavy Tasks [54.71034943526973]
  In-context Learning (ICL)は、大規模言語モデル(LLM)のデフォルトメソッドとなっている。 ICLは、複雑で広範囲なタスク仕様を持つタスクである、仕様の重いタスクを処理できないことが分かりました。 我々は、コンテキストを具体的に理解できないこと、タスクスキーマが人間と理解できないこと、長文理解が不十分であること、の3つの主な理由を識別する。
  論文  参考訳（メタデータ） (2023-11-15T14:26:30Z)
• PEARL: Prompting Large Language Models to Plan and Execute Actions Over Long Documents [78.27865456183397]
  長い文書に対する推論を改善するためのフレームワークであるPEARLを提案する。 PEARLの各ステージは、最小限の人間の入力でゼロショットまたは少数ショットのプロンプトによって実装される。 PEARLをQuALITYデータセットの挑戦的なサブセットで評価し、長い物語テキストに対して複雑な推論を必要とする質問を含む。
  論文  参考訳（メタデータ） (2023-05-23T23:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。