論文の概要: PDEU-Bench: Benchmarking the Personalized Planning Lifecycle of Tool-Calling LLM Agents

• arxiv url: http://arxiv.org/abs/2609.34930v1
• Date: Mon, 28 Sep 2026 11:27:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:41:33.968153
• Title: PDEU-Bench: Benchmarking the Personalized Planning Lifecycle of Tool-Calling LLM Agents
• Title（参考訳）: PDEU-Bench: LLMエージェントのパーソナライズされた計画ライフサイクルのベンチマーク
• Abstract要約: 大規模言語モデル(LLM)エージェントは、独立した命令を実行するツールコールシステムからタスク指向エージェントへと進化している。 PDEU-Benchは、パーソナライズされたツール使用エージェントの完全な計画ライフサイクルを評価するためのベンチマークである。
• 参考スコア（独自算出の注目度）: 27.04140365219108
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) agents are evolving from tool-calling systems that execute isolated instructions into task-oriented agents that pursue user goals through sustained, multi-step interactions. However, existing benchmarks for personalized tool use largely assess isolated calls or reactive execution, leaving unclear whether agents can formulate, execute, and revise an explicit plan while preserving user preferences throughout long-term interaction. To address this gap, we introduce \textbf{PDEU-Bench} (\textbf{P}ersonalized plan \textbf{D}efinition, plan \textbf{E}xecution, and plan \textbf{U}pdate \textbf{Bench}mark), a benchmark for evaluating the complete planning lifecycle of personalized tool-using agents. PDEU-Bench comprises 214 long-horizon interaction tasks spanning 12 everyday domains and 94 tools, with stage-specific assessments of preference adherence and plan quality. Extensive evaluations of 15 representative open-source and closed-source LLMs reveal a pronounced gap between local tool execution and dynamic planning: LLMs can often instantiate preferences in individual calls, yet struggle to construct coherent plan definition and plan update. We further evaluate mainstream personalization and memory-augmentation methods. Although these methods improve particular stages, none of the evaluated methods reliably propagates user preferences throughout the complete lifecycle, and their gains frequently fail to transfer to subsequent execution. Fine-grained error analysis further reveals that preference omissions and conflicts persist throughout the planning lifecycle, highlighting the need for future research to parameterize LLMs with preference-aware information retrieval and memory capabilities. We provide the relevant code and data in the appendix to support future research.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、独立した命令を実行するツールコールシステムから、持続的なマルチステップインタラクションを通じてユーザ目標を追求するタスク指向エージェントへと進化している。 しかし、パーソナライズされたツールのための既存のベンチマークでは、分離された呼び出しやリアクティブ実行を主に評価しており、エージェントが長期的なインタラクションを通じてユーザの好みを保ちながら、明示的なプランを定式化し、実行し、修正できるかどうかは不明である。 このギャップに対処するために、パーソナライズされたツール使用エージェントの完全な計画ライフサイクルを評価するベンチマークである \textbf{PDEU-Bench} (\textbf{P}ersonalized plan \textbf{D}efinition, plan \textbf{E}xecution, plan \textbf{U}pdate \textbf{Bench}mark)を紹介する。 PDEU-Benchは、12の日々のドメインと94のツールにまたがる214の長時間水平相互作用タスクと、優先順位順守と計画品質のステージ固有の評価を含む。 15のオープンソースおよびクローズドソース LLM の大規模な評価は、ローカルツールの実行と動的計画の間に明らかなギャップがあることを明らかにしている。 さらに,メインストリームのパーソナライズとメモリ拡張手法の評価を行った。 これらの手法は特定の段階を改善するが、どの評価手法も完全なライフサイクルを通してユーザの嗜好を確実に伝播させておらず、その利得はその後の実行に移らないことが多い。 きめ細かいエラー解析により、計画ライフサイクルを通して好みの欠落や矛盾が持続していることが明らかとなり、将来のLLMのパラメータ化と情報検索とメモリ機能の必要性が浮き彫りになる。 今後の研究を支援するため、付録に関連コードとデータを提供します。

関連論文リスト

• From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
  大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。 最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。 縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。 IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
  論文  参考訳（メタデータ） (2026-08-03T12:52:04Z)
• HIPIF: Hierarchical Planning and Information Folding for Long-Horizon LLM Agent Learning [51.95194664412812]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる自律エージェントとして強力な能力を示している。 長期LLMエージェント学習のための階層的計画と情報フォールディング(HIPIF)を提案する。 HIPIFはエージェントをエンドツーエンドにトレーニングし、明示的なサブゴールの周りに長い水平実行を組織すると同時に、完了したサブゴール履歴を折り畳み、長いコンテキスト干渉を減らす。
  論文  参考訳（メタデータ） (2026-06-09T07:35:14Z)
• VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions [63.13827503828231]
  我々は、長期ユーザーインタラクションにおけるパーソナライズされたプロアクティブなエージェント動作を評価するためのベンチマークであるVitaBench 2.0を紹介する。 結果は、最先端のモデルでさえ、現実世界のパーソナライゼーションは非常に困難であることを示している。
  論文  参考訳（メタデータ） (2026-05-26T15:07:38Z)
• Toward Personalized LLM-Powered Agents: Foundations, Evaluation, and Future Directions [44.14477000176553]
  この調査は、パーソナライズされたLDMエージェントの能力指向のレビューを提供する。 プロファイルモデリング、メモリ、計画、アクション実行の4つの独立したコンポーネントに関する文献を整理する。 パーソナライズされたLLMエージェントの理解と設計のための構造化されたフレームワークを提供することで、この調査は、よりユーザ整合性があり、適応性があり、堅牢で、デプロイ可能なエージェントシステムへのロードマップを示す。
  論文  参考訳（メタデータ） (2026-02-26T06:52:47Z)
• Agent WARPP: Workflow Adherence via Runtime Parallel Personalization [0.0]
  大規模言語モデル(LLM)はタスク指向対話(TOD)システムにますます適用されてきている。 並列パーソナライゼーション(WARPP)は、マルチエージェントランタイムとオーケストレーションを組み合わせた、トレーニング不要でモジュール化されたフレームワークである。 ユーザ属性に基づいて条件分岐を動的にプルーニングすることで、このフレームワークは推論のオーバーヘッドを減らし、実行時のツール選択を狭める。
  論文  参考訳（メタデータ） (2025-07-23T23:27:49Z)
• Conversational Planning for Personal Plans [4.490065350323821]
  大きな言語モデル(LLM)は、現実の目標や完成までに長い時間を要するタスクを支援するために、ますます使われています。 本研究では,LLMがエージェントの次のマクロアクションを決定するメタコントローラとして機能する新しいアーキテクチャを探索する。 このパラダイムが、学術的・非学術的なタスクの指導から、個人の健康計画のための会話型コーチングまで、どのようなシナリオに応用できるかを示す。
  論文  参考訳（メタデータ） (2025-02-26T19:04:26Z)
• Ask-before-Plan: Proactive Language Agents for Real-World Planning [68.08024918064503]
  プロアクティブエージェントプランニングでは、ユーザエージェントの会話とエージェント環境のインタラクションに基づいて、言語エージェントが明確化のニーズを予測する必要がある。 本稿では,明確化,実行,計画の3つのエージェントからなる新しいマルチエージェントフレームワーク,Clarification-Execution-Planning(textttCEP)を提案する。
  論文  参考訳（メタデータ） (2024-06-18T14:07:28Z)
• Planning, Creation, Usage: Benchmarking LLMs for Comprehensive Tool Utilization in Real-World Complex Scenarios [93.68764280953624]
  UltraToolは、ツール利用におけるLarge Language Modelsの能力を改善し評価するために設計された、新しいベンチマークである。 現実の複雑さを強調し、効果的な問題解決のために正確で多段階の計画を必要とする。 UltraToolの重要な特徴は、ツールの使用前に発生する自然言語による計画の独立した評価である。
  論文  参考訳（メタデータ） (2024-01-30T16:52:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。