論文の概要: ODYSSE: Episode-wise Policy Optimization for Personalized Agentic Reasoning

• arxiv url: http://arxiv.org/abs/2607.25369v1
• Date: Tue, 28 Jul 2026 07:25:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.743624
• Title: ODYSSE: Episode-wise Policy Optimization for Personalized Agentic Reasoning
• Title（参考訳）: ODYSSE:Personalized Agentic Reasoningのためのエピソードワイドポリシー最適化
• Authors: Jiaqi Zhang, Tong Chen, Junliang Yu, Quoc Viet Hung Nguyen, Hongzhi Yin,
• Abstract要約: エージェント推論をパーソナライズするフレームワークODYSSEを提案する。 ODYSSEは、パーソナライズされたエージェント推論において、長いアクション水平線と強力なクロスステップ依存に対処する。 ODYSSEは、専門的・汎用的なLVLMよりも一貫して優れていることを示す。
• 参考スコア（独自算出の注目度）: 48.692251671993574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic systems have rapidly advanced in their ability to interact with real-world environments, leverage external tools, and provide services for users. However, unlike natural-world tasks that assume well-defined instructions, human-centered scenarios are characterized by ambiguous requests that lead to large, open-ended solution spaces. Decoding users' personalized preferences is therefore essential for narrowing the candidate solution space. This introduces a new challenge, personalized agentic reasoning, which requires agents to jointly interact with both users and environments to deliver personalized services. In this paper, we present ODYSSE, a Reinforced Fine-Tuning (RFT) framework for personalized agentic reasoning. At its core, ODYSSE proposes Episode-wise GRPO (ESPO), a novel extension of Group Relative Policy Optimization (GRPO) designed to address long action horizons and strong cross-step dependencies in personalized agentic reasoning. Rather than optimizing individual steps independently, ESPO introduces an episode-level reward mechanism together with episodic advantage estimation, enabling upstream evidence to effectively guide downstream personalized decisions and allowing agents to progressively resolve ambiguous user requests across multiple interaction steps. We further propose an episodic batch sampler that groups actions from the same episode into unified training batches, facilitating coherent optimization under ESPO. We evaluate ODYSSE on realistic long-horizon personalized GUI reasoning tasks. Experimental results demonstrate that ODYSSE consistently outperforms both specialist and general-purpose LVLMs, highlighting its effectiveness for personalized agentic reasoning.
• Abstract（参考訳）: エージェントシステムは、現実世界の環境と対話し、外部ツールを活用し、ユーザにサービスを提供する能力において急速に進歩している。 しかし、適切に定義された指示を仮定する自然界のタスクとは異なり、人間中心のシナリオは、大規模でオープンな解決空間につながるあいまいな要求によって特徴づけられる。 したがって、ユーザのパーソナライズされた好みをデコードすることは、候補のソリューション空間を狭めるのに不可欠である。 これは、パーソナライズされたサービスを提供するために、エージェントがユーザーと環境の両方と共同で対話する必要がある新しい挑戦、パーソナライズされたエージェント推論を導入する。 本稿では,エージェント推論のための強化ファインチューニング(RFT)フレームワークODYSSEを提案する。 ODYSSEはその中核として、エージェントのパーソナライズされた推論において、長いアクションの地平線と強力なクロスステップ依存関係に対処するために設計されたグループ相対ポリシー最適化(GRPO)の新たな拡張である、エピソードワイズGRPO(Episode-wise GRPO)を提案する。 ESPOは個別のステップを個別に最適化するのではなく、エピソードレベルの報酬メカニズムとエピソードレベルの優位性推定を導入し、上流のエビデンスにより、下流のパーソナライズされた決定を効果的にガイドし、エージェントが複数のインタラクションステップにわたってあいまいなユーザ要求を段階的に解決できるようにする。 さらに、同一エピソードからのアクションを統一的なトレーニングバッチにグループ化し、ESPO下でのコヒーレントな最適化を容易にするエピソードバッチサンプリング手法を提案する。 リアルタイムなGUI推論タスクにおけるODYSSEの評価を行った。 実験の結果,ODYSSEは専門的・汎用的なLVLMよりも優れており,個人化されたエージェント推論の有効性が示された。

関連論文リスト

• VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions [63.13827503828231]
  我々は、長期ユーザーインタラクションにおけるパーソナライズされたプロアクティブなエージェント動作を評価するためのベンチマークであるVitaBench 2.0を紹介する。 結果は、最先端のモデルでさえ、現実世界のパーソナライゼーションは非常に困難であることを示している。
  論文  参考訳（メタデータ） (2026-05-26T15:07:38Z)
• Synthetic Interaction Data for Scalable Personalization in Large Language Models [67.31884245564086]
  本稿ではPersonaGymという高忠実な合成データ生成フレームワークを紹介する。 パーソナライゼーションを静的なペルソナ-参照ペアとして扱う以前の作業とは異なり、PersonaGymは動的な選好プロセスをモデル化する。 我々は,高忠実度マルチターンパーソナライズされたインタラクショントラジェクトリの大規模かつ高品質で多様な合成データセットであるPersonaAtlasをリリースする。
  論文  参考訳（メタデータ） (2026-02-12T20:41:22Z)
• Towards Proactive Personalization through Profile Customization for Individual Users in Dialogues [28.522406727886395]
  PersonalAgentは、ユーザの好みを継続的に推測し、適応するように設計された、生涯にわたるエージェントである。 実験により、PersonalAgentは強力なプロンプトベースおよびポリシー最適化ベースラインよりも優れたパフォーマンスを達成できることが示された。 本研究は、より包括的で適応的な会話エージェントを開発するために、生涯のパーソナライズの重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-12-17T10:47:06Z)
• Personalized Reasoning: Just-In-Time Personalization and Why LLMs Fail At It [81.50711040539566]
  現在の大規模言語モデル(LLM)開発は、タスク解決と優先順位調整を別の課題として扱う。 静的ベンチマークを対話型パーソナライズタスクに変換する評価手法であるPreFDISCOを紹介する。 我々のフレームワークは、ユーザコンテキストに応じて、同じ質問が異なる推論チェーンを必要とするシナリオを作成します。
  論文  参考訳（メタデータ） (2025-09-30T18:55:28Z)
• PersonaAgent: When Large Language Model Agents Meet Personalization at Test Time [87.99027488664282]
  PersonaAgentは、汎用的なパーソナライゼーションタスクに対処するために設計されたフレームワークである。 パーソナライズされたメモリモジュールとパーソナライズされたアクションモジュールを統合する。 テストタイムのユーザ嗜好アライメント戦略は、リアルタイムのユーザの嗜好アライメントを保証する。
  論文  参考訳（メタデータ） (2025-06-06T17:29:49Z)
• Communication-Efficient Desire Alignment for Embodied Agent-Human Adaptation [37.06984411522927]
  LLM駆動のプロキシ・ヒューマン・ユーザを統合したホーム・アシスト・シミュレーション環境HA-Desireを開発した。 本稿では、欲求に基づく心的推論機構を導入した、迅速な欲求整合のための新しいフレームワークFAMERを提案する。 本フレームワークは,タスク実行とコミュニケーション効率を大幅に向上させ,具体的エージェントがユーザ固有の欲求に迅速に適応できるようにする。
  論文  参考訳（メタデータ） (2025-05-28T15:51:13Z)
• AgentCF: Collaborative Learning with Autonomous Language Agents for Recommender Systems [112.76941157194544]
  本稿では,エージェントベースの協調フィルタリングにより,レコメンデータシステムにおけるユーザとイテムのインタラクションをシミュレートするエージェントCFを提案する。 我々は、ユーザだけでなく、アイテムをエージェントとして、創造的に考慮し、両方のエージェントを同時に最適化する協調学習アプローチを開発します。 全体として、最適化されたエージェントは、ユーザ・イテム、ユーザ・ユーザ・ユーザ、アイテム・イテム、集合的インタラクションなど、フレームワーク内での多様なインタラクションの振る舞いを示す。
  論文  参考訳（メタデータ） (2023-10-13T16:37:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。