論文の概要: Joint Learning of Experiential Rules and Policies for Large Language Model Agents

• arxiv url: http://arxiv.org/abs/2606.27136v1
• Date: Thu, 25 Jun 2026 15:11:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.329554
• Title: Joint Learning of Experiential Rules and Policies for Large Language Model Agents
• Title（参考訳）: 大規模言語モデルエージェントのための経験則とポリシーの合同学習
• Abstract要約: LLMエージェント(JERP)における経験則と政策の連成学習 JERPは、長期間の経験則プールと、同じ相互作用軌道からポリシーを更新する。 AlfWorldとWebShopの実験では、複雑な対話的なタスクに対して、JERPは決定性能において一貫した利益をもたらすことが示されている。
• 参考スコア（独自算出の注目度）: 5.144286041118895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For LLM agents in multi-step interactive environments, a key challenge is to make effective use of accumulated interaction experience. Existing work has typically separated two uses of such experience: keeping it outside the model as natural-language rules for later prompting, or using trajectories and feedback to update the model parameters. The former is easy to interpret but can fall out of sync with the evolving policy; the latter improves the policy more broadly but provides only limited correction for local mistakes in sparse-reward settings. We present Joint Learning of Experiential Rules and Policies for LLM Agents (JERP), which updates a long-term experiential-rule pool and the policy from the same interaction trajectories. At decision time, JERP retrieves task-relevant rules and conditions the agent on them together with the interaction history. After each episode, it uses the collected trajectories both to optimize the policy and to revise the rule pool by comparing current rollouts with reference successful trajectories. This coupling keeps the rule pool aligned with the evolving policy while allowing stable and effective behaviors to be gradually absorbed into the model itself. Experiments on AlfWorld and WebShop show that JERP yields consistent gains in decision performance for complex interactive tasks.
• Abstract（参考訳）: 多段階対話環境におけるLLMエージェントにとって、重要な課題は、蓄積された相互作用体験を効果的に活用することである。 既存の作業は、後続のプロンプトのための自然言語ルールとしてモデルの外に置くか、あるいはモデルパラメータを更新するためにトラジェクトリとフィードバックを使用する。 前者は容易に解釈できるが、進化しているポリシーと同期できなくなり、後者はポリシーをより広く改善するが、スパース・リワード設定における局所的な誤りの限定的な修正しか提供しない。 我々は,LLMエージェント(JERP)に対する経験則と政策の合同学習を行い,長期的経験則プールと同一の相互作用軌道からのポリシーを更新する。 決定時、JERPはタスク関連ルールを検索し、エージェントとインタラクション履歴を同時に条件付けする。 各エピソードの後、収集されたトラジェクトリを使用してポリシーを最適化し、現在のロールアウトと参照成功したトラジェクトリを比較してルールプールを改訂する。 この結合は、安定的で効果的な振る舞いを徐々にモデル自体に吸収することを可能にしながら、進化するポリシーに則ったルールプールを維持します。 AlfWorldとWebShopの実験では、複雑な対話的なタスクに対して、JERPは決定性能において一貫した利益をもたらすことが示されている。

関連論文リスト

• LLM-Based Hierarchical Coordinated Control with Continuation-Aware Policy Learning [6.69561560301489]
  複雑な工学系における複数の相互作用ユニットを協調する階層的枠組みを提案する。 継続対応GRPOを導入し、その後の制御区間における調整決定の結果を捉える。 マルチランプ交通制御と仮想電力プラント (VPP) エネルギー管理の枠組みを, 簡易なシステムモデルによる訓練と, より現実的なシミュレータを用いて検証した。
  論文  参考訳（メタデータ） (2026-08-15T05:00:02Z)
• From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
  大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。 最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。 縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。 IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
  論文  参考訳（メタデータ） (2026-08-03T12:52:04Z)
• TAPO: Transition-Aware Policy Optimization for LLM Agents [27.95488836373643]
  TAPOは、政策最適化と移行監督を交互に行う統合トレーニングフレームワークである。 既存のエージェントRLアルゴリズムのための計算量的に軽量でプラグアンドプレイ拡張モジュールとして機能する。 我々はWebShopとALFWorldの体系的な実験を行い、様々なスケールの基礎モデルと異なるポリシー最適化アルゴリズムを統合する。
  論文  参考訳（メタデータ） (2026-07-30T10:17:55Z)
• ARdena: Scenario-driven control of real-time LLM agents [0.0]
  本稿では,構造化プロンプトによる実行時の動作制御を実現する,階層化シナリオ駆動型LCM制御を提案する。 このフレームワークは、音声インタラクション、視覚知覚、ツール使用、アバターベースの応答生成を統合するリアルタイムマルチモーダルエンボディエージェントであるARDenaで実装されている。
  論文  参考訳（メタデータ） (2026-06-26T08:58:33Z)
• Communication Policy Evolution for Proactive LLM Agents [58.4960889232199]
  本稿では,コミュニケーションポリシを形式化し,テキストおよびUIベースのポリシを確立し,さまざまな環境におけるコミュニケーションポリシを評価する。 本稿では,コミュニケーションポリシーをロールアウトとプロンプトレベルの進化を通じて改善するための自己進化フレームワークであるコミュニケーションポリシー進化(CPE)を提案する。
  論文  参考訳（メタデータ） (2026-06-12T09:54:01Z)
• Learning to Learn-at-Test-Time: Language Agents with Learnable Adaptation Policies [48.31565681022125]
  テスト・タイム・ラーニング(TTL)は、言語エージェントが推論時に環境と繰り返し対話することで、その性能を反復的に改善することを可能にする。 我々は,人間の直感に基づく手作業ではなく,タスク環境から最適な適応ポリシーを学ぶべきだと論じている。 本稿では,2段階最適化問題として効果的な適応ポリシーの発見を定式化するMeta-TTLを提案する。
  論文  参考訳（メタデータ） (2026-04-01T12:41:01Z)
• Policy-Conditioned Policies for Multi-Agent Task Solving [53.67744322553693]
  本研究では,ポリシーを人間の解釈可能なソースコードとして表現することでギャップを埋めるパラダイムシフトを提案する。 本研究では,Large Language Models (LLM) を近似インタプリタとして利用することにより,学習問題を再構築する。 我々はこのプロセスを,ポリシーコードをテキスト勾配で最適化するアルゴリズムである TextitProgrammatic Iterated Best Response (PIBR) として定式化する。
  論文  参考訳（メタデータ） (2025-12-24T07:42:10Z)
• Offline Multi-agent Reinforcement Learning via Score Decomposition [51.23590397383217]
  オフライン協調型マルチエージェント強化学習(MARL)は、分散シフトによる固有の課題に直面している。 この作業は、オフラインとオンラインのMARL間の分散ギャップを明示的に解決する最初の作業である。
  論文  参考訳（メタデータ） (2025-05-09T11:42:31Z)
• Imitation Learning of Correlated Policies in Stackelberg Games [17.026813111994443]
  Stackelbergゲームは、リーダーの戦略がフォロワーの反応を駆動する非対称な相互作用を含む。 多エージェントシステムではエージェントの動作は相互依存的であり、従来のマルチエージェント・イミテーション・ラーニング(MAIL)手法は複雑な相互作用を捉えるのに失敗することが多い。 そこで本稿では,Stackelbergゲーム用に特別に設計されたポリシ占有率の相関式を提案し,それに対応するためにLatent Stackelberg Differential Network (LSDN)を提案する。
  論文  参考訳（メタデータ） (2025-03-11T20:52:56Z)
• Let Offline RL Flow: Training Conservative Agents in the Latent Space of Normalizing Flows [58.762959061522736]
  オフライン強化学習は、追加の環境相互作用なしに、事前に記録された、固定されたデータセット上でポリシーをトレーニングすることを目的としている。 我々は、最近、潜在行動空間における学習ポリシーを基礎として、生成モデルの構築に正規化フローの特別な形式を用いる。 提案手法が最近提案したアルゴリズムより優れていることを示すため,様々な移動タスクとナビゲーションタスクについて評価を行った。
  論文  参考訳（メタデータ） (2022-11-20T21:57:10Z)
• Mutual Information Regularized Offline Reinforcement Learning [76.05299071490913]
  我々は、データセットにおける状態と行動間の相互情報の観点から、オフラインRLにアプローチする新しいMISAフレームワークを提案する。 この下位境界の最適化は、オフラインデータセット上での一段階改善されたポリシーの可能性の最大化と等価であることを示す。 MISAの3つの異なる変種を導入し、より厳密な相互情報によりオフラインのRL性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-10-14T03:22:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。