論文の概要: Meta-Policy Reflexion: Reusable Reflective Memory and Rule Admissibility for Resource-Efficient LLM Agent

• arxiv url: http://arxiv.org/abs/2509.03990v2
• Date: Mon, 08 Sep 2025 07:40:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.378947
• Title: Meta-Policy Reflexion: Reusable Reflective Memory and Rule Admissibility for Resource-Efficient LLM Agent
• Title（参考訳）: メタポリシィ・リフレクション:資源効率の良いLDMエージェントのリフレクティブメモリとルール適応性
• Authors: Chunlong Wu, Ye Luo, Zhibo Qu, Min Wang,
• Abstract要約: メタ・ポリシィ・リフレクション(Meta-Policy Reflexion, MPR)は、LCM生成したリフレクションを構造化された述語型メタ・ポリシィ・メモリ(MPM)に集約するフレームワークである。 MPRはモデルウェイト更新なしで再利用可能な修正知識を外部化し、安全でないアクションや無効なアクションを減らすためにドメイン制約を強制し、言語ベースのリフレクションの適応性を維持する。 供給材料に報告された実証結果は, 反射ベースラインと比較して, 実行精度とロバスト性が一貫した向上を示し, 規則許容性は安定性をさらに向上させる。
• 参考スコア（独自算出の注目度）: 6.300669721057781
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) agents achieve impressive single-task performance but commonly exhibit repeated failures, inefficient exploration, and limited cross-task adaptability. Existing reflective strategies (e.g., Reflexion, ReAct) improve per-episode behavior but typically produce ephemeral, task-specific traces that are not reused across tasks. Reinforcement-learning based alternatives can produce transferable policies but require substantial parameter updates and compute. In this work we introduce Meta-Policy Reflexion (MPR): a hybrid framework that consolidates LLM-generated reflections into a structured, predicate-like Meta-Policy Memory (MPM) and applies that memory at inference time through two complementary mechanisms soft memory-guided decoding and hard rule admissibility checks(HAC). MPR (i) externalizes reusable corrective knowledge without model weight updates, (ii) enforces domain constraints to reduce unsafe or invalid actions, and (iii) retains the adaptability of language-based reflection. We formalize the MPM representation, present algorithms for update and decoding, and validate the approach in a text-based agent environment following the experimental protocol described in the provided implementation (AlfWorld-based). Empirical results reported in the supplied material indicate consistent gains in execution accuracy and robustness when compared to Reflexion baselines; rule admissibility further improves stability. We analyze mechanisms that explain these gains, discuss scalability and failure modes, and outline future directions for multimodal and multi-agent extensions.
• Abstract（参考訳）: 大きな言語モデル(LLM)エージェントは、印象的なシングルタスクのパフォーマンスを達成するが、繰り返し失敗、非効率な探索、限られたクロスタスク適応性を示すことが多い。 既存の反射的戦略(リフレクション、ReActなど)は、エピソードごとの振る舞いを改善するが、通常、タスク間で再利用されない短命でタスク固有のトレースを生成する。 強化学習ベースの代替手段は、転送可能なポリシーを生成することができるが、かなりのパラメータ更新と計算が必要である。 本稿では,LLM生成したリフレクションを構造化された述語的メタポリシィメモリ(MPM)に集約するハイブリッドフレームワークであるMeta-Policy Reflexion(MPR)を紹介する。 MPR (i)モデルウェイト更新なしで再利用可能な補正知識を外部化する。 (ii) 安全でない、または無効なアクションを減らすために、ドメインの制約を強制し、 (iii)言語に基づくリフレクションの適応性を維持する。 提案した実装(AlfWorld-based)に記述された実験プロトコルに従って,MPM表現の形式化,更新と復号のためのアルゴリズムの提示,テキストベースのエージェント環境におけるアプローチの検証を行う。 供給材料に報告された実証結果は, 反射ベースラインと比較して, 実行精度とロバスト性が一貫した向上を示し, 規則許容性は安定性をさらに向上させる。 我々は、これらの利得を説明するメカニズムを分析し、スケーラビリティと障害モードについて議論し、マルチモーダルおよびマルチエージェント拡張の今後の方向性を概説する。

関連論文リスト

• Reflection-Enhanced Meta-Optimization Integrating TextGrad-style Prompt Optimization with Memory-Driven Self-Evolution [0.0]
  本稿では,メモリ拡張リフレクションRetrievalRAGモジュールと自己適応型メタコントローラを統合するフレームワークを提案する。 REMOは、計算オーバーヘッドの増加にもかかわらず、より安定で堅牢なチューニングを実現する。
  論文  参考訳（メタデータ） (2025-08-26T07:25:45Z)
• Who Sees What? Structured Thought-Action Sequences for Epistemic Reasoning in LLMs [1.090218572228214]
  本研究では,LLMをベースとしたReActフレームワークの性能向上のための構造化例の可能性について検討した。 本稿では、最適ゴールパス(G型)、情報ノードパス(E型)、ステップバイステップの最適決定シーケンス(L型)の3つのカテゴリの例を生成する、構造化された解処理パイプラインを提案する。 L型の例は、明確化要求と全体的なアクションステップをわずかに削減するが、一貫性のある改善は得られない。
  論文  参考訳（メタデータ） (2025-08-20T09:36:53Z)
• SRPO: Enhancing Multimodal LLM Reasoning via Reflection-Aware Reinforcement Learning [25.02860760920562]
  MLLM(Multimodal large language model)は、タスク推論において有望な能力を示すが、明示的な自己回帰と自己補正を必要とする複雑な問題に悩まされている。 既存のリフレクション手法は単純で、意味のあるインストラクティブフィードバックを生成するのに苦労している。 本稿では,2段階のリフレクション対応強化学習フレームワークであるグループ相対ポリシー最適化 (SRPO) を用いたマルチモーダル自己回帰強化推論を提案する。
  論文  参考訳（メタデータ） (2025-06-02T14:21:44Z)
• MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
  自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。 MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。 完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
  論文  参考訳（メタデータ） (2025-05-12T17:35:43Z)
• In Prospect and Retrospect: Reflective Memory Management for Long-term Personalized Dialogue Agents [70.12342024019044]
  大規模言語モデル(LLM)は、オープンエンド対話において大きな進歩を遂げているが、関連する情報の保持と取得ができないため、その有効性は制限されている。 本稿では,長期対話エージェントのための新しいメカニズムであるリフレクティブメモリ管理(RMM)を提案する。 RMMは、LongMemEvalデータセットのメモリ管理なしでベースラインよりも10%以上精度が向上している。
  論文  参考訳（メタデータ） (2025-03-11T04:15:52Z)
• Meta-Reflection: A Feedback-Free Reflection Learning Framework [57.14485943991588]
  外部からのフィードバックを伴わずに単一の推論パスのみを必要とするフィードバックフリーリフレクション機構であるメタリフレクションを提案する。 過去のリフレクションを記憶し、取り出す人間の能力によって、メタリフレクションはコードブックに反射的な洞察を統合する。 実世界のシナリオにおけるメタリフレクションの実践性を徹底的に検討し,評価するために,E-Commerce Customer Intent Detectionという産業eコマースベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-12-18T12:20:04Z)
• Scrutinize What We Ignore: Reining In Task Representation Shift Of Context-Based Offline Meta Reinforcement Learning [10.792687309720169]
  オフラインメタ強化学習(OMRL)は、相互作用回避と強力な一般化性能のための有望なアプローチとして登場した。 従来のコンテキストベースのアプローチは、コンテキストエンコーダとポリシーの最適化がパフォーマンス改善につながるという直感に依存しています。 我々はこの問題をタスク表現シフトと呼び、適切なコンテキストエンコーダ更新によってモノトニック性能の改善が保証できることを理論的に証明する。
  論文  参考訳（メタデータ） (2024-05-20T13:14:26Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。