論文の概要: Reward-Driven LLM Agent Workflows: Synthesizing POMDP Routing and Self-Correction for Autonomous Decision-Making
- arxiv url: http://arxiv.org/abs/2607.17038v1
- Date: Sun, 19 Jul 2026 02:51:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.342387
- Title: Reward-Driven LLM Agent Workflows: Synthesizing POMDP Routing and Self-Correction for Autonomous Decision-Making
- Title（参考訳）: Reward-Driven LLM Agent Workflows:Synthesizing POMDP Routing and Self-Correction for autonomous Decision-Making
- Abstract要約: 本稿では,長期計画,スパース報酬属性,動的環境相互作用など,現在の大規模言語モデル(LLM)エージェントアプリケーションにおける重要な技術的課題に対処する。
提案されたアーキテクチャは、ビジュアル、言語、生成、グラフ、マルチモーダル、強化、エージェントインテリジェンスという、コアAIパラダイムの合成に基づいている。
最終的に、得られたアーキテクチャは、複雑で多段階の自律システムで人工知能技術を開発するための実用的でスケーラブルな参照フレームワークを提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper addresses key technical challenges in current large language model (LLM) agent applications, including long-horizon planning, sparse reward attribution, and dynamic environmental interaction, by designing and optimizing an intelligent agent workflow. The proposed architecture is based on the synthesis of core AI paradigms: Visual, Language, Generative, Graph, Multimodal, Reinforcement, and Agent Intelligence. Unlike conventional baseline models that rely on static prompting and lack robust perception-action loops, our approach introduces a Partially Observable Markov Decision Process (POMDP) routing mechanism. This mechanism is augmented with an internal, self-correcting reward model that evaluates decision trajectories before execution. By integrating multimodal inputs and advanced reinforcement learning principles (such as proximal policy optimization and value function approximation), the agent maintains long-term structural memory and dynamically adapts its reasoning pathways to mitigate error accumulation. Empirical experiments on the ALFWorld embodied simulation environment and the WebShop online navigation benchmark demonstrate a 24.5% absolute improvement in task success rate and trajectory efficiency over mainstream baselines like the standard ReAct framework. Comprehensive ablation studies confirm the significant contribution of the reward-driven critique module in suppressing hallucination rates. This research bridges theoretical foundations of reinforcement learning and graph-based memory with autonomous agent workflows. Ultimately, the resulting architecture offers a practical, scalable reference framework for developing artificial intelligence technologies in complex, multi-step autonomous systems. Code is available at https://github.com/01Amez/RLAW_Implementation.
- Abstract（参考訳）: 本稿では,知的エージェントワークフローの設計と最適化により,長期計画,スパース報酬属性,動的環境相互作用など,現在の大規模言語モデル(LLM)エージェントアプリケーションにおける重要な技術的課題に対処する。
提案されたアーキテクチャは、ビジュアル、言語、生成、グラフ、マルチモーダル、強化、エージェントインテリジェンスという、コアAIパラダイムの合成に基づいている。
静的なプロンプトに依存する従来のベースラインモデルとは異なり,本手法では部分観測可能なマルコフ決定過程(POMDP)ルーティング機構を導入している。
このメカニズムは、実行前に意思決定軌跡を評価する内部の自己補正報酬モデルで拡張される。
マルチモーダル入力と高度な強化学習原理(近似ポリシー最適化や値関数近似など)を統合することにより、エージェントは長期構造記憶を維持し、その推論経路を動的に適応してエラー蓄積を緩和する。
ALFWorldの実施したシミュレーション環境とWebShopオンラインナビゲーションベンチマークに関する実証実験では、標準のReActフレームワークのようなメインストリームベースラインよりも24.5%のタスク成功率と軌道効率が絶対的に向上していることが示されている。
包括的アブレーション研究は、幻覚の抑制における報酬駆動型批判モジュールの意義を裏付けるものである。
この研究は、強化学習とグラフベースのメモリの理論的基礎を自律的なエージェントワークフローで橋渡しする。
最終的に、得られたアーキテクチャは、複雑で多段階の自律システムで人工知能技術を開発するための実用的でスケーラブルな参照フレームワークを提供する。
コードはhttps://github.com/01Amez/RLAW_Implementationで入手できる。
関連論文リスト
- Causal Reward World Models: Zero-shot Reward Design for Automated Skill Generation [23.371552518874807]
Automated Reward Design (ARD)は、強化学習における手動報酬工学を言語駆動報酬関数合成に置き換えることを目的としている。
大規模言語モデル(LLM)に基づく既存のアプローチは、特定のタスクごとに報酬仮説を洗練させるために反復的な環境フィードバックに依存し、本質的に相関駆動である。
マルチタスクインタラクションデータに基づくオフライン事前学習により,候補の報酬成分とタスク対象の物理変数の因果関係を明示的にモデル化する因果関係世界モデル(CRWM)を提案する。
論文 参考訳（メタデータ） (2026-06-22T12:57:17Z) - Toward a Modular Architecture for Embedded AI Agent Systems at the Edge [0.0]
本稿では,組み込みエージェントシステムのためのモジュール型参照アーキテクチャを提案する。
On-Device AgentsとCloud-Augmented Agentsを分離するタイレッドデザインを導入する。
重要な貢献は、横断的なガバナンス層の統合である。
論文 参考訳（メタデータ） (2026-06-01T20:24:18Z) - Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining [66.89012795621349]
大規模言語モデル(LLM)は、複雑なソフトウェア工学に必要な、深く、長期にわたる推論に苦しむことが多い。
本稿では,再構築による理解という,新しいパラダイムを提案する。
マルチエージェントシミュレーションを用いて潜在エージェント軌道を合成するフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-11T09:23:20Z) - EmboCoach-Bench: Benchmarking AI Agents on Developing Embodied Robots [68.29056647487519]
Embodied AIは、高忠実度シミュレーションと大規模データ収集によって実現されている。
しかし、このスケーリング能力は、労働集約的な手作業の監視に依存しているため、いまだにボトルネックになっている。
実装ポリシーを自律的に構築するための LLM エージェントの能力を評価するベンチマークである textscEmboCoach-Bench を紹介する。
論文 参考訳（メタデータ） (2026-01-29T11:33:49Z) - EmbodiedBrain: Expanding Performance Boundaries of Task Planning for Embodied Intelligence [17.644658293987955]
身体的AIエージェントは、物理的環境における堅牢な空間認識、効果的なタスク計画、適応実行を行うことができる。
現在の大規模言語モデル (LLMs) とマルチモーダルLLM (MLLMs) の具体化タスクは、重要な制約に悩まされている。
EmbodiedBrain は 7B と 32B のパラメータサイズで利用できる新しい視覚言語基盤モデルである。
論文 参考訳（メタデータ） (2025-10-23T14:05:55Z) - Sample-Efficient Online Learning in LM Agents via Hindsight Trajectory Rewriting [92.57796055887995]
本稿では,言語モデルエージェントの強化学習から後視体験のリプレイに適応するプロンプトフレームワークECHOを紹介する。
ECHOは失敗した試みで達成できた代替目標のために最適化された軌道を生成する。
我々は、テキストベースのナビゲーションと計画ベンチマークであるXMiniGridのステートフルバージョンと、協調的な情報収集企業シミュレーションであるPeopleJoinQAについて、ECHOを評価した。
論文 参考訳（メタデータ） (2025-10-11T18:11:09Z) - The Landscape of Agentic Reinforcement Learning for LLMs: A Survey [103.32591749156416]
エージェント強化学習(Agentic RL)の出現は、大規模言語モデル(LLM RL)に適用された従来の強化学習からパラダイムシフトを示している。
本研究では, LLM-RLの縮退した単段階マルコフ決定過程(MDPs)と, エージェントRLを定義する部分可観測マルコフ決定過程(POMDPs)とを対比することにより, この概念シフトを定式化する。
論文 参考訳（メタデータ） (2025-09-02T17:46:26Z) - Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。
本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。
我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
論文 参考訳（メタデータ） (2024-02-09T07:45:26Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。