論文の概要: A Graph-Based Reinforcement Learning Framework for Structured Drift Diagnosis and Recovery in Autonomous LLM Agents

• arxiv url: http://arxiv.org/abs/2608.14109v1
• Date: Fri, 14 Aug 2026 09:12:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.33504
• Title: A Graph-Based Reinforcement Learning Framework for Structured Drift Diagnosis and Recovery in Autonomous LLM Agents
• Title（参考訳）: LLMエージェントの構造的ドリフト診断と回復のためのグラフベース強化学習フレームワーク
• Abstract要約: 既存のアプローチは、迅速なレベルでのドリフトに対処するが、ステップレベルの検出、リスクアセスメント、リカバリ決定のための構造的なメカニズムが欠如している。 この作業は、代わりにプラグインとプレイのリカバリモジュールをターゲットにしている。 グラフベースのフレームワークでは、リカバリグラフの各ノードに特化するための強化学習を通じて、単一の小さな言語モデルをトレーニングする。
• 参考スコア（独自算出の注目度）: 0.5249805590164902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous LLM agents are increasingly deployed in complex real-world workflows, yet they remain vulnerable to runtime behavioral drift, a silent deviation from the original task that can lead to irreversible side effects on external systems. Existing approaches address drift at the prompt level but lack structured mechanisms for step-level detection, risk assessment, and recovery decision. Because the main task-executing agent is often a large and expensive model that cannot be re-trained on every deployment, this work targets a plug-and-play recovery module instead. It introduces a graph-based framework in which a single small language model is trained via reinforcement learning to specialize at each node of a recovery graph, external to the main agent. Each node has a precise role\,: drift classification, operation detection, risk evaluation, or final decision and the model learns to produce structured XML-formatted reasoning adapted to that role. Training combines rule-based structural rewards with an LLM-as-judge semantic-quality signal, so that the model is graded both on how it answers (schema and length) and on what it says. Experiments on the public AppWorld benchmark show that the method generally exploits information about the suspected drift onset to issue correct recovery decisions using a small language model. In addition, the trained small language model reliably respects the prescribed output schema and produces semantically appropriate content in each field according to its assigned node role.
• Abstract（参考訳）: 自律的なLLMエージェントは、複雑な現実世界のワークフローにますますデプロイされているが、実行時の振る舞いの漂流に弱いままであり、これは、外部システムに不可逆的な副作用をもたらす可能性がある元のタスクからの無音な逸脱である。 既存のアプローチは、迅速なレベルでのドリフトに対処するが、ステップレベルの検出、リスクアセスメント、リカバリ決定のための構造的なメカニズムが欠如している。 メインのタスク実行エージェントは、デプロイ毎に再トレーニングできない大きくて高価なモデルであることが多いため、この作業はプラグインとプレイのリカバリモジュールをターゲットにしています。 グラフベースのフレームワークを導入し、単一の小さな言語モデルを強化学習を通じてトレーニングし、メインエージェントの外にあるリカバリグラフの各ノードを専門化する。 各ノードには正確な役割がある: ドリフト分類、オペレーション検出、リスク評価、最終決定。 トレーニングはルールベースの構造的報酬とLLM-as-judgeセマンティック品質の信号を組み合わせることで、モデルがどのように回答するか(スキーマと長さ)と、それが何を言っているかの両方に基づいて、グレードされる。 パブリックなAppWorldベンチマークの実験によると、この手法は一般的に、疑わしいドリフト開始に関する情報を利用して、小さな言語モデルを用いて正確なリカバリ決定を発行する。 さらに、訓練された小言語モデルは、所定の出力スキーマを確実に尊重し、割り当てられたノードロールに従って各フィールドで意味的に適切なコンテンツを生成する。

関連論文リスト

• Safe and Adaptive Cloud Healing: Verifying LLM-Generated Recovery Plans with a Neural-Symbolic World Model [9.794020127306473]
  Planning-Aware Semantic Self-Healing Engine PASEは、新しいフォールト自己修復フレームワークである。 本フレームワークは,LLMに基づく推論とモデル支援検証,メタ学習指導を統合して,自律的なシステム管理を推進している。 実世界のクラウドフォールトインジェクションデータセットの実験では、PASEが最先端の手法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2026-07-02T01:45:30Z)
• Divergence Decoding: Inference-Time Unlearning via Auxiliary Models [2.1485350418225244]
  Divergence Decoding(DD)は、小さな補助モデルを使用して、推論中の特定のデータから大規模言語モデルのロジットを分離するメカニズムである。 本手法は,非学習ベンチマークにおいて,最先端(SOTA)ベースラインを決定的に上回っている。
  論文  参考訳（メタデータ） (2026-05-29T13:29:01Z)
• AutoMIA: Improved Baselines for Membership Inference Attack via Agentic Self-Exploration [49.050688065974605]
  メンバーシップ推論攻撃(MIAs)は、機械学習モデルにおけるトレーニングデータの漏洩を評価するための基本的な監査ツールである。 本稿では,自己探索と戦略進化の自動化プロセスとして,メンバーシップ推論を再構築するエージェントフレームワークであるAutoMIAを提案する。
  論文  参考訳（メタデータ） (2026-04-01T15:17:45Z)
• In-Context Autonomous Network Incident Response: An End-to-End Large Language Model Agent Approach [3.733830491643117]
  我々は,大規模言語モデルの事前訓練されたセキュリティ知識とコンテキスト内学習を活用して,インシデント対応計画のためのエンドツーエンドのエージェントソリューションを作成することを提案する。 具体的には、認識、推論、計画、行動の4つの機能を1つの軽量LCM(14bモデル)に統合する。 我々のエージェントは、フロンティアLSMよりも最大で23%早く回復できる。
  論文  参考訳（メタデータ） (2026-02-13T18:09:30Z)
• Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
  本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。 本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。 トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
  論文  参考訳（メタデータ） (2026-01-05T10:16:41Z)
• Grounded in Reality: Learning and Deploying Proactive LLM from Offline Logs [72.08224879435762]
  textttLearn-to-Askは、プロアクティブな対話エージェントの学習とデプロイのためのシミュレータフリーフレームワークである。 当社のアプローチは,LLMの大規模オンラインAIサービスへの展開を成功に導くものです。
  論文  参考訳（メタデータ） (2025-10-29T12:08:07Z)
• Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails [103.05296856071931]
  本稿では,自己進化型大規模言語モデル(LLM)エージェントに特有の,アライメント・ティッピング・プロセス(ATP)を同定する。 ATPは、連続的な相互作用によってエージェントが訓練中に確立されたアライメント制約を放棄し、強化された自己関心の戦略を支持するときに生じる。 実験の結果、アライメントの利点は自己進化の下で急速に低下し、最初は整合性のない状態に収束したモデルであることが判明した。
  論文  参考訳（メタデータ） (2025-10-06T14:48:39Z)
• Augmented Reinforcement Learning Framework For Enhancing Decision-Making In Machine Learning Models Using External Agents [0.0]
  本研究は,意思決定能力向上のための新しい手法である強化強化学習フレームワークを提案する。 外部エージェントは、人間や自動スクリプトのような、決定経路の修正に役立つ誰でもよい。 このフレームワークには、2つの外部エージェントが組み込まれており、コース修正とトレーニングサイクルのすべてのポイントにおける品質データの保証を支援する。
  論文  参考訳（メタデータ） (2025-08-03T06:17:44Z)
• Agent-R: Training Language Model Agents to Reflect via Iterative Self-Training [18.896813839389893]
  本稿では,言語エージェントをオンザフライでリフレクション可能な反復型自己学習フレームワーク,Agent-Rを提案する。 Agent-Rは、正しさに基づいてアクションを報酬または罰揚する従来の方法とは異なり、MCTSを活用して、誤ったトラジェクトリから正しいトラジェクトリを復元するトレーニングデータを構築する。 以上の結果から,Agent-Rは連続的にエラーから回復し,タイムリーなエラー訂正を可能にすることが示唆された。
  論文  参考訳（メタデータ） (2025-01-20T11:46:04Z)
• InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
  我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。 実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。 これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-01-20T10:41:03Z)
• Semantically Aligned Task Decomposition in Multi-Agent Reinforcement Learning [56.26889258704261]
  我々は,MARL(SAMA)における意味的アライズされたタスク分解という,新しい「不整合」意思決定手法を提案する。 SAMAは、潜在的な目標を示唆し、適切な目標分解とサブゴールアロケーションを提供するとともに、自己回帰に基づくリプランニングを提供する、チェーン・オブ・シントによる事前訓練された言語モデルを促進する。 SAMAは, 最先端のASG法と比較して, 試料効率に有意な優位性を示す。
  論文  参考訳（メタデータ） (2023-05-18T10:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。