論文の概要: Agent Gym: A Framework for Continuous Evaluation and Evolution of LLM Agents Through Human-in-the-Loop Feedback

• arxiv url: http://arxiv.org/abs/2608.15591v1
• Date: Sun, 16 Aug 2026 07:27:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.356953
• Title: Agent Gym: A Framework for Continuous Evaluation and Evolution of LLM Agents Through Human-in-the-Loop Feedback
• Title（参考訳）: Agent Gym: ヒューマン・イン・ザ・ループフィードバックによるLDMエージェントの継続的評価と進化のためのフレームワーク
• Abstract要約: 大きな言語モデル(LLM)エージェントは、基本的な緊張に直面します。エージェントの動作は、デプロイ時に凍結されますが、処理するビジネスルールとエッジケースは、進化し続けます。 既存のアプローチではエージェント構築とワンタイム評価を行うが、継続的デプロイ後の動作補正のための構造的メカニズムは提供しない。 我々はAgent Gymを紹介した。Agent Gymはモジュール型のドメインに依存しないフレームワークで、既存のLLMベースのエージェントを連続的な評価と進化のループでラップする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Model (LLM) agents deployed in production environments face a fundamental tension: the agent's behavior is frozen at deployment time, while the business rules and edge cases it must handle continue to evolve. Existing approaches address agent construction and one-time evaluation but provide no structured mechanism for continuous post-deployment behavioral correction without modifying the agent's source code. Most of the approaches offered in the market, require intense collection of logs and traces, and re-examining the agent design by the engineering team, a process which is heavy, long and negates the economical value of agentic transformation. We introduce Agent Gym, a modular, domain-agnostic framework that wraps any existing LLM-based agent in a continuous evaluation-and-evolution loop. The framework provides six composable capabilities --- Act, Evaluate, Investigate, Correct, Learn, and Observe --- organized across three architectural zones: a constitution layer that codifies domain knowledge in configuration artifacts, a runtime inference pipeline that chains acting, investigation, and adaptive correction, and a learning loop that enables subject matter experts to discover and validate new correction rules through natural language interaction. The key technical contributions include a hybrid deterministic-LLM correction engine with 21 condition operators and three-tier actions, a three-layer investigation architecture for ground-truth-free compliance validation, and a programmatic safety loop that guarantees rule correctness before human approval. We further introduce the Spec-to-Note Gap, an autoencoder-inspired view of agentic system transparency. An open-source reference implementation for invoice processing demonstrates that the framework is fully operational and ready for adoption.
• Abstract（参考訳）: 大きな言語モデル(LLM)エージェントが本番環境にデプロイされる場合、エージェントの動作はデプロイ時に凍結され、ビジネスルールやエッジケースは進化し続けます。 既存のアプローチではエージェントの構築とワンタイム評価を行うが、エージェントのソースコードを変更することなく、継続的デプロイ後の動作補正のための構造的メカニズムは提供しない。 市場で提供されるアプローチのほとんどは、ログとトレースの激しい収集を必要とし、エンジニアリングチームによるエージェント設計を再検討する。 我々はAgent Gymを紹介した。Agent Gymはモジュール型のドメインに依存しないフレームワークで、既存のLLMベースのエージェントを連続的な評価と進化のループでラップする。 フレームワークは6つの構成可能な機能 – Act, Evaluate, Investigationigate, Correct, Learn, Observe – を3つのアーキテクチャゾーンに分けて構成する。 重要な技術的貢献は、21の条件演算子と3段階のアクションを備えたハイブリッド決定論的LLM補正エンジン、地道なコンプライアンス検証のための3層調査アーキテクチャ、人間の承認前に規則の正しさを保証するプログラムセーフティループである。 さらに、オートエンコーダにインスパイアされたエージェントシステムの透明性のビューであるSpec-to-Note Gapを紹介します。 インボイス処理のためのオープンソースのリファレンス実装は、フレームワークが完全に運用されており、採用の準備が整っていることを示している。

関連論文リスト

• Formal Verification of Agentic Systems over Operational Data [59.98246281888422]
  大規模言語モデル(LLM)によって駆動されるエージェントシステムは、永続的な運用データを扱う現実世界にますます展開されている。 既存のアプローチはそのようなシステムレベルの保証を提供していません。 本稿では, 1 つの LLM とツールオーケストレーションハーネスからなるエージェントシステムのリレーショナル操作データに対する検証について述べる。
  論文  参考訳（メタデータ） (2026-08-04T13:01:30Z)
• AgentX: Towards Agent-Driven Self-Iteration of Industrial Recommender Systems [82.01232437066487]
  AgentXはプロダクションデプロイされたマルチエージェントシステムで、このプロダクション機能を再構築する。 自律的に生成し、実装し、評価し、レコメンデーション実験から学ぶ。 AgentXは4つの密結合したステージをクローズドループでオーケストレーションする。
  論文  参考訳（メタデータ） (2026-06-25T10:42:28Z)
• From Question Answering to Task Completion: A Survey on Agent System and Harness Design [67.8241530947325]
  本研究はモデルハーネスレンズを用いてLCMをベースとしたエージェントについて検討する。 まず, LLMをベースとしたエージェントを基礎モデルと実行ハーネスとして, エージェントの機能的定義と実装の視点を明らかにする。 次に、モデル中心のスケーリングの限界を分析し、エージェントエンジニアリングの4つのパラダイムをトレースし、実行ハーネスを6つの結合ランタイム責任に分解する。
  論文  参考訳（メタデータ） (2026-06-14T05:40:16Z)
• PRIMA: Operational Patterns for Resilient Multi-Agent Research with Verifiable Identity and Convergent Feedback [0.0]
  PRIMAは、複数時間にわたる協調型マルチエージェント研究システムとして運用されている。 主なコントリビューションは、生存可能な障害モードのための3つの運用パターンである。 グラフ同型ケーススタディは、生成されたアーティファクトのアーキテクチャ的クレームを根拠にしている。
  論文  参考訳（メタデータ） (2026-05-23T23:27:46Z)
• Harnessing LLM Agents with Skill Programs [58.356514745548026]
  HASPは、実行可能なプログラム関数(PF)にスキルをアップグレードする新しいフレームワークです。 PFは障害が発生しやすい状態を起動し、次のアクションを変更したり、修正コンテキストを注入する実行可能なガードレールとして機能する。 HASPは、Web検索、数学推論、コーディングタスクにおいて、トレーニング不要とトレーニングベースの両方の手法と比較して、大幅に向上している。
  論文  参考訳（メタデータ） (2026-05-18T01:35:11Z)
• Agent Mentor: Framing Agent Knowledge through Semantic Trajectory Analysis [4.365760422569902]
  我々は、Agent Mentorオープンソースライブラリの一部として実装された分析パイプラインを紹介する。 システムの監視と漸進的な適応によって、他のエージェントの振る舞いを定義する。 パイプラインは、エージェントの知識に修正命令を体系的に注入することで、パフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2026-04-12T08:02:54Z)
• Agentic Problem Frames: A Systematic Approach to Engineering Reliable Domain Agents [0.0]
  大きな言語モデル(LLM)は、自律的なエージェントへと進化していますが、現在の"フレームワークレス"な開発は、あいまいな自然言語に基づいています。 本研究では,内部モデルインテリジェンスからエージェントと環境間の構造的相互作用に焦点を移すシステム工学フレームワークであるエージェント問題フレーム(APF)を提案する。
  論文  参考訳（メタデータ） (2026-02-22T06:32:32Z)
• From Prompt-Response to Goal-Directed Systems: The Evolution of Agentic AI Software Architecture [0.0]
  Agentic AIは、ステートレスでプロンプト駆動型生成モデルからゴール指向システムへのアーキテクチャ移行を表す。 本稿では、知的エージェント理論と現代のLCM中心のアプローチを結びつけることによって、この遷移を考察する。 この研究は、標準化されたエージェントループ、登録、監査可能な制御機構への収束を特定する。
  論文  参考訳（メタデータ） (2026-02-11T03:34:48Z)
• Veri-Sure: A Contract-Aware Multi-Agent Framework with Temporal Tracing and Formal Verification for Correct RTL Code Generation [4.723302382132762]
  シリコングレードの正しさは、 (i) シミュレーション中心の評価の限られたカバレッジと信頼性、 (ii) 回帰と修復幻覚、 (iii) エージェントハンドオフ間で意図が再解釈される意味的ドリフトによってボトルネックが残っている。 エージェントの意図を整合させる設計契約を確立するマルチエージェントフレームワークであるVeri-Sureを提案する。
  論文  参考訳（メタデータ） (2026-01-27T16:10:23Z)
• Let It Flow: Agentic Crafting on Rock and Roll, Building the ROME Model within an Open Agentic Learning Ecosystem [90.17610617854247]
  本稿では,エージェントモデルの生産パイプラインを最適化する基盤インフラであるエージェント学習エコシステム(ALE)を紹介する。 ALEは、重量最適化のためのトレーニング後のフレームワークであるROLL、軌道生成のためのサンドボックス環境マネージャであるROCK、効率的なコンテキストエンジニアリングのためのエージェントフレームワークであるiFlow CLIの3つのコンポーネントで構成されている。 ROMEはALEが基盤として100万件以上のトラジェクトリをトレーニングしたオープンソースエージェントです。
  論文  参考訳（メタデータ） (2025-12-31T14:03:39Z)
• Alita-G: Self-Evolving Generative Agent for Agent Generation [54.49365835457433]
  汎用エージェントをドメインエキスパートに変換するフレームワークであるALITA-Gを提案する。 このフレームワークでは、ジェネラリストエージェントが対象ドメインタスクのキュレートされたスイートを実行する。 計算コストを削減しながら、大きな利益を得ることができます。
  論文  参考訳（メタデータ） (2025-10-27T17:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。