論文の概要: R$^2$ Flow: Recursive Self-Improvement via Recursive Skill Evolution
- arxiv url: http://arxiv.org/abs/2609.33867v1
- Date: Sun, 27 Sep 2026 19:43:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 16:06:43.122278
- Title: R$^2$ Flow: Recursive Self-Improvement via Recursive Skill Evolution
- Title（参考訳）: R$^2$フロー: 再帰的自己改善と再帰的スキル進化
- Abstract要約: R$2$ Flowは、ポリシ学習、独立した検証、および共有状態オーケストレーショングラフでバージョン管理されたスキルライブラリ更新を交互に実行する。
トレーニングされたフローのフローシェア読み出し、後方ポリシー、変更するスキルを持つ個別の署名付きユーティリティランク、検証者エビデンスにより、編集が保証されているか否かが決定される。
- 参考スコア（独自算出の注目度）: 21.09092301957443
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM-based agents can improve themselves across tasks by reusing and revising the skills they orchestrate into executable procedures. Flow-based training fits this loop: it samples procedures in proportion to reward, and the flow through each skill credits it for the next library revision. Three obstacles stand in the way of making this self-improvement reliable: flow training suffers strategy collapse over tree-structured histories; nonnegative flow-based credit rewards frequent use as if it were benefit; and library edits rest on the task reward the policy optimizes. We introduce R$^2$ Flow, a recursive self-improvement framework that alternates policy learning, independent verification, and versioned skill-library updates on a shared-state orchestration graph. The graph merges histories that differ only in the order of independent steps, allowing flow training to pool evidence across equivalent executions. A flow-share readout of the trained flow, invariant to the backward policy, and a separate signed utility rank which skills to change, verifier evidence decides whether an edit is warranted, and a residual-variance plateau sets when to update. Committed edits reshape the graph the next policy learns on, realizing recursive skill evolution. Across question answering, mathematical reasoning, interactive decision making, and code generation, R$^2$ Flow improves task accuracy and library-edit precision over heuristic orchestration, reinforcement learning, and skill-evolution baselines, and transfers across executors. Code is available at https://github.com/beita6969/r2flow.
- Abstract（参考訳）: LLMベースのエージェントは、彼らが編成するスキルを再利用し、修正することで、タスク全体にわたって改善することができる。
フローベースのトレーニングは、報酬に比例してプロシージャをサンプリングし、各スキルを通したフローは、次のライブラリリビジョンでそれを信用する。
フロートレーニングは、木構造された履歴よりも戦略的な崩壊に苦しむ、フローベースの非負のクレジット報酬は、利益であるかのように頻繁に使用される、ライブラリは、タスク報酬の残りを最適化する、という3つの障害がある。
R$^2$ Flowは、ポリシー学習、独立検証、バージョン付きスキルライブラリ更新を、共有状態オーケストレーショングラフで交互に行う再帰的な自己改善フレームワークである。
このグラフは独立したステップの順序だけが異なる履歴をマージし、フロートレーニングは等価な実行にまたがってエビデンスをプールすることができる。
トレーニングされたフローのフローシェア読み出しは、後方ポリシーと不変であり、変更するスキルを持つ個別の署名付きユーティリティランクであり、検証者証拠は、編集が保証されているかどうかを判断し、残差プラトーは、更新時に設定される。
コミットされた編集は、次のポリシーが学習するグラフを再形成し、再帰的なスキルの進化を実現する。
質問への回答、数学的推論、インタラクティブな意思決定、コード生成などを通じて、R$^2$ Flowはヒューリスティックオーケストレーション、強化学習、スキル進化ベースラインに対するタスク精度とライブラリ編集精度を改善し、実行者間での転送を行う。
コードはhttps://github.com/beita6969/r2flowで入手できる。
関連論文リスト
- Harness Learning Enables Generalizable Test-Time Adaptation [75.12882372844764]
本稿では,提案手法を学習し,提案手法を学習し,提案手法を改良するハーネス学習を提案する。
我々は、改良されたハーネスのタスクパフォーマンスを報奨として、強化学習で提案者を訓練する。
推論とマルチホップ質問応答の実験は、学習の活用によってリビジョン品質が向上し、テストタイムで適応する能力が見当たらないタスクに適応することを示した。
論文 参考訳（メタデータ） (2026-09-28T17:52:54Z) - V-Gym: Enhancing Agentic Visual Reasoning via Skill-Data Co-Evolution [68.43599428916389]
V-Gymは、手続き的なスキルと実行軌跡からのマルチモーダルな実践データを反復的に進化させる、自律的なフレームワークである。
スキル進化の過程で、V-Gymは軌道を分析して階層的なスキルを蒸留し、洗練し、手続き的なガイダンスと適用性条件を更新する。
結果として得られた実践結果は、その後のスキル更新にフィードバックされ、継続的なスキル改善のループを閉じます。
論文 参考訳（メタデータ） (2026-09-28T09:09:24Z) - Procedural Graphs: Self-Evolving Execution Structures for LLM Agents [11.810729293911622]
手続きグラフ(Procedural Graph)は、手続き的知識を、何を問うかのトリプル(手続き、関係、手続き)に整理する。
各決定ステップにおいて、フレームワークはエージェントのアクティブノードをローカライズし、ガイダンスモデルは周辺のサブグラフをステップレベルの状況ガイダンスに変換する。
LLM精製器は失敗した軌跡と成功した軌跡を対比し、グラフの位相と属性を編集する。
論文 参考訳（メタデータ） (2026-09-08T17:59:41Z) - PRACTICE: From Experience to Expertise in Self-Evolving Embodied Agents [8.367852606377419]
我々は,過去のインタラクションの軌跡から永続的なスキルライブラリを発見し,維持するために,スキル学習者を訓練する。
そこで,本研究では,オンライン・スキル・エグゼクティブ・蒸留を用いて,学習者と教師の連携を図る。
実験では、コンパクトなスキル学習者が、連続したライブラリ更新ラウンドで一貫したパフォーマンス向上を提供することを示した。
論文 参考訳（メタデータ） (2026-08-31T13:26:16Z) - Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills [53.15216425100295]
本稿では,提案者,解決者,スキルコントローラからなる共進化型フレームワークであるスキルセルフプレイ(スキルSP)を紹介する。
プロジェクタは動的にサンプリングされたスキルを前提とした挑戦的なタスクを生成し、ソルバは能力境界を押し上げるための候補ソリューションを探索し、スキルコントローラは実行フィードバックを収集してスキルライブラリを更新および拡張する。
このインタラクティブな共進化は、構造化された検証とオープンな調査の間のギャップを効果的に埋める。
論文 参考訳（メタデータ） (2026-07-24T17:59:22Z) - SkillCAT: Contrastive Assessment and Topology-Aware Skill Self-Evolution for LLM Agents [42.30624901249764]
現在のパイプラインはタスク毎の1つのトラックから学び、チェックする前に候補スキルパッチをマージし、推論前にフルスキルコーパスをロードする。
トレーニング不要のフレームワークであるSkillCATを提案し,このプロセスを3段階に分けた。
SpreadsheetBench,WikiTableQuestions,DocVQAなど,一般的なエージェントベンチマーク上でSkillCATを評価する。
論文 参考訳（メタデータ） (2026-06-11T13:12:10Z) - SkillFlow: Flow-Driven Recursive Skill Evolution for Agentic Orchestration [40.79922760459963]
SkillFlowは、トレーニング可能なスーパーバイザをエージェントとして、動的スキルオーケストレーションを備えた構造化環境として、フローベースのフレームワークである。
これらのフロー診断に基づいて、スキル進化メカニズムは、いつ進化するか、どのスキルを創り出すか、どこで意思決定のギャップがあるかを決定する。
論文 参考訳（メタデータ） (2026-05-13T20:14:44Z) - FlowEvo: Self-Evolving Agents through the Co-Evolution of Workflows and Executable Skills [14.679874305674156]
FlowEvoはトレーニング不要のフレームワークで、成功したトレースを再利用可能なスキルレコードにコンパイルする。
FlowEvoは,(1)ワークフロー・トゥ・スキルコンパイル,(2)スキル・トゥ・ワークフローフィードバック,(3)スキル・キュレーションの3つの組み合わせによって構成されている。
論文 参考訳（メタデータ） (2026-04-18T06:52:42Z) - Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。
本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。
トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
論文 参考訳（メタデータ） (2026-01-05T10:16:41Z) - Value Flows [90.1510269525399]
本稿では, フローベースモデルを用いて, 将来のリターン分布を推定する。
学習したフローモデルに基づいて、新しいフロー微分ODEを用いて、異なる状態の戻り不確かさを推定する。
ステートベース37ドル、イメージベースのベンチマークタスク25ドルの実験では、バリューフローが平均的な成功率で1.3倍の改善を達成している。
論文 参考訳（メタデータ） (2025-10-09T00:57:40Z) - Towards Understanding and Improving GFlowNet Training [71.85707593318297]
本稿では,学習したサンプリング分布と目標報酬分布を比較するための効率的な評価手法を提案する。
本稿では,高解像度のx$,相対的エッジフローポリシーのパラメータ化,新しい軌道バランス目標を提案する。
論文 参考訳（メタデータ） (2023-05-11T22:50:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。