論文の概要: ArcFlow: Training Flow Policies for Multiple Solver Budgets
- arxiv url: http://arxiv.org/abs/2610.28788v1
- Date: Tue, 20 Oct 2026 18:18:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 09:50:43.213084
- Title: ArcFlow: Training Flow Policies for Multiple Solver Budgets
- Title（参考訳）: ArcFlow: 複数のソリューション予算に対するフローポリシのトレーニング
- Abstract要約: Action-Ratio-Clip Flow (ArcFlow)は、特定の問題解決予算の範囲で1フローポリシーをトレーニングするためのデプロイメント対応アルゴリズムである。
ArcFlowはアクションアラインメントの監視、予算の露出、最悪の予算のチェックポイントの選択を組み合わせたものだ。
- 参考スコア（独自算出の注目度）: 7.060248012897499
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Flow-matching policies adjust inference cost through the number of solver steps, but reinforcement learning at a single fixed solver budget can hide degradation at cheaper deployment budgets and even erase useful one-step behavior present in a pretrained policy. We introduce Action-Ratio-Clip Flow (ArcFlow), a deployment-aware algorithm for training one flow policy across a specified range of solver budgets. ArcFlow combines action-aligned supervision, budget exposure, and worst-budget checkpoint selection. For reconstruction objectives, its bridge aggregates temporal probes into one surrogate ratio and one PPO-style clip per action, with a boundary residual exactly equal to deployed one-step reconstruction error. Cycling exposes the shared field to the deployment range, and selection optimizes its performance floor. For native velocity objectives, multi-budget endpoint supervision applies the same principle without replacing the native update. Both realizations preserve the architecture and deployment-time cost. Across DM Control, manipulation, and locomotion, ArcFlow attains the highest mean one-step return among five flow-policy baselines on 25 of 30 tasks under each method's reported training settings. Component studies identify complementary improvements from boundary supervision, the fixed-grid bridge, budget exposure, and deployment selection. These results establish deployment-budget-aware training as an effective route to strong low-step control with one policy serving multiple inference costs.
- Abstract（参考訳）: フローマッチングポリシは、ソルバステップ数によって推論コストを調整するが、1つの固定されたソルバ予算での強化学習は、より安価なデプロイメント予算で劣化を隠蔽し、事前訓練されたポリシに存在する有用なワンステップ動作を消去する。
本稿では,特定の解法予算にまたがる1フローポリシーをトレーニングするためのデプロイメント対応アルゴリズムであるAction-Ratio-Clip Flow(ArcFlow)を紹介する。
ArcFlowはアクションアラインメントの監視、予算の露出、最悪の予算のチェックポイントの選択を組み合わせたものだ。
復元目的のために、橋梁は時間プローブを1つのサロゲート比と1つのPPOスタイルのクリップに集約する。
サイクルは共有フィールドをデプロイメント範囲に公開し、選択はパフォーマンスフロアを最適化する。
ネイティブベロシティの目標に対しては、ネイティブアップデートを置き換えることなく、マルチ予算エンドポイントの監視が同じ原則を適用している。
両方の実現はアーキテクチャとデプロイメント時間のコストを保ちます。
DMコントロール、操作、移動を通じて、ArcFlowは、各メソッドが報告したトレーニング設定の下で、30タスク中25タスクで5つのフローポリシーベースラインの中で、最も平均的な1ステップのリターンを達成する。
コンポーネントスタディは、境界監督、固定グリッドブリッジ、予算露光、デプロイメント選択から補完的な改善を識別する。
これらの結果から,複数の推論コストに充てられる1つのポリシで,強力な低段階制御への効果的な経路として,デプロイメント予算対応トレーニングが確立された。
関連論文リスト
- One Policy, Any Budget: Internalizing Budget-Aware Search via Reinforcement Learning [41.55260785497756]
我々は,予算制約下での予算対応検索を単一ポリシーで行えるフレームワークであるAnySearchを提案する。
第1フェーズでは、明確な予算状態注入と構造化推論プロンプトでエージェントを訓練する。
第2段階では、足場を除去し、エージェントは適応的にサンプル化された予算制約の下で自律的に操作することを学ぶ。
論文 参考訳（メタデータ） (2026-09-01T07:12:32Z) - BUDDY: BUdget-Driven DYnamic Depth Routing for Adaptive Large Language Model Inference [8.041559188948003]
Buddyは、大規模言語モデルのための予算駆動の動的深度ルーティングフレームワークである。
厳格な予算管理、デコードタイムの再ルーティング、トレーニングされた1つのモデルで複数の予算をサポートする。
論文 参考訳（メタデータ） (2026-06-08T14:06:35Z) - ZEBRA: Zero-shot Budgeted Resource Allocation for LLM Orchestration [8.226365534099399]
連続非線形クナップサック問題に対する多相予算割当を低減するフレームワークであるZEBRAを提案する。
150ドルのAPPS符号化ベンチマークでは、ZEBRAの2つの変種は全ての集計基準においてLLM-directよりも優れていた。
我々は,自律型マルチエージェントシステムの経済行動を改善するために,推論時の軽量なアルゴリズムガイダンスを提案する。
論文 参考訳（メタデータ） (2026-05-19T20:50:05Z) - Cost-Aware Learning [72.31444819326795]
本稿では,異なるコンポーネント関数をサンプリングするコスト認識学習の問題点について考察する。
凸関数に対するコスト・アウェア・Descentアルゴリズムを提案し、そのコスト複雑性を導出し誤差を$$$とする。
本稿では,性能を保ちつつポリシー最適化のコストを削減するアルゴリズムであるCost-Aware GRPOを紹介する。
論文 参考訳（メタデータ） (2026-04-30T15:39:09Z) - Near-Future Policy Optimization [51.760544033045726]
検証可能な報酬(RLVR)による強化学習は、学習後の中核的なレシピとなっている。
textbfNear-Future textbfPolicy textbfOptimization (textbfNPO)を提案する。
論文 参考訳（メタデータ） (2026-04-22T16:20:41Z) - Budget-Aware Agentic Routing via Boundary-Guided Training [24.0709108941881]
予算対応エージェントルーティング(Budget-Aware Agentic Routing)は、各ステップで安価なモデルと高価なモデルを選択して、コスト削減フロンティアを最適化する。
境界誘導訓練(Boundary-Guided Training)は、希少な報酬の下で学習を定着させるために難しい分類法を構築する。
実験結果から,提案手法は高効率フロンティアを改良し,強いルーティングベースラインを極めて低コストで整合することを示した。
論文 参考訳（メタデータ） (2026-02-04T07:39:27Z) - One-Step Generative Policies with Q-Learning: A Reformulation of MeanFlow [56.13949180229929]
ノイズを直接行動にマッピングするオフライン強化学習のための一段階の生成ポリシーを,MeanFlowの残留的な再構成を通じて導入する。
本手法はオフライン・オフライン両方の強化学習環境において高い性能を実現する。
論文 参考訳（メタデータ） (2025-11-17T06:34:17Z) - Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。
ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。
PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
論文 参考訳（メタデータ） (2025-04-18T17:49:55Z) - FlowPG: Action-constrained Policy Gradient with Normalizing Flows [14.98383953401637]
ACRL(Action-Constrained reinforcement learning)は、安全クリティカルなリソース関連意思決定問題を解決するための一般的な手法である。
ACRLの最大の課題は、各ステップにおける制約を満たす有効なアクションを取るエージェントを確保することである。
論文 参考訳（メタデータ） (2024-02-07T11:11:46Z) - Towards Understanding and Improving GFlowNet Training [71.85707593318297]
本稿では,学習したサンプリング分布と目標報酬分布を比較するための効率的な評価手法を提案する。
本稿では,高解像度のx$,相対的エッジフローポリシーのパラメータ化,新しい軌道バランス目標を提案する。
論文 参考訳（メタデータ） (2023-05-11T22:50:41Z) - Actor-Critic based Improper Reinforcement Learning [61.430513757337486]
我々は,未知のマルコフ決定プロセスに対して,学習者に100万ドルのベースコントローラを付与する不適切な強化学習環境を考える。
本稿では,(1)ポリシーグラディエントに基づくアプローチ,(2)単純なアクター・クリティカル・スキームとNatural Actor-Criticスキームを切り替えるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-07-19T05:55:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。