論文の概要: ReGuide: From Test-Time Guidance to Self-Improving Diffusion Policies

• arxiv url: http://arxiv.org/abs/2606.28939v1
• Date: Sat, 27 Jun 2026 14:23:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.735924
• Title: ReGuide: From Test-Time Guidance to Self-Improving Diffusion Policies
• Title（参考訳）: ReGuide: テスト時間ガイダンスから自己改善拡散政策へ
• Abstract要約: ReGuideは、ガイド付きロールアウトを再利用可能なオンラインリカバリデータとして扱うフレームワークである。 Onmimic Can、Square、Transport、Tool Hang、ReGuideは、基本政治の成功を1.3$--7.7times$で改善し、テストタイムのみの設定でLPBを上回っている。
• 参考スコア（独自算出の注目度）: 20.452659267550217
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Behavior-cloned diffusion policies are expressive but remain vulnerable to covariate shift: small deviations from demonstrated states can compound into task failure. Existing methods address this either by expanding the training distribution through expert corrections or synthetic augmentation, or by steering a frozen policy at test time with guidance from a learned model. The former can be expensive or assumption-dependent, while the latter discards the corrected trajectories after execution. We introduce ReGuide, a self-improving framework that treats guided rollouts as reusable on-policy recovery data. ReGuide first uses Phase-Conditioned Guidance (PCG) to generate corrective rollouts: it constructs phase-specific latent targets, applies guidance only in the drifted-but-recoverable regime, and guides through the estimated clean action to match the dynamics model's training distribution. Successful guided rollouts are then absorbed back into the policy through ReGuide-FT, which fine-tunes the current checkpoint, or ReGuide-FS, which retrains from scratch on the augmented dataset; the two can also be composed and iterated. On Robomimic Can, Square, Transport, and Tool Hang, ReGuide improves base-policy success by $1.3$--$7.7\times$, outperforms LPB in the test-time-only setting, and matched-data ablations show that the gains come from guided recovery data rather than additional rollouts alone.
• Abstract（参考訳）: 行動閉ざされた拡散政策は表現力があるが、共変量シフトに弱いままである。 既存の方法は、専門家の補正や合成強化を通じてトレーニング分布を拡張するか、あるいは学習モデルからのガイダンスでテスト時に凍結ポリシーを操ることによって、この問題に対処する。 前者は高価または前提に依存し、後者は実行後に修正された軌跡を破棄する。 我々は、ガイド付きロールアウトを再利用可能なオン・ポリティクス・リカバリデータとして扱う自己改善フレームワークであるReGuideを紹介した。 ReGuideはまず、フェーズ・コンディションド・ガイダンス(PCG)を使用して、フェーズ固有の潜伏目標を構築し、ドリフト可能な状態のみにガイダンスを適用し、推定されたクリーンな動作を通じて、ダイナミックスモデルのトレーニング分布と一致するように誘導する。 成功したガイド付きロールアウトは、現在のチェックポイントを微調整するReGuide-FT(ReGuide-FS)を通じてポリシーに吸収される。 Robomimic Can、Square、Transport、Tool Hangでは、ReGuideは1.3$--7.7\times$で、テストタイムのみの設定でLPBを上回り、マッチデータアブレーションにより、追加ロールアウトのみではなくガイド付きリカバリデータから得られる利益を示している。

関連論文リスト

• FlowBalance: Verifier-Grounded Self-Improvement from On-Policy Reasoning Experience [18.64380706071327]
  FlowBalanceは、完全応答上の正規化分布を学習する検証器による自己改善手法である。 オンラインの軌跡ごとに、同じポリシーの凍結されたトレーニングタイムビューは、特権付きコンテキストを使用してトークンレベルのログ確率ゲインを生成する。 分析では, 群内コントラスト保存, 最小値逆KL特性, 目標報酬の単調検証, 拒否応答に対する偽陽性自己誘導に対する正確な補正が確立された。
  論文  参考訳（メタデータ） (2026-09-03T00:47:11Z)
• EDGE: Experience-Distillation for Guided Exploration in Agentic Reinforcement Learning [25.200068256200293]
  インタラクショントラジェクトリに埋め込まれた再利用可能な探索パターンは、単一のポリシー更新後に大部分が破棄される。 本研究では,検索した経験を仮訓練時の足場として扱うフレームワークであるEDGE(Experience-Distillation for Guided Exploration)を提案する。 EDGEは強力なRLベースラインを最大12.5ポイント改善し、推論時の足場やプロプライエタリなリフレクタを使わずに有効である。
  論文  参考訳（メタデータ） (2026-08-22T13:16:25Z)
• Adaptive Recurrent Message Passing for Test Time Computing on Graphs [80.56829418752513]
  繰り返しグラフモデルでは,グラフデータとアーキテクチャ設計の固有のミスマッチを克服できることを示す。 本稿では,アダプティブ・リカレントグラフモデルであるAdaRを提案する。
  論文  参考訳（メタデータ） (2026-06-21T12:14:11Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Implicit Drifting Policy: One-Step Action Generation via Conditional Expert Geometry [46.0185525503119]
  Implicit Drifting Policy (IDP)は、ロボット制御のための一段階の模倣学習フレームワークである。 IDPは、明示的なベクトル場推定なしでポリシー学習にドリフトの訓練時間補正をもたらす。
  論文  参考訳（メタデータ） (2026-05-31T08:39:57Z)
• Learning with Rare Success but Rich Feedback via Reflection-Enhanced Self-Distillation [71.16738415436458]
  本稿では、生の障害フィードバックを補正管理のアクティブソースに変換するフレームワークであるReflection-Enhanced Self-Distillation(RESD)を紹介する。 RESDは、局所的なエラーを診断するために振り返りリフレクションを生成し、持続的なグローバルなプレイブックをキュレートすることで、障害の軌跡を解釈する。 複数の連続学習課題に対する実証的な評価は、RESDが標準の自己蒸留ベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-12T20:46:05Z)
• RePO-VLA: Recovery-Driven Policy Optimization for Vision-Language-Action Models [90.39703013636868]
  RePO-VLAは、リカバリ駆動のポリシー最適化フレームワークである。 成功、回復、失敗の軌跡に異なる役割を割り当てる。 対人的な成功は、平均で20%から75%、実世界の規模で80%まで上昇する。
  論文  参考訳（メタデータ） (2026-05-10T08:24:05Z)
• Interactive Critique-Revision Training for Reliable Structured LLM Generation [18.00222080273147]
  DPA-GRPOは,構成された検証器の介入による2人プレイヤジェネレータゲームのためのペアアクショントレーニング手法である。 我々は,非正規化ゲームを分析し,厳格に低いリワード介入やリビジョン行動に対する肯定的な確率が,一側偏差を生み出すことを示す。 TaxCalc TY24の実験では、DPA-GRPOはゼロショット生成とジェネレータのみのRLベースラインよりも構造化された決定精度を向上させる。
  論文  参考訳（メタデータ） (2026-05-08T17:00:38Z)
• PPGuide: Steering Diffusion Policies with Performance Predictive Guidance [28.698103923760172]
  PPGuideは、事前訓練された拡散ポリシーを、推論時に障害モードから切り離す。 注意ベースのマルチインスタンス学習を使用して、ポリシーのロールアウトからどの観察-アクションチャンクが成功か失敗かを自動的に見積もる。 提案したPPGuideを,RobomimicベンチマークとMimicGenベンチマークから,さまざまなタスクセットで検証した。
  論文  参考訳（メタデータ） (2026-03-11T17:10:16Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Unifying Stable Optimization and Reference Regularization in RLHF [64.16830602324345]
  本稿では、報酬ハッキングの防止と安定したポリシー更新の維持を目標とする統一正規化手法を提案する。 我々の単純で原則化されたアライメント目的は、監督された微調整の損失を軽減し、優れたトレードオフをもたらし、アライメント結果と実装の複雑さの両方を明らかに改善する。
  論文  参考訳（メタデータ） (2026-02-12T03:31:19Z)
• Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
  本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。 本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。 トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
  論文  参考訳（メタデータ） (2026-01-05T10:16:41Z)
• Policy Gradient Guidance Enables Test Time Control [9.24766442685354]
  政策グラディエントガイダンス(PGG)について紹介する。 PGGは無条件分岐でポリシー勾配を強化し、条件分岐と無条件分岐を補間する。 離散的および連続的な制御ベンチマークでPGGを評価する。
  論文  参考訳（メタデータ） (2025-10-02T16:00:35Z)
• Feedback Guidance of Diffusion Models [14.162420300295365]
  Interval-Free Guidance (CFG) は, 条件付き拡散モデルにおける試料の忠実度向上の標準となっている。 本稿では,FBG(FeedBack Guidance)を提案する。
  論文  参考訳（メタデータ） (2025-06-06T13:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。