論文の概要: GRAS: Guided Reduced-Variance Proposals and Adaptive Selection for Training-Free Reward Alignment in Discrete Diffusion
- arxiv url: http://arxiv.org/abs/2608.26585v1
- Date: Thu, 27 Aug 2026 03:53:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.238483
- Title: GRAS: Guided Reduced-Variance Proposals and Adaptive Selection for Training-Free Reward Alignment in Discrete Diffusion
- Title（参考訳）: GRAS:離散拡散における学習自由リワードアライメントのためのガイド付き可変変数の提案と適応的選択
- Abstract要約: 統合された体制を研究し、通常どのように実行されているかの2つの弱点を特定します。
得られた手法をガイド付き還元分散提案と適応選択 (GRAS) と呼ぶ。
GRASは、規制されたDNAとタンパク質の設計を通して、最高のトレーニングなし報酬を達成し、トレーニングなしの手法を上回り、報酬を微調整したモデルに適合または超過する。
- 参考スコア（独自算出の注目度）: 8.46069844016289
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Discrete diffusion models have become a strong, widely adopted class of generators for sequence data, and steering them toward a downstream reward at inference time, without any retraining, is increasingly important. Such training-free steering is done by gradient guidance, by search, or by combining the two. We study the combined regime and identify two weaknesses in how it is usually run: the guided proposal estimates its gradient from a single noisy sample, and the search then resamples particles at a fixed temperature that ignores how rewards spread across each denoising step. We address both with a small set of changes that add no denoiser cost. For the proposal, we lower the estimator variance with a Rao-Blackwellized reveal for differentiable rewards and a leave-one-out baseline for non-differentiable ones; for the search, we standardize the per-step values into a group-relative advantage and prove it collapses to a single active ingredient, an adaptive resampling temperature. We call the resulting method Guided Reduced-variance proposals and Adaptive Selection (GRAS). GRAS is simple yet effective: across regulatory DNA and protein design it attains the best training-free reward, outperforming prior training-free methods and matching or surpassing a reward-fine-tuned model, and it remains effective even for non-differentiable rewards.
- Abstract（参考訳）: 離散拡散モデルは、シーケンスデータのための強力な、広く採用されているジェネレータのクラスとなり、推論時に下流の報酬に向かって、再学習することなく、それらを操ることがますます重要になっている。
このようなトレーニングフリーのステアリングは、勾配誘導、探索、またはこれら2つの組み合わせによって行われる。
誘導された提案は、単一ノイズサンプルから勾配を推定し、探索によって粒子を一定の温度で再サンプリングし、各雑音ステップの報酬がどのように広がるかを無視する。
どちらも小さな変更のセットで対処しています。
提案手法では,Rio-Blackwellized による微分可能報酬に対する評価値と非微分可能報酬に対する残高ベースラインとの差を低くし,各ステップの値をグループ相対的優位性に標準化し,単一の有効成分である適応再サンプリング温度に分解することを示す。
提案手法を誘導還元分散提案と適応選択 (GRAS) と呼ぶ。
GRASは、規制されたDNAとタンパク質の設計を通して、最高のトレーニングなし報酬を達成し、トレーニングなしの手法を上回り、報酬を微調整したモデルに適合または超過する。
関連論文リスト
- Simplex Relaxation for Discrete Diffusion [58.33696160279345]
Simplax(Simplax)はディリクレ(Dirichlet)のカテゴリー拡張で、それぞれが崩壊したカテゴリ状態と補助的単純度値変数を結合する。
Simplaxは生成パープレキシティーを改善する。-無条件のOpenWebText生成におけるエントロピートレードオフ。
論文 参考訳（メタデータ） (2026-08-11T07:58:17Z) - Latent Reward Registers for Diffusion Preference Alignment [46.49072106092868]
本稿では,中間雑音の遅延から端末の好みを推定するメカニズムであるLatent Reward Registersを提案する。
この独立した読み出し機構は、発電機の隠された状態や速度場を変えることなく、潜伏した報酬証拠を抽出する。
トレーニングのために、Reward-Gradient On-Policy Distillation (RG-OPD) は、標準的な政策勾配の計算的に高価なロールアウトを回避し、報酬誘導された更新をオンライン軌道に沿って蒸留する。
推論のためには、Reward-Guided Sampling (RGS) はパラメータ更新なしで大小マッチングされた報酬勾配を経由する。
論文 参考訳（メタデータ） (2026-08-04T17:00:52Z) - Diversify Diffusion with Temperature Sampling and Variance-Corrective Time Shifting [57.75750707482832]
本稿では,モード再重み付けを保ちながら分散インフレーションをキャンセルし,ネットワークをシフトタイムステップでクエリし,その結果のスコアを$$でスケールするトレーニング不要な修正である分散補正時間シフトを導入する。
DiT, 安定拡散モデル, 運動拡散モデルにまたがる品質と条件の忠実度を, 最小限のコストで一貫したゲインを示す。
論文 参考訳（メタデータ） (2026-07-12T17:32:29Z) - Are we really tilting? The mechanics of reward guidance in flow and diffusion models [1.4064491732635236]
逆誘導アルゴリズムは、学習した生成過程を推論時に報奨型尺度に導出する。
経験的に強力だが、これらの手法はハッキングに報いる傾向にある。
報酬誘導拡散の最も実践的な実装における近似から報奨ハッキングが発生することを示す。
論文 参考訳（メタデータ） (2026-06-01T20:56:24Z) - Beyond Pairwise Preferences: Listwise Reward-Aware Alignment for Diffusion Models [73.08789211016567]
Diffusion LAIRは、拡散モデルに対する報酬を考慮したリストワイズ選好最適化手法である。
実験により、テキスト・ツー・イメージ生成、合成生成、画像編集ベンチマークにおいて、強い優先最適化ベースラインを上回ります。
論文 参考訳（メタデータ） (2026-05-26T03:09:24Z) - MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。
既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。
我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
論文 参考訳（メタデータ） (2026-05-07T16:20:42Z) - Scaling Adversarial Training via Data Selection [0.0]
本稿では,各ミニバッチにおける臨界サンプルのサブセットのみを摂動するemphSelective Adversa Trainingを提案する。
MNIST と CIFAR-10 の実験により,提案手法は PGD の完全対向訓練に匹敵する,あるいはそれ以上の堅牢性を達成できることが示された。
論文 参考訳（メタデータ） (2025-12-26T15:50:33Z) - Bridging the Gap: Addressing Discrepancies in Diffusion Model Training
for Classifier-Free Guidance [1.6804613362826175]
拡散モデルは、生成モデルにおいて重要な進歩として現れている。
本稿では,従来の訓練方法と所望の条件付きサンプリング行動との相違点を明らかにすることを目的とする。
トレーニング目標とサンプリング行動との整合性を向上する改良された損失関数を導入する。
論文 参考訳（メタデータ） (2023-11-02T02:03:12Z) - Data Pruning via Moving-one-Sample-out [61.45441981346064]
我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。
MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。
実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
論文 参考訳（メタデータ） (2023-10-23T08:00:03Z) - Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。
具体的には、対照的な学習方法でネットワークをトレーニングする。
各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
論文 参考訳（メタデータ） (2021-03-24T07:26:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。