論文の概要: Best-of-$N$ Guidance for Test-time Diffusion Alignment

• arxiv url: http://arxiv.org/abs/2610.05108v2
• Date: Tue, 06 Oct 2026 07:19:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.355783
• Title: Best-of-$N$ Guidance for Test-time Diffusion Alignment
• Title（参考訳）: テスト時間拡散アライメントのための$N$のベストプラクティス
• Abstract要約: 拡散モデルはしばしば、生成されたサンプルを報酬モデルによって測定された人間の好みに合わせるのに苦労する。 本稿では,Best-of-N$ Guidance (BoNG)を提案する。 BoNGは29のケースで最高のパフォーマンスを記録し、SMCとVanilla BoNのサンプリングと比較すると80.56%でランクインしている。
• 参考スコア（独自算出の注目度）: 20.168676245804907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models achieve strong generative performance but often struggle to align generated samples with human preferences measured by a reward model. A simple yet effective algorithm for test-time alignment is Best-of-$N$ (BoN) sampling, which draws $N$ i.i.d. samples from a pre-trained diffusion model and outputs the single highest-reward sample. Despite its empirical success, BoN makes limited use of reward information, as it is incorporated only at the final selection stage without influencing the reverse diffusion trajectory during sampling. Consequently, BoN sampling does not improve the average alignment of generated samples and is primarily suited to single-output settings. We propose Best-of-$N$ Guidance (BoNG), a novel method that integrates the principle of BoN sampling directly into the reverse diffusion process. BoNG performs online BoN selection over denoising particles and adjusts the reverse diffusion process to steer the particle population toward higher-reward regions during generation. Specifically, by introducing an asymmetric guidance interaction among denoising particles, BoNG uses the current BoN particle as a guidance signal to the rest of the particle population. This particle-level interaction reshapes the sampling process toward higher-reward regions, enabling BoNG to improve not only the final best sample beyond Vanilla BoN sampling, but also the average quality of generated samples. Over 36 empirical comparisons, BoNG achieves the best performance in 29 cases, ranking first in 80.56% of the comparisons against SMC and Vanilla BoN sampling. BoNG also supports multi-output capability, achieving 1.3$\times$ ImageReward score of the latest sample-based guidance method with a 1.6$\times$ speedup. We release the code at https://github.com/aailab-kaist/BoNG.
• Abstract（参考訳）: 拡散モデルは強力な生成性能を達成するが、しばしば報酬モデルによって測定された人間の好みと生成されたサンプルを一致させるのに苦労する。 テスト時間アライメントのための単純で効果的なアルゴリズムはBest-of-N$ (BoN) サンプリングであり、事前訓練された拡散モデルから$N$ i.d.サンプルを抽出し、最も高い再帰サンプルを出力する。 実験的な成功にもかかわらず、BoNは、サンプリング中に逆拡散軌道に影響を与えることなく最終選択段階でのみ組み込まれるため、報酬情報を限定的に利用している。 その結果、BoNサンプリングは生成したサンプルの平均アライメントを改善せず、主に単一出力設定に適している。 本稿では,Best-of-N$ Guidance (BoNG)を提案する。 BoNGはデノナイジング粒子よりもオンラインのBoN選択を行い、逆拡散過程を調整し、生成中に粒子の集団を高逆領域へ誘導する。 具体的には、粒子間の非対称誘導相互作用を導入することで、BoNGは現在のBoN粒子を粒子群の他の部分への誘導信号として利用する。 この粒子レベルの相互作用はサンプリング過程を高次領域に再活性化させ、Banilla BoNサンプリングを超える最終最適サンプルだけでなく、生成したサンプルの平均品質も改善する。 36以上の経験的比較で、BoNGは29のケースで最高のパフォーマンスを達成し、SMCとVanilla BoNのサンプリングの80.56%でランクインした。 BoNGは、最新のサンプルベースのガイダンスメソッドの1.3$\times$ ImageRewardスコアを1.6$\times$スピードアップで達成し、マルチ出力機能もサポートする。 コードはhttps://github.com/aailab-kaist/BoNG.comで公開しています。

関連論文リスト

• Soft Best-of-n Sampling for Model Alignment [19.80655819384635]
  Best-of-n$のサンプリングは、言語モデルの出力を人間の好みに合わせるための実践的なアプローチである。 我々は,初期分布と報酬最大化分布のスムーズな一般化を可能にするソフト・ベスト・オブ・n$サンプリングを導入する。 離散的な出力の列に対して、ブロックワイズサンプリングの基本的限界を明らかにする付加的な報酬モデルを分析する。
  論文  参考訳（メタデータ） (2025-05-06T04:03:11Z)
• Sampling-Efficient Test-Time Scaling: Self-Estimating the Best-of-N Sampling in Early Decoding [48.55176091771745]
  テストタイムスケーリングは、推論中に追加の計算リソースを割り当てることで、大きな言語モデルのパフォーマンスを向上させる。 Best-of-N (BoN) サンプリングはサンプリングベースの一般的なスケーリング手法である。 我々は,全Nサンプルの完全生成を回避する復号法であるセルフトランケーションBest-of-N(ST-BoN)を提案する。 コスト面では、ST-BoNはFull-BoNと同じ性能を達成し、計算コストを70%-80%削減し、同じコストで3～4ポイント精度を向上させることができる。
  論文  参考訳（メタデータ） (2025-03-03T11:21:01Z)
• Evaluation of Best-of-N Sampling Strategies for Language Model Alignment [6.4706370001155955]
  報奨モデルを用いたBest-of-N(BoN)サンプリングは、復号時の人間の嗜好とLLM(Large Language Models)を整合させる効果的な戦略であることが示されている。 従来の研究は、目的に対して正規化したBoNサンプリングである正規化BoNサンプリング(RBoN)を提案し、BoNサンプリングよりも優れていることを示した。 本稿では、最悪のRBoNプロキシ報酬に対する理論的に保証されたアプローチであるRBoNサンプリング(SRBoN)と呼ばれるRBoNフレームワークの拡張を提案する。
  論文  参考訳（メタデータ） (2025-02-18T09:18:02Z)
• Variational Best-of-N Alignment [57.617866305771756]
  Best-of-N(Best-of-N)は、言語モデルを人間の好みに合わせるアルゴリズムである。 推論時にBoNが行うことを模倣するために、言語モデルを微調整することを提案する。 我々のアプローチは平均場変分推論に類似しており、従ってそれを変分BoN(vBoN)と呼ぶ。
  論文  参考訳（メタデータ） (2024-07-08T15:59:44Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。