論文の概要: Test-Time Weak-to-Strong Alignment: Transferring Implicit Rewards from Weak to Strong Flow Models

• arxiv url: http://arxiv.org/abs/2609.05968v1
• Date: Sat, 05 Sep 2026 08:12:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 12:08:58.064882
• Title: Test-Time Weak-to-Strong Alignment: Transferring Implicit Rewards from Weak to Strong Flow Models
• Title（参考訳）: 試験時間弱対ストロングアライメント:入射逆流から強流モデルへの遷移
• Abstract要約: テストタイムアライメントはサンプリング中に凍結したモデルを操縦し、タスク固有のガイダンスとサンプル固有のガイダンスを可能にする。 我々は,2組の弱いモデルに報酬関数を持たせるのではなく,監督源を変更することを提案する。 ソースアライメントモデルは、ソースアライメントペアとしてベースと共に保持され、トレーニング報酬を暗黙的でステップワイドなKLアンコール信号として格納する。
• 参考スコア（独自算出の注目度）: 19.4335297564654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aligning a text-to-image generation flow model with a reward makes it follow objectives that the training data alone does not provide. Alignment fine-tuning delivers this by reinforcement learning (RL) or preference optimization, but it must be repeated for every checkpoint and returns a model fixed at the reward and strength it was trained with. Test-time alignment instead steers a frozen model during sampling, allowing task-specific and sample-specific guidance. Existing methods obtain this only by drawing the per-step signal from the reward function itself, through its gradient, or through a separately trained value function. We propose changing the supervision source: let a pair of weak models, not a reward function, supply the supervision. A source aligned model, kept together with its base as a source alignment pair, stores its training reward as an implicit, step-wise, KL-anchored signal expressed in the sampler's own coordinates. We explore whether this model-form supervision can cross scale, and show that it does: our method, AlignGraft, aligns a larger, frozen, never-tuned model by adding the pair's velocity difference during sampling. The transport is exact under a shared noising kernel and needs neither the reward nor its gradient at test time. The method has no schedules, only a single scalar that controls the alignment strength and can extrapolate it beyond that of the source alignment pair. Across image and video flow models (Stable Diffusion 3.5, FLUX, and Wan), the transfer lifts the frozen large model on preference, compositional, and text-rendering rewards, can exceed the source aligned model itself, and preserves the large model's fidelity at a small constant sampling overhead. Extensive experiments show that one alignment run on a weak model produces supervision that the whole model family can reuse at test time.
• Abstract（参考訳）: 報酬を伴うテキスト・ツー・イメージ生成フローモデルを調整することで、トレーニングデータだけでは提供されない目標に従うことができる。 調整の微調整は、強化学習(RL)や好みの最適化によってこれを実現しますが、チェックポイント毎に繰り返して、トレーニングされた報酬と強度で固定されたモデルを返す必要があります。 テスト時のアライメントは、サンプリング中に凍結したモデルを操縦し、タスク固有のガイダンスとサンプル固有のガイダンスを可能にする。 既存の方法は、報酬関数自体からステップごとの信号を引き出すか、その勾配を通り、あるいは個別に訓練された値関数を通してのみこれを得る。 我々は,2組の弱いモデルに報酬関数を持たせるのではなく,監督源を変更することを提案する。 ソースアライメントモデルは、ソースアライメントペアとしてベースと共に保持され、トレーニング報酬をサンプルの座標で表される暗黙的でステップワイドなKLアンコール信号として格納する。 我々の手法であるAlignGraftは、サンプリング中にペアの速度差を追加することで、より大きく凍結し、調整されないモデルを調整します。 トランスポートは、共有されたノーミングカーネルの下で正確に行われ、テスト時に報酬も勾配も必要としない。 この方法にはスケジュールがなく、アライメントの強度を制御し、ソースアライメントペアのそれを超えることができる単一のスカラーしか持たない。 画像およびビデオフローモデル全体(安定拡散3.5、FLUX、Wan)では、転送は、好み、構成、テキストレンダリングの報酬で凍結した大きなモデルを持ち上げ、ソース整列モデル自体を超え、小さなサンプリングオーバーヘッドで大きなモデルの忠実性を維持することができる。 大規模な実験により、弱いモデル上で1つのアライメントが実行され、モデルファミリー全体がテスト時に再利用できることが示されている。

関連論文リスト

• FlowBender: Feedback-Aware Training for Self-Correcting Conditional Flows [18.746098727212544]
  FlowBenderは3D再構成のための新しい拡散流モデルである。 FlowBenderは、標準的な教師付きアライメントトレーニングよりも一貫して優れています。 微分可能な演算子に対して、FlowBenderのいくつかの変種を提案する。
  論文  参考訳（メタデータ） (2026-06-18T15:56:07Z)
• Bootstrap Your Generator: Unpaired Visual Editing with Flow Matching [79.46676932242569]
  本稿では,フローマッチング編集モデルの非ペア化学習のためのフレームワークを提案する。 ByGは、凍結モデルから抽出した命令追従キューと、構造保存のためのサイクル整合性とをペアリングする。 我々は,データスカース画像と映像編集の課題に対する最先端の成果を実証する。
  論文  参考訳（メタデータ） (2026-06-02T17:07:08Z)
• Aligning Few-Step Generative Models by Amortizing Sample-based Variational Inference [60.82875447631739]
  FAV, Few-step Generative Models Alignment via Sample-based Variational Inference。 基準分布に固定された報奨型分布からのサンプリングとしてのFAVキャストアライメント ロボット操作と画像生成のアライメントの2つの領域でFAVを評価する。
  論文  参考訳（メタデータ） (2026-05-26T05:02:49Z)
• ParetoSlider: Diffusion Models Post-Training for Continuous Reward Control [14.748861060405973]
  強化学習(Reinforcement Learning, RL)のポストトレーニングは、生成モデルと人間の嗜好を整合させる標準となっている。 初期スカラー化の一般的な実践は、複数の基準が問題となるとき、報酬を固定重み付けの和に分解する。 これはトレーニング時に1つのトレードオフポイントにモデルをコミットし、本質的に矛盾する目標に対する推論時間制御を提供する。
  論文  参考訳（メタデータ） (2026-04-22T17:44:56Z)
• Designing Instance-Level Sampling Schedules via REINFORCE with James-Stein Shrinkage [46.743961849406844]
  凍結したテキスト・ツー・イメージ・サンプルのサンプリングタイムラインを再設定する。 原理的James-Stein推定器に基づく新たな報酬ベースラインを導入する。 我々は、スケジューリングフレームワークを、新しいモデルに依存しないポストトレーニングレバーとして位置付ける。
  論文  参考訳（メタデータ） (2025-11-27T07:33:05Z)
• Learning an Image Editing Model without Image Editing Pairs [83.03646586929638]
  最近の画像編集モデルは、自然言語編集の指示に従いながら印象的な成果を上げている。 それらは、インプットとターゲットのペアの大きなデータセットによる教師付き微調整に依存している。 現在の回避策は、既存のモデルのゼロショット機能を利用する合成トレーニングペアを使用する。 ペア化されたデータを完全に不要にする新たなトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:59:57Z)
• Temporal Score Rescaling for Temperature Sampling in Diffusion and Flow Models [30.36841165328262]
  本稿では,フローマッチングモデルのサンプリング多様性を判断するメカニズムを提案する。 これらの再スケーリングにより、局所的なサンプリング温度を効果的に制御できることを示す。
  論文  参考訳（メタデータ） (2025-10-01T17:59:51Z)
• Learn to Guide Your Diffusion Model [84.82855046749657]
  本研究では,条件付き拡散モデルによる試料の品質向上手法について検討する。 誘導ウェイトは$omega_c,(s,t)$で、条件付き$c$、飾る時間$t$、飾る時間$s$の関数です。 我々は,モデルが報酬関数によって傾いた分布を目標にすることができるように,フレームワークを拡張して報酬付きサンプリングを行う。
  論文  参考訳（メタデータ） (2025-10-01T12:21:48Z)
• Aligning Text-to-Image Diffusion Models with Reward Backpropagation [62.45086888512723]
  本稿では,報酬勾配のエンドツーエンドのバックプロパゲーションを用いて,拡散モデルを下流の報酬関数に整合させる手法であるAlignPropを提案する。 AlignPropは、選択肢よりも少ないトレーニングステップでより高い報酬を得るが、概念的にはシンプルである。
  論文  参考訳（メタデータ） (2023-10-05T17:59:18Z)
• Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models [76.410400238974]
  モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。 CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。 提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
  論文  参考訳（メタデータ） (2023-05-29T11:03:59Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。