論文の概要: Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training
- arxiv url: http://arxiv.org/abs/2608.06125v1
- Date: Thu, 06 Aug 2026 14:55:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.936666
- Title: Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training
- Title（参考訳）: 不確かさ誘導型拡散後トレーニングにおけるサンプル適応型遅延リワード
- Abstract要約: 我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。
報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。
textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
- 参考スコア（独自算出の注目度）: 51.18425726646089
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Latent reward models can supervise visual diffusion models without decoding intermediate states into pixel space. This makes alignment with human preferences more efficient. However, existing latent reward models output only scalar scores. They do not estimate the uncertainty of each prediction. The generator therefore cannot determine which feedback is reliable. This can drive optimization in the wrong direction and lead to reward hacking. We propose \textsc{SURE}, a unified latent-space framework for image and video diffusion models. It learns reward distributions and directly uses their reliability to guide dense post-training. First, we propose sample-adaptive latent reward model (\textsc{SURE-LRM}). It predicts a Gaussian utility for each noisy latent. Its mean predicts the reward score. Its variance reflect the uncertainty of prediction without human annotation. The learned distribution then guides post-training through uncertainty-guided reward feedback learning (\textsc{SURE-REFL}). This method provides uncertainty-guided dense feedback along the denoising trajectory. At selected transitions, \textsc{SURE-REFL} queries the frozen \textsc{SURE-LRM}. It converts detached variance into reliability weights for samples at the same transition. Each weighted reward is backpropagated only through its local transition. The entire process remains in latent space and requires neither pixel-space decoding nor the full denoising graph. Experiments show that \textsc{SURE-LRM} improves preference prediction over strong baselines. \textsc{SURE-REFL} achieves the sota performance among various metrics and further improves optimization stability. It also achieves the highest VBench quality, semantic, and total scores among the evaluated methods.
- Abstract（参考訳）: 潜在報酬モデルでは、中間状態をピクセル空間に復号することなく、視覚拡散モデルを監督することができる。
これにより、人間の好みとの整合性がより効率的になる。
しかし、既存の潜在報酬モデルはスカラースコアのみを出力する。
それぞれの予測の不確実性を見積もることはできない。
したがって、ジェネレータはどのフィードバックが信頼できるかを判断できない。
これにより、最適化が間違った方向に進み、報酬のハッキングにつながる可能性がある。
本稿では,画像とビデオの拡散モデルのための潜在空間統合フレームワークである‘textsc{SURE} を提案する。
報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。
まず,サンプル適応型潜在報酬モデル(\textsc{SURE-LRM})を提案する。
ノイズの多い各潜伏者に対してガウス的効用を予測する。
平均は報酬のスコアを予測します。
その違いは、人間の注釈のない予測の不確かさを反映している。
学習した分布は、不確実性誘導された報酬フィードバック学習(\textsc{SURE-REFL})を通して後学習をガイドする。
この方法では、デノナイジング軌道に沿った不確実性誘導された高密度フィードバックが提供される。
選択された遷移において、 \textsc{SURE-REFL} は凍結した \textsc{SURE-LRM} をクエリする。
分離された分散を、同じ遷移におけるサンプルの信頼性の重みに変換する。
それぞれの重み付けされた報酬は、その局所的な遷移によってのみバックプロパゲーションされる。
プロセス全体は遅延空間に留まり、ピクセル空間の復号化も完全な復号グラフも必要としない。
実験により, 強いベースラインに対する嗜好予測を改善することが確認された。
\textsc{SURE-REFL} は様々なメトリクスのソタ性能を達成し、最適化安定性をさらに向上する。
また,評価手法の中では,VBenchの品質,セマンティック,総得点の最高値も達成している。
関連論文リスト
- Mind the Residual Gap: Probabilistic Downscaling under Real-World Bias [11.400279490725042]
確率的なダウンスケーリングは、大気科学、気候モデリング、その他のマルチスケール物理システムにとって重要な課題である。
広く使われているパラダイムは、問題を決定論的平均予測器に分解し、続いて残留発生器に分解する。
本研究は,根本原因が標的誤診であり,訓練中に誘発される残差分布は,下降バイアスにより試験時間に要求されるものと体系的に異なることを示す。
論文 参考訳（メタデータ） (2026-06-29T18:47:34Z) - MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。
既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。
我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
論文 参考訳（メタデータ） (2026-05-07T16:20:42Z) - Hidden Measurement Error in LLM Pipelines Distorts Annotation, Evaluation, and Benchmarking [0.20305676256390937]
本論文は,不確実性を情報源に分解し,より多くのデータで縮小する分散を識別し,総誤差を低減するためにデザインスタディ・プロジェクションを用いる。
イデオロギーアノテーション、安全性分類、MMLUベンチマーク、および人間公認プロパガンダ監査へのアプローチの適用により、ドメインとスコアリング方法によって異なる支配的な分散源が明らかになる。
論文 参考訳（メタデータ） (2026-04-13T14:58:15Z) - Information Hidden in Gradients of Regression with Target Noise [2.8911861322232686]
勾配だけでヘッセンが明らかになることを示す。
我々はガウス以下の入力の下で非漸近作用素ノルム保証を提供する。
論文 参考訳（メタデータ） (2026-01-26T14:50:16Z) - MIRA: Towards Mitigating Reward Hacking in Inference-Time Alignment of T2I Diffusion Models [86.07486858219137]
拡散モデルは、テキストプロンプトに条件付けされた画像を生成するのに優れている。
得られた画像は、Aesthetic Scoresのようなスカラー報酬によって測定されるユーザ固有の基準を満たさないことが多い。
近年,ノイズ最適化による推定時間アライメントが,効率的な代替手段として浮上している。
このアプローチは報酬のハッキングに苦しめられ、モデルが高いスコアの画像を生成できるが、元のプロンプトとはかなり異なる。
論文 参考訳（メタデータ） (2025-10-02T00:47:36Z) - Treeffuser: Probabilistic Predictions via Conditional Diffusions with Gradient-Boosted Trees [39.9546129327526]
Treeffuserは、表データの確率的予測のための使いやすい方法である。
Treeffuserはよく校正された予測分布を学習し、幅広い回帰タスクを処理できる。
Walmartの営業データを用いて、不確実性の下での在庫配分への応用について、その汎用性を実証する。
論文 参考訳（メタデータ） (2024-06-11T18:59:24Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - Variational Deep Survival Machines: Survival Regression with Censored Outcomes [11.82370259688716]
サバイバル・レグレッション(Survival regression)とは、ある出来事がいつ起こるか、通常は死か失敗かを予測することを目的としている。
本稿では,生存データをクラスタリングし,原始分布を組み合わせることで生存時間を予測できる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-04-24T02:16:00Z) - Certifying Confidence via Randomized Smoothing [151.67113334248464]
ランダムな平滑化は、高次元の分類問題に対して良好な証明されたロバスト性を保証することが示されている。
ほとんどの平滑化法は、下層の分類器が予測する信頼性に関する情報を与えてくれない。
そこで本研究では,スムーズな分類器の予測信頼度を評価するために,認証ラジイを生成する手法を提案する。
論文 参考訳（メタデータ） (2020-09-17T04:37:26Z) - Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。
本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
論文 参考訳（メタデータ） (2020-04-30T13:27:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。