論文の概要: Threshold-Guided Optimization for Visual Generative Models

• arxiv url: http://arxiv.org/abs/2605.04653v1
• Date: Wed, 06 May 2026 08:59:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.736928
• Title: Threshold-Guided Optimization for Visual Generative Models
• Title（参考訳）: 視覚生成モデルの閾値誘導最適化
• Abstract要約: 視覚生成モデルと人間のフィードバックを整合させるためのしきい値誘導フレームワークを提案する。 提案手法は,従来手法よりも常に好みのアライメントを改善する。 これらの結果は、我々の閾値誘導フレームワークを、ペア比較なしで視覚的生成モデルを整列する単純な代替手段として位置づけている。
• 参考スコア（独自算出の注目度）: 16.556017381410943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aligning large visual generative models with human feedback is often performed through pairwise preference optimization. While such approaches are conceptually simple, they fundamentally rely on annotated pairs, limiting scalability in settings where feedback is collected as independent scalar ratings. In this work, we revisit the KL-regularized alignment objective and show that the optimal policy implicitly compares each sample's reward to an instance-specific baseline that is generally intractable. We propose a threshold-guided alignment framework that replaces this oracle baseline with a data-driven global threshold estimated from empirical score statistics. This formulation turns alignment into a binary decision task on unpaired data, enabling effective optimization directly from scalar feedback. We also incorporate a confidence weighting term to emphasize samples whose scores deviate strongly from the threshold, improving sample efficiency. Experiments across both diffusion and masked generative paradigms, spanning three test sets and five reward models, show that our method consistently improves preference alignment over previous methods. These results position our threshold-guided framework as a simple yet principled alternative for aligning visual generative models without paired comparisons.
• Abstract（参考訳）: 人間のフィードバックで大きな視覚生成モデルを調整することは、ペアワイズな選好最適化によって行われることが多い。 このようなアプローチは概念的には単純だが、基本的にアノテーション付きペアに依存しており、フィードバックが独立したスカラー評価として収集される設定におけるスケーラビリティを制限する。 本研究は,KL規則化されたアライメント目標を再検討し,各サンプルの報酬を一般に難易度の高いインスタンス固有のベースラインと暗黙的に比較することを示す。 本稿では,このオラクルベースラインを,経験的スコア統計から推定したデータ駆動のグローバルしきい値に置き換えるしきい値誘導アライメントフレームワークを提案する。 この定式化は、アライメントを障害のないデータのバイナリ決定タスクに変換し、スカラーフィードバックから直接効果的な最適化を可能にする。 また、信頼度重み付け項を組み込み、スコアが閾値から大きく逸脱するサンプルを強調し、サンプル効率を向上させる。 3つのテストセットと5つの報酬モデルにまたがる拡散およびマスク付き生成パラダイムの両方の実験により,提案手法は従来手法よりも常に優先調整を改善することが示された。 これらの結果は、我々の閾値誘導フレームワークを、ペア比較なしで視覚的生成モデルを整列する単純な代替手段として位置づけている。

関連論文リスト

• Optimizing Visual Generative Models via Distribution-wise Rewards [57.46109819595665]
  本稿では,実世界のデータ分布との整合性を確保するために,分布ワイド報酬を用いた生成モデルを微調整する新しいフレームワークを提案する。 提案手法は,SiTでは5.77,EDM2では3.74から3.52まで,様々なベースモデルでFID-50Kを大幅に改善する。
  論文  参考訳（メタデータ） (2026-07-02T15:08:56Z)
• When Preference Labels Fall Short: Aligning Diffusion Models from Real Data [65.80726604713614]
  選好アライメントは、選好サンプルと非選好サンプルの比較から学習することで生成モデルを導くことを目的としている。 既存のアプローチのほとんどは、モデル生成画像から構築された選好ペアに依存している。 我々は、実際のデータが優先調整のための代替の監督源として機能するかどうかを考察する。
  論文  参考訳（メタデータ） (2026-05-19T13:35:11Z)
• LambdaPO: A Lambda Style Policy Optimization for Reasoning Language Models [34.349722314481824]
  グループ相対政策最適化は、明示的な価値批判を先導する効果で評価されている。 群平均のようなモノリシックな統計ベースラインへの依存は、軌道空間の相対トポロジーを1つのスカラーに分解する。 我々は、この情報理論のボトルネックに対処する新しいフレームワークLambda Policy Optimization(LambdaPO)を紹介します。
  論文  参考訳（メタデータ） (2026-05-19T06:10:24Z)
• Reward Score Matching: Unifying Reward-based Fine-tuning for Flow and Diffusion Models [54.597200388738656]
  Reward-based fine-tuningは、事前訓練された拡散またはフローベース生成モデルを、より高い逆サンプルに向けて操ることを目的としている。 報酬スコアマッチング (RSM) と呼ばれる共通フレームワークで記述できることが示される。
  論文  参考訳（メタデータ） (2026-04-19T12:47:52Z)
• How Sampling Shapes LLM Alignment: From One-Shot Optima to Iterative Dynamics [65.67654005892469]
  適切なインスタンス依存サンプリングは、より強力なランキング保証を得られる一方で、スキュードオン政治サンプリングは、構造化された嗜好の下で過剰な濃度を誘導できることを示す。 次に、学習したポリシーが将来のサンプリングおよび参照ポリシーにフィードバックする反復的なアライメントダイナミクスを分析する。 我々の理論的な洞察は直接選好最適化にまで拡張され、我々が捉えた現象はより広範な選好アライメント手法に共通していることを示している。
  論文  参考訳（メタデータ） (2026-02-12T17:11:08Z)
• Direct Preference Optimization with Unobserved Preference Heterogeneity: The Necessity of Ternary Preferences [14.686788596611246]
  Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデルと人間の価値の整合の中心となっている。 最近の選択肢であるDPO(Direct Preference Optimization)は、好みを直接最適化することでパイプラインを単純化している。 生成モデルアライメントにおける多様なユーザに対する公平性とパーソナライズのための理論的かつアルゴリズム的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-17T15:00:40Z)
• PCSR: Pseudo-label Consistency-Guided Sample Refinement for Noisy Correspondence Learning [17.302186298424836]
  クロスモーダル検索は、意味的類似性によって異なるモダリティを整列することを目的としている。 既存の手法では、画像とテキストのペアが完全に整列していると仮定し、実データでノイズ対応を見渡すことが多い。
  論文  参考訳（メタデータ） (2025-09-19T05:41:17Z)
• Preference Trajectory Modeling via Flow Matching for Sequential Recommendation [50.077447974294586]
  シーケンスレコメンデーションは、履歴的なインタラクションシーケンスに基づいて、各ユーザの次の項目を予測する。 FlowRecはシンプルだが効果的なシーケンシャルレコメンデーションフレームワークである。 我々は,ガウス雑音に代えてパーソナライズされた行動に基づく事前分布を構築し,ユーザの嗜好軌跡をモデル化するためのベクトル場を学習する。
  論文  参考訳（メタデータ） (2025-08-25T02:55:42Z)
• Causal LLM Routing: End-to-End Regret Minimization from Observational Data [3.3580884064577616]
  LLMルーティングは、クエリ毎に最も適切なモデルを選択することを目的としている。 従来のアプローチでは、メトリクスを最初に予測し、モデルがこれらの見積に基づいて選択される、分離された戦略が一般的だった。 観測データから意思決定の後悔を最小化してルーティングポリシーを学習する因果的エンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-21T21:34:18Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Calibrated Multi-Preference Optimization for Aligning Diffusion Models [90.15024547673785]
  Calibrated Preference Optimization (CaPO) は、テキスト・ツー・イメージ(T2I)拡散モデルを調整する新しい手法である。 CaPOは、人間の注釈のない複数の報酬モデルからの一般的な好みを取り入れている。 実験結果から, CaPOは従来法よりも常に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-02-04T18:59:23Z)
• Bridging SFT and DPO for Diffusion Model Alignment with Self-Sampling Preference Optimization [67.8738082040299]
  自己サンプリング優先最適化(SSPO)は,訓練後強化学習のための新しいアライメント手法である。 SSPOは、SFTのトレーニング安定性を維持しながら、ペアデータと報酬モデルの必要性を排除する。 SSPOは、テキスト・ツー・イメージベンチマークにおける以前のアプローチを全て上回り、テキスト・ツー・ビデオベンチマークにおける優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-10-07T17:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。