論文の概要: Steered Not Stirred: Effective Reward Tilting using Surrogate Reward Mixing

• arxiv url: http://arxiv.org/abs/2610.25502v1
• Date: Sun, 18 Oct 2026 19:42:45 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:25:05.987281
• Title: Steered Not Stirred: Effective Reward Tilting using Surrogate Reward Mixing
• Title（参考訳）: ステアード・ノット・スターレッド:サロゲート・リワード・ミキシングを用いた効果的なリワード・ティルティング
• Abstract要約: 多くの応用において、根本真正銘のオラクルの報酬であるR*$は利用できないか、評価する費用がかかる。 本稿では, 未利用の$R*$で傾いた分布に対して, 事前学習したモデルを操るためのサロゲートの構成法を提案する。 実験では、言語生成とImageNetアライメントの改善が示されている。
• 参考スコア（独自算出の注目度）: 6.073770352941389
• License:
• Abstract: Continuous-time generative models, from diffusion models, flow matching, and now flow maps, owe their practical value to high-fidelity generation and steerability. In many applications, a ground-truth latent ``oracle'' reward $R^*$ is unavailable or expensive to evaluate, e.g., human judgments or experimental measurements. Although the oracle reward is not directly observable, it can often be approximated through multiple cheaper surrogates that, individually, provide incomplete characterizations but collectively reveal substantial information about the downstream task. In this paper, we present a method for composing such surrogates to steer a pretrained model toward the distribution tilted by an unavailable $R^*$. Given a small feedback set of oracle rankings or numerical rewards, we introduce Mixing And Reward Tilting for INference-time Improvement (MARTINI), which learns a surrogate composition for plug-and-play use with standard inference-time steering methods. Our theory characterizes surrogate information limits and relates population recovery error to ideal-target KL at small tilt strength. For preferences, the bound additionally accounts for an irreducible mismatch between the Plackett-Luce population target and the conditional mean. Experiments demonstrate improved oracle-tilt fidelity in language generation and ImageNet alignment, and improved joint pose accuracy and validity in protein-ligand cofolding, without inference-time oracle queries.
• Abstract（参考訳）: 拡散モデル、フローマッチング、そして現在のフローマップといった連続時間生成モデルは、その実用的価値を高忠実度生成と操舵性に負う。 多くの応用において、‘`oracle'の報酬である$R^*$は、人間の判断や実験的な測定に利用できない、あるいは高価である。 オラクル報酬は直接観測可能であるわけではないが、個別に不完全な特徴を提供するが、ダウンストリームタスクに関する実質的な情報を明らかにする複数の安価なサロゲートを通して近似することができる。 本稿では, 未利用の$R^*$で傾いた分布に対して, 事前学習したモデルを操るために, このようなサロゲートを構成する方法を提案する。 オラクルランキングや数値報酬の小さなフィードバックセットが与えられた場合、標準の推論時ステアリング手法でプラグアンドプレイ用のサロゲート合成を学習するMARTINI(Mixing and Reward Tilting for Inference-time Improvement)を導入する。 本理論は,サロゲート情報限界を特徴付け,人口回復誤差を小さな傾き強度で理想目標KLに関連付ける。 選好に関して、この制限はプラケット・ルーシの人口目標と条件平均との間の既約ミスマッチも考慮している。 実験では、言語生成およびImageNetアライメントにおけるオラクルタイルの忠実度の改善と、推論時オラクルクエリを使わずに、タンパク質-リガンドの折り畳みにおける結合ポーズの精度と妥当性の向上が示された。

関連論文リスト

• When is a better LLM worth paying for? Stochastic Optimization with Switching Mixed-Fidelity Oracles [8.203652449371559]
  大規模言語モデル(LLM)は、データクリーニング、ラベルエラーの検出、欠落した値の再構築に、意思決定の上流でますます使われている。 高い忠実度モデルとよりリッチなプロンプトは、はるかに高価である。 本研究では,系統的バイアスと状態依存雑音を有する混合忠実第一次オラクルを用いた最適化により,この問題を考察する。
  論文  参考訳（メタデータ） (2026-10-15T02:50:49Z)
• DiffGA: Steering Frozen Diffusion Models for Materials Design via Evolutionary Search [2.92555832792872]
  生成モデルはソリューションを提供するが、通常、新しい目的ごとにトレーニングや微調整を必要とする。 本稿では、再学習拡散モデルのサンプリング軌道に進化的探索を注入するリトレーニングフリーフレームワークであるDiffGAについて述べる。 DiffGAは拡散のみ, 計算マッチング, 純粋に進化的, 微調整されたベースラインを, 安定的, ユニークで, 新規なヒット率で上回ることを示す。
  論文  参考訳（メタデータ） (2026-10-10T15:27:13Z)
• How to post-train on a surrogate: Envelope sampling mitigates reward hacking [63.719332033414084]
  大規模な言語モデル(LLM)は、人間の好みのような真の報酬が大規模にクエリするには高すぎるため、サロゲートに対して後から訓練されることが多い。 この慣行は、しばしば報酬のハッキングにつながります。そこでは、サロゲートに対する強化学習は、望ましくない副作用をもたらします。 本研究では,学習後モデルの後悔に対する上限を最小化するために,理論的に定位化された再校正法である封筒サンプリングを提案する。
  論文  参考訳（メタデータ） (2026-10-08T05:48:31Z)
• Diffusion Reward Models [56.078040107894]
  DRMはDiffusion Reward Modelで、$p(mathbfrmid x,y)$以上の条件密度推定として報酬モデルを再キャストする。 単一のアーキテクチャは、多属性回帰とペアワイズ選好データの両方を処理し、$N$サンプルでの推論は、スカラー、分散、量子化に集約できる経験的な報酬分布を形成する。 5つのベンチマークで、DRMは一致したデータとバックボーンの下でベースラインにマッチまたはオーバーし、より大きな差別的、分布的、生成的RMと競争し続け、従来のヘッドを持つマルチモーダル報酬構造を回復する。
  論文  参考訳（メタデータ） (2026-09-27T17:57:14Z)
• Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
  我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。 我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-20T19:34:53Z)
• GDRO: Group-level Reward Post-training Suitable for Diffusion Models [55.948229011478304]
  グループレベルの報酬は、モデルを目標とする報酬と整合させるのに成功します。 Group-level Direct Reward Optimization (GDRO)は、グループレベルの報酬アライメントのための新しいトレーニング後のパラダイムである。 GDROは完全なオフライントレーニングをサポートし、画像ロールアウトサンプリングの大幅なコスト削減を実現する。 これは拡散サンプラー非依存であり、取得性に対するODE-to-SDE近似の必要性を排除している。
  論文  参考訳（メタデータ） (2026-01-05T11:47:18Z)
• Informed Correctors for Discrete Diffusion Models [27.295990499157814]
  離散拡散モデルに対する予測・相関型サンプリング手法を提案する。 情報補正器は,誤差が少なく,FIDスコアが向上した優れたサンプルを連続的に生成することを示す。 本結果は,離散拡散を用いた高速かつ高忠実な生成のための情報補正器の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2024-07-30T23:29:29Z)
• Bridging the Gap: Addressing Discrepancies in Diffusion Model Training for Classifier-Free Guidance [1.6804613362826175]
  拡散モデルは、生成モデルにおいて重要な進歩として現れている。 本稿では,従来の訓練方法と所望の条件付きサンプリング行動との相違点を明らかにすることを目的とする。 トレーニング目標とサンプリング行動との整合性を向上する改良された損失関数を導入する。
  論文  参考訳（メタデータ） (2023-11-02T02:03:12Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。