論文の概要: The Missing Coefficients: Bayesian Pairwise Merging for Model Personalization

• arxiv url: http://arxiv.org/abs/2609.39055v1
• Date: Wed, 30 Sep 2026 06:00:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.264589
• Title: The Missing Coefficients: Bayesian Pairwise Merging for Model Personalization
• Title（参考訳）: 欠損係数:モデルパーソナライズのためのベイジアンペアワイズマージ
• Abstract要約: ペアワイズ・マージング(Pairwise Merging、BPM)は、未知の報酬重みよりも後方を推論し、その平均をマージ係数として直接使う理論である。 我々は, 要約, 画像キャプション, 物語生成, テキスト・テキスト・テキスト生成, 画像・テキスト生成におけるBPMの評価を行った。 BPMは、ユーザごとのポリシートレーニングなしで、一対のフィードバックからのパーソナライズを可能にします。
• 参考スコア（独自算出の注目度）: 41.18073316117148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How can we personalize a shared expert library from a user's pairwise choices? Prior work can realize different reward trade-offs by merging reward-specialized experts, given a vector of trade-off weights. In practice, users can more naturally choose between outputs than specify numerical weights. The challenge is therefore to turn these choices into the coefficients required for merging, while accounting for ambiguity when feedback is limited. Our key idea is to treat the unknown reward weights as latent variables: infer a posterior over them from pairwise choices and reward-score differences, and use its mean directly as the merge coefficients. We instantiate this idea as Bayesian Pairwise Merging (BPM), whose posterior also characterizes which reward trade-offs remain plausible given the feedback. We evaluate BPM on radiology summarization, image captioning, and story generation, spanning text-to-text and image-to-text generation. With 100 feedback per simulated persona, BPM achieves macro decided win rates of 91.7%, 77.1%, and 64.3% against uniform merge. For six pairs of simulated personas, each prefers the model fitted to its own feedback, a pattern also observed in a human proof-of-concept. In simulations under BPM's model and prior, its nominal 90% intervals for temperature-scaled reward weights achieve task-averaged marginal coverage of 88.9% and 89.2% with only 10 and 25 comparisons, respectively. BPM thus enables personalization from pairwise feedback without per-user policy training, while characterizing the coefficient ambiguity left by limited feedback.
• Abstract（参考訳）: 共有専門家ライブラリをユーザのペアワイズ選択からどのようにパーソナライズするか? 事前の作業は、トレードオフ重みのベクトルを与えられた報酬の専門家をマージすることで、異なる報酬トレードオフを実現することができる。 実際には、ユーザは数値的な重みを指定するよりも、アウトプットの選択を自然に行うことができる。 したがって、これらの選択をマージに必要な係数に変換し、フィードバックが制限されたときにあいまいさを考慮させることが課題である。 我々のキーとなる考え方は、未知の報酬重みを潜在変数として扱うことであり、ペア選択と報酬スコア差から後続を推論し、その平均をマージ係数として直接使うことである。 我々は、このアイデアをベイズペアワイズ・マージング(BPM)とみなし、フィードバックによってどの報酬トレードオフが妥当かも特徴付ける。 我々は, 要約, 画像キャプション, 物語生成, テキスト・テキスト・テキスト生成, 画像・テキスト生成におけるBPMの評価を行った。 シミュレーションされたペルソナあたり100のフィードバックにより、BPMは91.7%、77.1%、64.3%というマクロ決定的な勝利率を達成した。 6組のシミュレートされたペルソナでは、それぞれが自身のフィードバックに適合するモデルを好む。 BPMのモデルとそれ以前のシミュレーションでは、その温度スケールの報酬重量に対する名目上の90%の間隔は、それぞれ10と25の比較で平均88.9%と89.2%の範囲を達成している。 したがってBPMは、ユーザごとのポリシートレーニングなしで、ペアによるフィードバックからのパーソナライズを可能にします。

関連論文リスト

• Diffusion Reward Models [56.078040107894]
  DRMはDiffusion Reward Modelで、$p(mathbfrmid x,y)$以上の条件密度推定として報酬モデルを再キャストする。 単一のアーキテクチャは、多属性回帰とペアワイズ選好データの両方を処理し、$N$サンプルでの推論は、スカラー、分散、量子化に集約できる経験的な報酬分布を形成する。 5つのベンチマークで、DRMは一致したデータとバックボーンの下でベースラインにマッチまたはオーバーし、より大きな差別的、分布的、生成的RMと競争し続け、従来のヘッドを持つマルチモーダル報酬構造を回復する。
  論文  参考訳（メタデータ） (2026-09-27T17:57:14Z)
• Patterning in Practice: Debiasing Reward Models with Susceptibilities [2.095991286549444]
  Instruct reward model training on Skywork-Reward-Preference v.0.2。 これは、小さなモデルや合成タスクを超えて、特異学習理論に基づくプログラムであるパターニングの最初の応用である。
  論文  参考訳（メタデータ） (2026-09-01T04:20:43Z)
• Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training [51.18425726646089]
  我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。 報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。 textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
  論文  参考訳（メタデータ） (2026-08-06T14:55:42Z)
• Style over Substance: A Shortcut Audit of Emotion-Description Preference Evaluation [18.639828982880108]
  コンテントブレンドプローブを用いてEmoPreferの系統的ショートカット監査を行う。 記述長とジェネレータの同一性のみを用いた単純なロジスティック回帰は、LoRAに精細化された7Bテキストとオーディオ視覚的判断に相容れない。 結果は、人間の嗜好が本質的にスタイリスティックであることや、記述に感情的な情報がないことを示唆していない。
  論文  参考訳（メタデータ） (2026-07-20T21:05:08Z)
• Beyond Scalar Rewards by Internalizing Reasoning into Score Distributions [80.33276868889341]
  Z-Rewardは効率的な報酬展開から推論と重大な判断を分離する。 Z-Reward はテキスト・画像の最適化のための識別可能な報酬信号として機能することを示す。
  論文  参考訳（メタデータ） (2026-06-08T06:20:12Z)
• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• Differentially Private Reward Estimation with Preference Feedback [15.943664678210146]
  嗜好に基づくフィードバックから学ぶことは最近、生成モデルと人間の関心を結びつけるための有望なアプローチとして、かなりの注目を集めている。 上記のパイプラインの任意のステップにおける敵攻撃は、人間のラベルのプライベートで機密性の高い情報を明らかにする可能性がある。 我々は、各ラベルのプライバシーを保護しつつ、嗜好に基づくフィードバックからの報酬推定の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2023-10-30T16:58:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。