論文の概要: From Weights to Words: Expressing and Editing Preference Model Inferences in Natural Language
- arxiv url: http://arxiv.org/abs/2607.16232v1
- Date: Wed, 24 Jun 2026 04:51:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.047005
- Title: From Weights to Words: Expressing and Editing Preference Model Inferences in Natural Language
- Title（参考訳）: ウェイトからワードへ:自然言語における選好モデル推論の表現と編集
- Abstract要約: 単語に強調語を導入し、選択問題のデータセットを入力として取り、ドメイン関連選好次元の集合を自動的に発見する手法を提案する。
これらの次元は減弱と不透明の両方に対処する。
モデルの推論を自然言語で外部化することで、ユーザがリアルタイムでモデルを検査し、編集することができる。
- 参考スコア（独自算出の注目度）: 47.600794349481966
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The growing use of statistical learning algorithms to infer human preferences from high-dimensional choice data runs up against a fundamental challenge: choice alternatives typically differ in many ways simultaneously, so it is generally unclear which factors actually drove an observed decision and should be credited as preferences. Compounding this problem, the opacity of these methods leaves human operators unable to inspect, contest, or correct models when they err. We introduce \emph{weights to words}, a method that takes a dataset of choice problems as input and automatically discovers a collection of domain-relevant preference dimensions, each described in natural language and paired with a vector in the model's representational space. These dimensions address both under-determination and opacity: they can be applied to concentrate attribution on a small set of meaningful factors, and they can externalize the model's inferences in natural language so that users can inspect and edit them in real time. We first qualitatively illustrate the method's versatility on four diverse domains: moral dilemmas, movies, wines, and free-form LLM responses. We then report two pre-registered human-subjects experiments, on moral dilemmas ($N=450$) and movie selection ($N=449$), that demonstrate its benefits for learning preference models: (1) regularizing a preference model toward the learned basis increases prediction accuracy on held-out choices, and (2) incorporating participants' structured edits further improves accuracy. In head-to-head comparisons, participants prefer the method's inferred preference profiles and endorse its predictions as more accurate.
- Abstract（参考訳）: 高次元の選択データから人間の嗜好を推測する統計学習アルゴリズムの利用は、基本的課題に反する。選択の選択肢は、通常、多くの点で異なるため、どの要因が実際に観察された決定を導いたのかは明らかになっていない。
この問題を複雑にし、これらの手法の不透明さは、人間のオペレーターが不確実な時にモデルを調べたり、競合したり、正したりすることができない。
本稿では,選択問題のデータセットを入力として取得し,それぞれが自然言語で記述され,モデルの表現空間におけるベクトルと対になるドメイン関連嗜好次元の集合を自動的に発見する手法である「emph{weights to words」を紹介する。
これらの次元は、過小評価と不透明度の両方に対処する:それらは、小さな意味のある要素に属性を集中するために適用でき、自然言語でモデルの推論を外部化し、ユーザーがそれらをリアルタイムで検査し、編集することができる。
まず、道徳的ジレンマ、映画、ワイン、自由形式のLCM応答の4つの領域において、この手法の汎用性を質的に説明する。
次に、学習嗜好モデルに対する利点を示す道徳的ジレンマ(N=450$)と映画選択(N=449$)の2つの事前登録された人体実験を報告する。
頭と頭の比較では、被験者はメソッドの推論された嗜好プロファイルを好み、予測をより正確にする。
関連論文リスト
- Beyond the Binary: Capturing Diverse Preferences With Reward Regularization [15.518838657050173]
この二項選択への依存は、現実のタスクにおいて対象ユーザのより広範囲で集約的な嗜好を捉えるものではない、と我々は主張する。
本稿では、既存の二分選好データセットを合成選好判断で拡張し、潜在的なユーザ不一致を推定する、シンプルで効果的な方法を提案する。
論文 参考訳（メタデータ） (2024-12-05T02:35:46Z) - Personalizing Reinforcement Learning from Human Feedback with Variational Preference Learning [12.742158403867002]
ヒューマンフィードバックからの強化学習は、基礎モデルを人間の価値観や好みに合わせるための強力なパラダイムである。
現在のRLHF技術は、多様な集団における個人の嗜好の自然に生じる相違を説明できない。
マルチモーダルなRLHF手法のクラスを開発し,多元的アライメントの必要性に対処する。
論文 参考訳（メタデータ） (2024-08-19T15:18:30Z) - Doing Experiments and Revising Rules with Natural Language and Probabilistic Reasoning [6.230721646014307]
実験によって自然言語規則を推論する方法のモデルを提供する。
このモデルは、確率的推論のためにLarge Language Models (LLM)とMonte Carloアルゴリズムを統合する。
論文 参考訳（メタデータ） (2024-02-08T19:57:29Z) - Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。
また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
論文 参考訳（メタデータ） (2024-01-11T17:56:59Z) - Sample Efficient Preference Alignment in LLMs via Active Exploration [63.84454768573154]
良い政策を最も効率的に特定するために、人間のフィードバックを得るコンテキストをしばしば選択できるという事実を活用します。
本稿では,データを効率的に選択する能動的探索アルゴリズムを提案する。
提案手法は,複数の言語モデルと4つの実世界のデータセットに対する人間の嗜好の限られたサンプルを用いて,ベースラインよりも優れる。
論文 参考訳（メタデータ） (2023-12-01T00:54:02Z) - Skill-Based Few-Shot Selection for In-Context Learning [123.26522773708683]
Skill-KNNは、文脈内学習のためのスキルベースの少ショット選択手法である。
モデルはトレーニングや微調整を必要とせず、頻繁に銀行を拡大したり変更したりするのに適している。
5つのドメイン間セマンティックパーシングデータセットと6つのバックボーンモデルによる実験結果から、Skill-KNNは既存の手法よりも大幅に優れていることが示された。
論文 参考訳（メタデータ） (2023-05-23T16:28:29Z) - Rationalizing Predictions by Adversarial Information Calibration [65.19407304154177]
我々は2つのモデルを共同で訓練する: 1つは、正確だがブラックボックスな方法でタスクを解く典型的なニューラルモデルであり、もう1つは、予測の理論的根拠を付加するセレクタ・予測モデルである。
我々は,2つのモデルから抽出した情報を,それらの違いが欠落した特徴や過度に選択された特徴の指標であるように校正するために,敵対的手法を用いる。
論文 参考訳（メタデータ） (2023-01-15T03:13:09Z) - More Than Words: Towards Better Quality Interpretations of Text
Classifiers [16.66535643383862]
MLモデルの入力インタフェースを考えると、トークンベースの解釈性は便利な第1選択であるが、あらゆる状況において最も効果的ではないことを示す。
1)ランダム化テストにより測定されるほど頑健であり,2)SHAPのような近似に基づく手法を用いた場合の変動性が低く,3)言語的コヒーレンスがより高い水準にある場合の人間には理解できない。
論文 参考訳（メタデータ） (2021-12-23T10:18:50Z) - To what extent do human explanations of model behavior align with actual
model behavior? [91.67905128825402]
モデル推論決定の人間による説明が、モデルが実際にこれらの決定を下す方法と一致する程度を調べた。
自然言語の人間の説明が入力語に対するモデル感度とどのように一致するかを定量化する2つのアライメント指標を定義した。
モデルと人間の説明との整合は、NLI上のモデルの精度によって予測されないことが判明した。
論文 参考訳（メタデータ） (2020-12-24T17:40:06Z) - Learning from the Best: Rationalizing Prediction by Adversarial
Information Calibration [39.685626118667074]
2つのモデルを共同でトレーニングする。1つは手前のタスクを正確だがブラックボックスな方法で解く典型的なニューラルモデルであり、もう1つはセレクタ-予測モデルであり、予測の根拠も生み出す。
両モデルから抽出した情報の校正には,逆数に基づく手法を用いる。
自然言語タスクには, 言語モデルに基づく正規化子を用いて, 流線型論理の抽出を促進することを提案する。
論文 参考訳（メタデータ） (2020-12-16T11:54:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。