論文の概要: Axiom Satisfiability of Linear Rewards in Alignment
- arxiv url: http://arxiv.org/abs/2610.06892v1
- Date: Sat, 26 Sep 2026 15:24:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 16:33:44.537523
- Title: Axiom Satisfiability of Linear Rewards in Alignment
- Title（参考訳）: 配向におけるリニアリワードの公理充足性
- Abstract要約: 人間の嗜好データから学ぶことは、言語モデルと人間の価値を整合させる主要な方法である。
Ge et al.[202]は、リニアな社会的選択において、BTLを含む非減少凸損失を最小化することにより、そのような報酬がPOやPMCに収まらないことを示す。
提案手法では, 誤りとなる比較毎に線形部分のチャージを行うとともに, 違反の総スラックとNo.を同時に最小化する手法を提案する。
- 参考スコア（独自算出の注目度）: 13.846924514246899
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning from human preference data is the dominant route to aligning language models with human values. In linear social choice, where rewards are linear in a fixed feature representation of prompt-response pairs, Ge et al.[2024] show that fitting such a reward by minimizing any non-decreasing convex loss, including BTL, fails PO and PMC. Moreover, no rule that reads only the majority relation can satisfy PO once the output is required to be linearly induced. We ask what it costs to enforce these axioms anyway. To this end, we relax the linear model to allow per-candidate slack. We compute the relaxed linear reward with the smallest total slack that satisfies the axioms with a margin $η$, the minimum required difference between two reward values. Our solution satisfies the axioms under no assumptions about the voters or how comparisons were collected. We bound the optimal total slack by $O(1)$ when $η$ is at most $O(\frac{1}{m^2})$ for $m$ candidates. Furthermore, we exhibit an instance that forces this bound, concluding that the rate is tight up to constants. In practice, the no. of candidates far exceeds the feature dimension, and only a linear reward can be evaluated on unseen responses. We therefore introduce a new method that charges the linear part for each comparison it gets wrong. It simultaneously minimizes the total slack and the no. of violations, with a parameter $λ$ trading off between them. We show that the total slack is monotone but saturating in $λ$: raising it reduces the violations of the deployed linear reward and increases the slack, yet the slack stays below $(η+Δ\sqrt{d})\lfloor m^2/4\rfloor$, where $Δ$ and $d$ are the diameter and dimension of the features, respectively. Experiments on both synthetic and real-life preference data corroborate our theory and show that the linear reward output by our method beats linear BTL.
- Abstract（参考訳）: 人間の嗜好データから学ぶことは、言語モデルと人間の価値を整合させる主要な方法である。
Ge et al [2024]は、リニアな社会的選択において、BTLを含む非減少凸損失を最小化することにより、そのような報酬がPOやPMCに収まらないことを示す。
さらに、出力が線形に誘導されたら、多数関係のみを読み込む規則はPOを満たすことができない。
いずれにせよ、これらの公理を強制するにはどのようなコストがかかるのかを問う。
この目的のために、線形モデルを緩和し、候補ごとのスラックを許容する。
緩和された線形報酬を2つの報酬値の最小値である$η$で公理を満たす最小の総スラックで計算する。
我々の解決策は、有権者の前提や比較結果の収集方法に満たない公理を満たす。
最適な総スラックを$O(1)$とすると、$η$は最も高い$O(\frac{1}{m^2})$ for $m$ candidateである。
さらに、この境界を強制する例を示し、その速度が定数まできついことを結論付ける。
実際には、No。
候補が特徴次元をはるかに超えており、線形報酬のみが見当たらない反応で評価できる。
そこで我々は,各比較が誤りを犯すたびに線形部分を課金する新しい手法を導入する。
総スラックとnoを同時に最小化する。
違反の代償として パラメータが$λ$で取引されます
合計のスラックは単調だが、$λ$で飽和し、展開された線形報酬の違反を減らしスラックを増加させるが、スラックは$(η+Δ\sqrt{d})\lfloor m^2/4\rfloor$以下であり、$Δ$と$d$はそれぞれ特徴の直径と寸法である。
合成選好データと実生活選好データの両方の実験は、我々の理論を裏付け、我々の方法で出力される線形報酬が線形BTLを上回っていることを示す。
関連論文リスト
- Geometry-Dependent Bounds for Online Non-Monotone DR-Submodular Maximization [55.29259818039367]
凸閉集合上の逆オンライン非負の非単調DR-部分モジュラ函数について検討する。
学習者は、目的を観察する前に各アクションを学習し、後から最高の固定アクションと競合する。
定数対物列は、最適に多くの1次クエリでオフラインの$(4/9-varepsilon)$近似を生成する。
論文 参考訳（メタデータ） (2026-09-30T18:26:29Z) - Lower Bounds for Linear-Oracle Online Learning [0.0]
ワイベルらは固定係数法は不可能であると推測した。
我々はそれらの予想を証明し、その下限をオラクルのみのモデルにおける決定論的学習者すべてに拡張する。
最新の勾配の非ゼロ係数を持つ1回の固定スケジュールの場合、第2の構成は、発行されたクエリごとにユニークな最小値を持つ少なくとも3ドルLDT3/4/4$の後悔を与える。
論文 参考訳（メタデータ） (2026-09-29T18:34:43Z) - Sharp Oracle-Regret Tradeoffs for Projection-Free Online Convex Optimization [55.29259818039367]
我々は, オンライン凸最適化において, 実現可能な集合へのアクセスが正確な線形最適化オラクルに制限された場合に達成可能な後悔を特徴づける。
コンベックス$G$-Lipschitzの損失に対して、直径は最大$D$、合計$Q$オークルコールは$Q$、厳格な制限はラウンド当たり$B$である。
論文 参考訳（メタデータ） (2026-09-23T22:25:52Z) - Multiscale Reward Hedging from Correct Demonstrations [1.14219428942199]
既存の報酬ヘッジ保証は、有限報酬クラスを仮定する。
鍵となるのは、あらゆる精度の尺度で寛容な最適性テストよりも、ひとつの共有投票でヘッジすることです。
論文 参考訳（メタデータ） (2026-08-07T05:36:22Z) - Linear $Q$-Learning Does Not Diverge in $L^2$: Convergence Rates to a Bounded Set [34.129520133741124]
本稿では,線形$Q$-ラーニングイテレート(有界集合への)の最初の$L2$収束率をさらに確立する。
必要なのは、適応温度の$epsilon$-softmaxの行動ポリシーだけです。
論文 参考訳（メタデータ） (2025-01-31T16:10:50Z) - Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic
Shortest Path [80.60592344361073]
線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。
エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。
既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
論文 参考訳（メタデータ） (2024-02-14T07:52:00Z) - Causal Bandits for Linear Structural Equation Models [58.2875460517691]
本稿では,因果図形モデルにおける最適な介入順序を設計する問題について検討する。
グラフの構造は知られており、ノードは$N$である。
頻繁性(UCBベース)とベイズ的設定に2つのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-08-26T16:21:31Z) - Best Policy Identification in Linear MDPs [70.57916977441262]
縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。
複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
論文 参考訳（メタデータ） (2022-08-11T04:12:50Z) - Demographic Parity Constrained Minimax Optimal Regression under Linear
Model [13.824176915623292]
本モデルに基づく回帰問題の最小誤差は$Theta(fracdMn)$である。
ミニマックス誤差はモデルに存在するより大きなバイアスとともに増加することを示す。
論文 参考訳（メタデータ） (2022-06-23T08:44:32Z) - Towards Painless Policy Optimization for Constrained MDPs [46.12526917024248]
我々は、無限の地平線における政策最適化、$gamma$-discounted constrained Markov decision process (CMDP)について研究する。
我々の目標は、小さな制約違反で大きな期待された報酬を達成する政策を返却することである。
本稿では,任意のアルゴリズムに対して,報酬の準最適性と制約違反を拘束できる汎用的原始双対フレームワークを提案する。
論文 参考訳（メタデータ） (2022-04-11T15:08:09Z) - Variance-Aware Confidence Set: Variance-Dependent Bound for Linear
Bandits and Horizon-Free Bound for Linear Mixture MDP [76.94328400919836]
線形バンドイットと線形混合決定プロセス(mdp)に対する分散認識信頼セットの構築方法を示す。
線形バンドイットに対しては、$d を特徴次元とする$widetildeo(mathrmpoly(d)sqrt1 + sum_i=1ksigma_i2) が成り立つ。
線形混合 MDP に対し、$widetildeO(mathrmpoly(d)sqrtK)$ regret bound を得る。
論文 参考訳（メタデータ） (2021-01-29T18:57:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。