論文の概要: Selective Tie Learning: Mitigating Spurious Correlations in Preference Optimization

• arxiv url: http://arxiv.org/abs/2610.35787v1
• Date: Mon, 26 Oct 2026 17:26:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.127823
• Title: Selective Tie Learning: Mitigating Spurious Correlations in Preference Optimization
• Title（参考訳）: Selective Tie Learning: 選好最適化におけるスパーラス相関の緩和
• Abstract要約: 我々は,各ネクタイの影響を突発的依存に導出し,最大で予測される減算が1次最適であることを示す。 対数線形ポリシー、ニューラルモデル、および大規模言語モデル全体で、我々の選択規則は、一様選択よりも結びつきの少ない素早い依存度において、一貫して同等に減少する。
• 参考スコア（独自算出の注目度）: 7.233235686245656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preference optimization can learn spurious correlations, and augmenting the preference data with ties (equally preferred responses) can reduce spurious reliance. However, ties differ in their corrective effect, making their selection for augmentation important. For log-linear policies, we derive each tie's influence on spurious reliance and show that taking the largest predicted reductions is first-order optimal among subsets of equal size. Computing these influences requires knowledge of the spurious features and the curvature of the training objective, which is often unavailable or expensive to estimate. To this end, we explore using the magnitude of a tie's implicit reward margin and characterize the conditions under which it is a useful proxy for predicted influence. To test the theory and its qualitative transfer to neural models, we estimate influence with a counterfactual proxy for spurious reliance and use a generalized Gauss--Newton approximation to curvature for language models. Across log-linear policies, neural models, and large language models, our selection rules consistently achieve comparable reductions in spurious reliance with fewer ties than uniform selection.
• Abstract（参考訳）: 選好最適化は、刺激的な相関を学習し、関係(同様に望ましい応答)で選好データを増大させることで、刺激的な依存を減らすことができる。 しかし、関係は正当性が異なるため、増大のための選択が重要である。 対数線形ポリシーでは、各ネクタイがスプリアス依存に与える影響を導出し、最大で予測される削減は等サイズのサブセットの中で1次最適であることを示す。 これらの影響を計算するには、急激な特徴と訓練目標の曲率に関する知識が必要である。 そこで本研究では,ネクタイの暗黙の報酬マージンの大きさを用いて,それが予測される影響の指標となる条件を特徴付ける。 ニューラルモデルに対する理論とその定性的遷移をテストするため、反ファクト的プロキシを用いて影響を推定し、一般化されたガウス法を用いて、ニュートン近似を用いて言語モデルの曲率を推定する。 対数線形ポリシー、ニューラルモデル、および大規模言語モデル全体で、我々の選択規則は、一様選択よりも結びつきの少ない素早い依存度において、一貫して同等に減少する。

関連論文リスト

• Preference Data Selection for Mitigating the Alignment Tax in Large Language Models [52.18310687523229]
  BALIGNは、アライメント効率を最適化しながら破滅的な忘れを緩和するバランスのとれたデータ選択戦略である。 3つの重要なデータ中心の機能を統一された複合リスクスコアに集約することにより、BALIGNは、ハイリスクな選好サンプルを体系的にフィルタリングする。 標準的な人間の嗜好データセットの実験では、BALIGNはアライメントゲインを損なうことなく基礎的能力を強く保持している。
  論文  参考訳（メタデータ） (2026-08-25T07:58:42Z)
• Spurious Correlation Learning in Preference Optimization: Mechanisms, Consequences, and Mitigation via Tie Training [7.233235686245656]
  標準の嗜好学習は,2つのチャンネルを通じて,人口レベルでの素早い特徴に頼っていることを示す。 同じトレーニングディストリビューションからのより多くのデータは、スプリアス機能へのモデルの依存を減らすのに失敗する。 本稿では,データ駆動型正規化の導入にタイを用いたデータ拡張戦略であるタイトレーニングを提案する。
  論文  参考訳（メタデータ） (2026-05-11T18:41:12Z)
• Improving Group Robustness on Spurious Correlation via Evidential Alignment [26.544938760265136]
  ディープニューラルネットワークは、しばしば急激な相関、すなわち非因果的特徴と標的の間の表面的関連を学習し、依存する。 既存のメソッドは通常、外部のグループアノテーションや補助的な決定論的モデルを使用することでこの問題を軽減する。 偏りのあるモデルの振る舞いを理解するために不確実性定量化を利用する新しいフレームワークであるエビデンシャルアライメントを提案する。
  論文  参考訳（メタデータ） (2025-06-12T22:47:21Z)
• Model-Robust and Adaptive-Optimal Transfer Learning for Tackling Concept Shifts in Nonparametric Regression [7.243632426715939]
  本稿では、最適性を適応的に達成しつつ、モデルの誤特定に対して頑健な転写学習手順を提案する。 仮説伝達学習アルゴリズムの一般的なクラスにおいて、ガウス核を特定するための過剰リスクの適応収束率を導出する。
  論文  参考訳（メタデータ） (2025-01-18T20:33:37Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• Preference Learning Algorithms Do Not Learn Preference Rankings [62.335733662381884]
  選好学習は、好ましくない出力よりも、好ましくない出力により高い確率を割り当てるようにモデルを訓練する、という従来の知恵を考察する。 多くの最先端の選好調整モデルでは、一般的な選好データセットでは60%未満のランキング精度が得られている。
  論文  参考訳（メタデータ） (2024-05-29T21:29:44Z)
• A Two-Stage Feature Selection Approach for Robust Evaluation of Treatment Effects in High-Dimensional Observational Data [1.4710887888397084]
  我々は,OAENet(Outcome Adaptive Elastic Net)と呼ばれる新しい2段階特徴選択手法を提案する。 OAENetは、マッチング技術を用いて堅牢な因果推論決定を行うように設計されている。 シミュレーションデータに関する数値実験により、OAENetは最先端の手法を大きく上回っていることが示された。
  論文  参考訳（メタデータ） (2021-11-27T02:54:30Z)
• Correlation Robust Influence Maximization [5.508091917582913]
  本稿では,影響問題に対する分布的ロバストなモデルを提案する。 最悪の相関の下での期待される影響を最大化する種集合を求める。 この最悪の影響を効率的に計算できることが示される。
  論文  参考訳（メタデータ） (2020-10-24T04:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。