論文の概要: Preference Data Selection for Mitigating the Alignment Tax in Large Language Models

• arxiv url: http://arxiv.org/abs/2608.24192v1
• Date: Tue, 25 Aug 2026 07:58:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.864842
• Title: Preference Data Selection for Mitigating the Alignment Tax in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるアライメント税の緩和のための選好データ選択
• Abstract要約: BALIGNは、アライメント効率を最適化しながら破滅的な忘れを緩和するバランスのとれたデータ選択戦略である。 3つの重要なデータ中心の機能を統一された複合リスクスコアに集約することにより、BALIGNは、ハイリスクな選好サンプルを体系的にフィルタリングする。 標準的な人間の嗜好データセットの実験では、BALIGNはアライメントゲインを損なうことなく基礎的能力を強く保持している。
• 参考スコア（独自算出の注目度）: 52.18310687523229
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aligning large language models to human preferences is crucial for real-world deployment but frequently incurs an alignment tax, leading to the catastrophic forgetting of pre-trained general capabilities. While previous works primarily frame this problem as an optimization or architectural challenge, the inherent characteristics of preference data that drive this degradation remain largely underexplored. In this paper, we propose BALIGN, a balanced data selection strategy that explicitly mitigates catastrophic forgetting while optimizing alignment efficacy. Through theoretical and empirical analyses of the preference optimization gradient, we identify three key data-centric features that dictate parameter drift: the reference model's log-probability margin, the token length difference between chosen and rejected responses, and the TF-IDF similarity to general capability corpora. By aggregating these orthogonal features into a unified composite risk score, BALIGN systematically filters out high-risk preference samples that disrupt intrinsic model parameters or provide minimal alignment utility. Extensive experiments on standard human preference datasets demonstrate that BALIGN strongly preserves foundational capabilities without compromising alignment gains, consistently achieving the optimal Pareto frontier with minimal computational overhead.
• Abstract（参考訳）: 大きな言語モデルを人間の好みに合わせることは、現実世界の展開には不可欠だが、しばしばアライメント税を課すため、事前訓練された一般的な能力を壊滅的に忘れてしまう。 これまでの研究は、この問題を最適化やアーキテクチャ上の課題と見なしていたが、この劣化を駆動する嗜好データの本質的な特性は、いまだに未熟なままである。 本稿では、アライメント効率を最適化しつつ、破滅的な忘れを明示的に緩和するバランスデータ選択戦略であるBALIGNを提案する。 パラメータドリフトを規定する3つの重要なデータ中心的特徴として、参照モデルの対数確率マージン、選択された応答と拒否された応答のトークン長差、一般機能コーパスとのTF-IDF類似性を挙げる。 これらの直交的特徴を統一された複合リスクスコアに集約することにより、BALIGNは、本質的なモデルパラメータを乱したり、最小限のアライメントユーティリティを提供する、ハイリスクな選好サンプルを体系的にフィルタリングする。 標準的な人間の嗜好データセットに関する大規模な実験により、BALIGNはアライメントゲインを損なうことなく基礎的能力を強く保ち、計算オーバーヘッドを最小限に抑えた最適なParetoフロンティアを一貫して達成している。

関連論文リスト

• Unbiased Alignment for Large Language Models with Noisy Preferences [74.69408994904965]
  本稿では,Unbiased Reward Model(URM)損失とUnbiased Direct Preference Optimization(UDPO)損失を導入した非バイアスアライメントの理論的枠組みを提案する。 好み雑音によって引き起こされる歪みを数学的に補正することにより、我々の新しい目的はノイズの多いデータセットから直接バイアスのないモデルトレーニングを可能にする。
  論文  参考訳（メタデータ） (2026-07-03T12:04:43Z)
• Joint Model and Data Sparsification via the Marginal Likelihood [53.29070892356214]
  本稿では,個々の特徴とサンプルの相違点を同時学習し,同時にモデルとデータスペーシングを実現することを提案する。 このモデルとデータの対称的なプルーニングは、共役を保存する自然な拡張を提供する。 多様な回帰タスクにわたる経験的結果は、共同ARDアプローチがスパースモデルとロバスト予測モデルの両方を一貫して生成することを確認した。
  論文  参考訳（メタデータ） (2026-05-28T13:26:53Z)
• How Sampling Shapes LLM Alignment: From One-Shot Optima to Iterative Dynamics [65.67654005892469]
  適切なインスタンス依存サンプリングは、より強力なランキング保証を得られる一方で、スキュードオン政治サンプリングは、構造化された嗜好の下で過剰な濃度を誘導できることを示す。 次に、学習したポリシーが将来のサンプリングおよび参照ポリシーにフィードバックする反復的なアライメントダイナミクスを分析する。 我々の理論的な洞察は直接選好最適化にまで拡張され、我々が捉えた現象はより広範な選好アライメント手法に共通していることを示している。
  論文  参考訳（メタデータ） (2026-02-12T17:11:08Z)
• Robust Assortment Optimization from Observational Data [32.720761309403436]
  本稿では,顧客選択行動の分散的変化を考慮に入れた,データ駆動型アソシエーション最適化のためのフレームワークを提案する。 当社のアプローチは、データを生成し、最悪の予測収益を最大化しようとする名目選択モデルから、潜在的な選好シフトをモデル化する。
  論文  参考訳（メタデータ） (2026-02-11T09:57:16Z)
• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• Learning Correlated Reward Models: Statistical Barriers and Opportunities [39.27536879408937]
  本稿では,IIA仮定を避けたRUM学習における統計的・計算的課題について検討する。 ほぼ最適性能を持つ統計的・計算効率の高い推定器を考案する。 結果は、学習関連ユーティリティにおける高次嗜好データの利点を強調し、よりきめ細かい人間の嗜好のモデリングを可能にする。
  論文  参考訳（メタデータ） (2025-10-17T17:31:17Z)
• Beyond Single: A Data Selection Principle for LLM Alignment via Fine-Grained Preference Signals [46.58760908162995]
  本研究では,大規模言語モデルのための新しい理論的基盤データ選択法を提案する。 直接選好最適化目標の損失境界を解析することにより,この戦略の最適性を証明する。 我々の戦略は、標準的な全体主義的嗜好とより強い託宣の両方に対して、10%以上の相対的な改善を達成する。
  論文  参考訳（メタデータ） (2025-08-11T05:43:02Z)
• Intuitionistic Fuzzy Sets for Large Language Model Data Annotation: A Novel Approach to Side-by-Side Preference Labeling [0.0]
  本稿では,多言語モデル(LLM)における人間の嗜好をモデル化・集約するための直観的ファジィ集合(IFS)に基づく新しい枠組みを提案する。 我々のアプローチは、選好の度合いだけでなく、メンバーシップ、非メンバーシップ、およびヒューイテーションの度合いを通じて、人間の判断に固有の不確実性や偏見も捉えている。 複数のデータセットに対する実験的検証は、我々のIFSベースのアプローチがアノテーションの一貫性を大幅に改善し、アノテータの疲労を低減し、高品質な嗜好データを生成することを示した。
  論文  参考訳（メタデータ） (2025-05-30T04:20:00Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。