論文の概要: AlignDiff: Exploiting Model-Intrinsic Information for Better Preference Data Selection

• arxiv url: http://arxiv.org/abs/2609.05899v1
• Date: Sat, 05 Sep 2026 05:51:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.164766
• Title: AlignDiff: Exploiting Model-Intrinsic Information for Better Preference Data Selection
• Title（参考訳）: AlignDiff: 参照データ選択を改善するために、モデル固有の情報を爆発させる
• Abstract要約: 固有モデル信号によって駆動される嗜好データフィルタリングフレームワークであるAlignDiffを提案する。 AlpacaEval 2.0、Arena-Hard、MT-Benchベンチマークを評価した。 AlignDiffの有効性を検証するために包括的アブレーション研究を行っている。
• 参考スコア（独自算出の注目度）: 53.61691036434302
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Aligning large language models with human preferences remains a challenge, primarily due to the critical role of preference data quality in effective alignment. Existing datasets are frequently plagued by inherent noise and distribution shifts, which inherently limit model performance. To bridge this gap, we propose AlignDiff, a preference data filtering framework driven by intrinsic model signals. AlignDiff first identifies samples with clear preferences using both positive and inverse signals, then prioritizes the more challenging samples based on the average negative log-likelihood gap, encouraging the model to learn richer information from them. AlignDiff is evaluated on two widely used model families (LLaMA and Qwen) and three benchmarks widely adopted in the alignment community (AlpacaEval 2.0, Arena-Hard, and MT-Bench). Across all settings, it consistently outperforms seven strong baselines. We conduct comprehensive ablation studies to validate the effectiveness of AlignDiff, and further show that difficulty-based curriculum learning improves model performance.
• Abstract（参考訳）: 人間の好みを持つ大規模言語モデルをアライメントすることは、主に効果的なアライメントにおける嗜好データ品質の重要な役割のために、依然として課題である。 既存のデータセットは、本質的にモデルパフォーマンスを制限する固有のノイズや分散シフトに悩まされることが多い。 このギャップを埋めるために本研究では、固有モデル信号によって駆動される好みデータフィルタリングフレームワークであるAlignDiffを提案する。 AlignDiff氏はまず、正信号と逆信号の両方を使って明確な好みのサンプルを特定し、続いて、平均的な負のログのようなギャップに基づいて、より困難なサンプルを優先順位付けし、モデルがよりリッチな情報を学ぶように促す。 AlignDiffは、広く使われている2つのモデルファミリー(LLaMAとQwen)とアライメントコミュニティで広く採用されている3つのベンチマーク(AlpacaEval 2.0、Arena-Hard、MT-Bench)で評価されている。 すべての設定で、7つの強いベースラインを一貫して上回ります。 我々は、AlignDiffの有効性を検証するために包括的なアブレーション研究を行い、さらに難易度に基づくカリキュラム学習がモデル性能を向上させることを示す。

関連論文リスト

• Preference Data Selection for Mitigating the Alignment Tax in Large Language Models [52.18310687523229]
  BALIGNは、アライメント効率を最適化しながら破滅的な忘れを緩和するバランスのとれたデータ選択戦略である。 3つの重要なデータ中心の機能を統一された複合リスクスコアに集約することにより、BALIGNは、ハイリスクな選好サンプルを体系的にフィルタリングする。 標準的な人間の嗜好データセットの実験では、BALIGNはアライメントゲインを損なうことなく基礎的能力を強く保持している。
  論文  参考訳（メタデータ） (2026-08-25T07:58:42Z)
• Large Language Model for Discrete Optimization Problems: Evaluation and Step-by-step Reasoning [14.271411751541871]
  本研究は,Llama-3シリーズやCHATGPTなど,自然言語データセットのテストによる離散最適化問題の解法における表現形式の違いなど,さまざまなモデルの能力について検討した。 本研究の目的は,(1)大規模問題におけるLCMの能力の概要,(2)離散最適化問題を自動的に解きたい人に提案すること,(3)今後の研究のベンチマークとして評価することである。
  論文  参考訳（メタデータ） (2026-03-08T17:02:44Z)
• Towards Understanding Valuable Preference Data for Large Language Model Alignment [85.38864561060088]
  大規模言語モデル(LLM)のアライメントは通常、人間の好みの比較から学習することで達成される。 新たに提案したTruncated Influence Function (TIF) を用いた検証データに対する個人の影響によるデータ品質の評価を行う。 この目的のために、我々はそれらを組み合わせ、様々なエラーソースをオフセットし、単純だが効果的なデータ選択ルールをもたらす。
  論文  参考訳（メタデータ） (2025-10-15T06:57:55Z)
• Anyprefer: An Agentic Framework for Preference Data Synthesis [62.3856754548222]
  ターゲットモデルを調整するための高品質な嗜好データを合成するフレームワークであるAnypreferを提案する。 審査員モデルの応答を正確に評価するために、外部ツールが導入される。 合成されたデータは、58Kの高品質な選好ペアからなる新しい選好データセットであるAnyprefer-V1にコンパイルされる。
  論文  参考訳（メタデータ） (2025-04-27T15:21:59Z)
• DONOD: Efficient and Generalizable Instruction Fine-Tuning for LLMs via Model-Intrinsic Dataset Pruning [22.704995231753397]
  大規模言語モデル(LLM)のアドホック命令の微調整は、ドメイン固有の適応に広く採用されている。 本研究では,軽量なモデル固有データ解析手法であるDONODを提案する。 データセット全体の70%をフィルタリングすることで、ターゲットドメインの精度を14.90%、クロスドメインの精度を5.67%向上させる。
  論文  参考訳（メタデータ） (2025-04-21T02:25:03Z)
• Optimizing LLMs with Direct Preferences: A Data Efficiency Perspective [4.548047308860141]
  本研究では,異なる種類の嗜好データがモデル性能に与える影響について検討する。 収集に費用がかかる大量の好みデータへの依存を減らすことを目的としている。
  論文  参考訳（メタデータ） (2024-10-22T00:11:41Z)
• 3DS: Medical Domain Adaptation of LLMs via Decomposed Difficulty-based Data Selection [27.922627457625477]
  大きな言語モデルは一般的なタスクでは優れていますが、医療のような専門分野では苦労しています。 2段階モデル中心のデータ選択フレームワークDe Difficulty Data Selection (3DS)を提案する。 実世界の医療データセットに関する我々の実験は、既存の方法よりも5.29%以上の精度で3DSの方が優れていることを示した。
  論文  参考訳（メタデータ） (2024-10-13T02:29:00Z)
• Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment [72.99676237703099]
  大規模言語モデルと人間の嗜好の整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• Decomposed Adversarial Learned Inference [118.27187231452852]
  我々は,DALI(Decomposed Adversarial Learned Inference)という新しいアプローチを提案する。 DALIは、データ空間とコード空間の両方の事前および条件分布を明示的に一致させる。 MNIST, CIFAR-10, CelebAデータセットにおけるDALIの有効性を検証する。
  論文  参考訳（メタデータ） (2020-04-21T20:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。