論文の概要: Towards Understanding Valuable Preference Data for Large Language Model Alignment

• arxiv url: http://arxiv.org/abs/2510.13212v1
• Date: Wed, 15 Oct 2025 06:57:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.534312
• Title: Towards Understanding Valuable Preference Data for Large Language Model Alignment
• Title（参考訳）: 大規模言語モデルアライメントのための有意義な選好データ理解に向けて
• Authors: Zizhuo Zhang, Qizhou Wang, Shanshan Ye, Jianing Zhu, Jiangchao Yao, Bo Han, Masashi Sugiyama,
• Abstract要約: 大規模言語モデル(LLM)のアライメントは通常、人間の好みの比較から学習することで達成される。 新たに提案したTruncated Influence Function (TIF) を用いた検証データに対する個人の影響によるデータ品質の評価を行う。 この目的のために、我々はそれらを組み合わせ、様々なエラーソースをオフセットし、単純だが効果的なデータ選択ルールをもたらす。
• 参考スコア（独自算出の注目度）: 85.38864561060088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) alignment is typically achieved through learning from human preference comparisons, making the quality of preference data critical to its success. Existing studies often pre-process raw training datasets to identify valuable preference pairs using external reward models or off-the-shelf LLMs, achieving improved overall performance but rarely examining whether individual, selected data point is genuinely beneficial. We assess data quality through individual influence on validation data using our newly proposed truncated influence function (TIF), which mitigates the over-scoring present in traditional measures and reveals that preference data quality is inherently a property of the model. In other words, a data pair that benefits one model may harm another. This leaves the need to improve the preference data selection approaches to be adapting to specific models. To this end, we introduce two candidate scoring functions (SFs) that are computationally simpler than TIF and positively correlated with it. They are also model dependent and can serve as potential indicators of individual data quality for preference data selection. Furthermore, we observe that these SFs inherently exhibit errors when compared to TIF. To this end, we combine them to offset their diverse error sources, resulting in a simple yet effective data selection rule that enables the models to achieve a more precise selection of valuable preference data. We conduct experiments across diverse alignment benchmarks and various LLM families, with results demonstrating that better alignment performance can be achieved using less data, showing the generality of our findings and new methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)のアライメントは通常、人間の嗜好比較から学習することで達成される。 既存の研究では、外部報酬モデルや既製のLLMを用いて、価値ある選好ペアを特定するために、しばしば事前処理された生のトレーニングデータセットが、全体的なパフォーマンスの向上を実現しているが、個々の選択されたデータポイントが真に有益かどうかを調べることは稀である。 提案したトラニカテッド・インフルエンス・関数 (TIF) を用いて, 個人の影響によるデータ品質の評価を行い, 従来の尺度におけるオーバースコアを緩和し, 嗜好データ品質が本質的にモデルの特性であることを明らかにした。 言い換えれば、あるモデルに利益をもたらすデータペアは、別のモデルに害を与える可能性がある。 これにより、特定のモデルに適応するための好みデータ選択アプローチを改善する必要がなくなる。 この目的のために,2つの候補スコアリング関数 (SF) を導入する。 また、モデルに依存しており、好みのデータ選択のための個々のデータ品質の潜在的な指標として機能する。 さらに,これらのSFは,TIFと比較して本質的にエラーを示す。 この目的のために、我々はこれらを組み合わせて様々なエラーソースをオフセットし、モデルがより正確な選好データ選択を行えるような、シンプルで効果的なデータ選択ルールを導出する。 各種アライメントベンチマークと各種LLMファミリーを対象とした実験を行い、より少ないデータでアライメント性能を向上できることを示した。

関連論文リスト

• Optimizing LLMs with Direct Preferences: A Data Efficiency Perspective [4.548047308860141]
  本研究では,異なる種類の嗜好データがモデル性能に与える影響について検討する。 収集に費用がかかる大量の好みデータへの依存を減らすことを目的としている。
  論文  参考訳（メタデータ） (2024-10-22T00:11:41Z)
• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment [72.99676237703099]
  大規模言語モデルと人間の嗜好の整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。