論文の概要: AIR: A Systematic Analysis of Annotations, Instructions, and Response Pairs in Preference Dataset

• arxiv url: http://arxiv.org/abs/2504.03612v1
• Date: Fri, 04 Apr 2025 17:33:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:48:31.096519
• Title: AIR: A Systematic Analysis of Annotations, Instructions, and Response Pairs in Preference Dataset
• Title（参考訳）: AIR: 優先度データセットにおけるアノテーション、指示、反応ペアの体系的分析
• Authors: Bingxiang He, Wenbin Zhang, Jiaxi Song, Cheng Qian, Zixuan Fu, Bowen Sun, Ning Ding, Haiwen Hong, Longtao Huang, Hui Xue, Ganqu Cui, Wanxiang Che, Zhiyuan Liu, Maosong Sun,
• Abstract要約: 嗜好学習は、大きな言語モデルと人間の価値の整合に不可欠である。 私たちの作業は、好みのデータセット設計をアドホックなスケーリングからコンポーネント対応の最適化にシフトします。
• 参考スコア（独自算出の注目度）: 95.45316956434608
• License:
• Abstract: Preference learning is critical for aligning large language models (LLMs) with human values, yet its success hinges on high-quality datasets comprising three core components: Preference \textbf{A}nnotations, \textbf{I}nstructions, and \textbf{R}esponse Pairs. Current approaches conflate these components, obscuring their individual impacts and hindering systematic optimization. In this work, we propose \textbf{AIR}, a component-wise analysis framework that systematically isolates and optimizes each component while evaluating their synergistic effects. Through rigorous experimentation, AIR reveals actionable principles: annotation simplicity (point-wise generative scoring), instruction inference stability (variance-based filtering across LLMs), and response pair quality (moderate margins + high absolute scores). When combined, these principles yield +5.3 average gains over baseline method, even with only 14k high-quality pairs. Our work shifts preference dataset design from ad hoc scaling to component-aware optimization, offering a blueprint for efficient, reproducible alignment.
• Abstract（参考訳）: 優先度学習は、大きな言語モデル(LLM)を人間の値と整合させる上で重要であるが、その成功は、Preference \textbf{A}nnotations, \textbf{I}nstructions, \textbf{R}esponse Pairsという3つのコアコンポーネントからなる高品質なデータセットに依存している。 現在のアプローチでは、これらのコンポーネントを分割し、個々の影響を隠蔽し、体系的な最適化を妨げる。 本研究では,各コンポーネントを系統的に分離・最適化し,その相乗効果を評価したコンポーネント分析フレームワークである‘textbf{AIR}’を提案する。 厳密な実験を通じてAIRは、アノテーションの単純さ(ポイントワイズ生成スコア)、命令推論の安定性(LSM間の分散ベースのフィルタリング)、レスポンスペアの品質(モデレートマージン+高い絶対スコア)といった実行可能な原則を明らかにします。 これらの原理を組み合わせると、ベースライン法よりも平均利得が5.3となり、高品質なペアはわずか14kである。 私たちの作業は、好みのデータセット設計をアドホックなスケーリングからコンポーネント対応の最適化にシフトさせ、効率的で再現可能なアライメントのための青写真を提供します。

関連論文リスト

• TD3: Tucker Decomposition Based Dataset Distillation Method for Sequential Recommendation [50.23504065567638]
  本稿では,メタラーニングフレームワークにおける textbfDataset textbfDistillation 手法である textbfTD3 を紹介する。 TD3は、オリジナルのデータから完全に表現力のある合成配列の要約を蒸留する。 拡張技術により、学習者は合成要約を忠実に適合させ、アンプループでの正確な更新を確実にすることができる。
  論文  参考訳（メタデータ） (2025-02-05T03:13:25Z)
• Iterative Feature Space Optimization through Incremental Adaptive Evaluation [30.404285897464256]
  反復的特徴空間最適化は、下流タスクのパフォーマンスを改善するために、機能空間を体系的に評価し、調整する。 現存する作品には3つの限界がある。 データサンプルの違いを見渡すと 評価バイアスが発生します 特定の機械学習モデルに特徴空間を合わせると、過度に適合し、一般化が不十分になる。 本稿では, 最適かつ一般化された特徴空間を効率よく生成する, gEneralized Adaptive Feature Space Evaluatorを提案する。
  論文  参考訳（メタデータ） (2025-01-24T19:24:20Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Anchored Preference Optimization and Contrastive Revisions: Addressing Underspecification in Alignment [57.03947082589616]
  大規模言語モデル(LLM)は、しばしばコントラスト的なアライメント目標と選好ペアデータセットを使用してアライメントされる。 これについて検討し、基礎となる応答が対照的な場合、嗜好データがより良い学習信号を与えることを示した。 我々は、よりコントラスト的な選好ペアを生み出すデータ生成手法である、AI Revisions (CLAIR) からのコントラスト学習を紹介する。 我々の最良のモデルは、APOで32K CLAIRの選好に基づいて訓練され、Llama-3-8B-Instructを7.65%改善し、GPT4-turboとのギャップを45%短縮しました。
  論文  参考訳（メタデータ） (2024-08-12T16:24:51Z)
• Interpretable Triplet Importance for Personalized Ranking [5.409302364904161]
  本稿では,3重項の重要度を解釈可能な方法で測定するための形状的価値に基づく手法を提案する。 我々のモデルは一貫して最先端の手法より優れています。
  論文  参考訳（メタデータ） (2024-07-28T11:46:55Z)
• Deep Content Understanding Toward Entity and Aspect Target Sentiment Analysis on Foundation Models [0.8602553195689513]
  Entity-Aspect Sentiment Triplet extract (EASTE)は、Aspect-Based Sentiment Analysisタスクである。 本研究は,EASTEタスクにおける高性能化を目標とし,モデルサイズ,タイプ,適応技術がタスクパフォーマンスに与える影響について検討する。 最終的には、複雑な感情分析における詳細な洞察と最先端の成果を提供する。
  論文  参考訳（メタデータ） (2024-07-04T16:48:14Z)
• Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment [72.99676237703099]
  大規模言語モデルと人間の嗜好の整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Offline Regularised Reinforcement Learning for Large Language Models Alignment [33.483481840098925]
  我々はフレームワークと関連するアルゴリズムとしてDRO(emphDirect RewardOptimization)を提案する。 DROは、様々な方法で実装できる単純な平均2乗の目的を使用する。
  論文  参考訳（メタデータ） (2024-05-29T14:11:29Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。