論文の概要: DavIR: Data Selection via Implicit Reward for Large Language Models

• arxiv url: http://arxiv.org/abs/2310.13008v2
• Date: Thu, 19 Dec 2024 02:54:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:28:59.951258
• Title: DavIR: Data Selection via Implicit Reward for Large Language Models
• Title（参考訳）: DavIR:大規模言語モデルのためのインプシット・リワードによるデータ選択
• Authors: Haotian Zhou, Tingkai Liu, Qianli Ma, Yufeng Zhang, Jianbo Yuan, Pengfei Liu, Yang You, Hongxia Yang,
• Abstract要約: DavIRは、学習後の大規模言語モデルのためのモデルベースのデータ選択手法である。 DavIRで選択したAlpacaデータセットの6%は、LLaMAモデルとGemmaモデルの両方を操り、フル52Kデータセットでトレーニングされたモデルと比較すると、優れたパフォーマンスが得られる。
• 参考スコア（独自算出の注目度）: 62.59514469369608
• License:
• Abstract: We introduce DavIR, a model-based data selection method for post-training Large Language Models. DavIR generalizes Reducible Holdout Loss to core-set selection problem of causal language modeling, and quantifies the learnability of a given datum with respect to a pre-trained LLM based on relative reduction in loss during fine-tuning, a metric we show to be closely related to the implicit reward model described in Direct Preference Optimization (DPO). We show that 6% of Alpaca dataset selected with DavIR can steer both the LLaMA and Gemma model family to produce superior performance compared to the same models trained on the full 52K dataset. We also show that Alpaca dataset compressed with DavIR can be combined with GSM8K dataset to effectively balance open-domain freeform QA and mathematical reasoning capabilities. Finally, we apply the DavIR objective to DPO and develop a normalized DavIR-DPO objective which improves alignment performance of Zephyr-7B-SFT model by 8% (relative) on AlpacaEval, compared against training on vanilla DPO objective.
• Abstract（参考訳）: DavIRは,学習後の大規模言語モデルのためのモデルベースデータ選択手法である。 DavIRは、因果言語モデリングのコアセット選択問題に還元性ホールドアウト損失を一般化し、微調整中の損失の相対的減少に基づいて、与えられたダムの学習可能性を定量化し、直接選好最適化(DPO)で記述された暗黙の報酬モデルと密接に関連していることを示す。 DavIRで選択したAlpacaデータセットの6%は、LLaMAモデルとGemmaモデルの両方を操り、フル52Kデータセットでトレーニングされたモデルと比較すると、優れたパフォーマンスが得られる。 また、DavIRで圧縮されたAlpacaデータセットをGSM8Kデータセットと組み合わせることで、オープンドメイン自由形式QAと数学的推論能力を効果的にバランスできることを示す。 最後に、DavIR目標をDPOに適用し、Zephyr-7B-SFTモデルのAlpacaEvalでのアライメント性能を8%向上させる正規化DavIR-DPO目標を開発する。

関連論文リスト

• Multimodal Preference Data Synthetic Alignment with Reward Model [23.978820500281213]
  本稿では,DPOトレーニングによる効果的なマルチモーダルアライメントのための人選好のプロキシとして,報酬モデルを用いて合成データを生成する新しいフレームワークを提案する。 実験結果から、生成モデルや報酬モデルのような選択された合成データの統合は、人手による注釈付きデータへの依存を効果的に軽減できることが示された。
  論文  参考訳（メタデータ） (2024-12-23T09:29:40Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs [54.05511925104712]
  本稿では,Step-DPOと呼ばれるシンプルで効果的でデータ効率のよい手法を提案する。 Step-DPOは、個々の推論ステップを、論理的に回答を評価するのではなく、優先最適化の単位として扱う。 以上の結果から,70B パラメータ以上のモデルでは,10K の選好データペアと500 Step-DPO トレーニングステップ以下では,MATH の精度が約3%向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-26T17:43:06Z)
• Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
  大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Smaug: Fixing Failure Modes of Preference Optimisation with DPO-Positive [15.066029556877721]
  理論上、標準的なDPO損失は、モデルが好むサンプルの可能性を減少させる可能性があることを示す。 DPO-Positive (DPOP) は,この障害モードを回避する新しい損失関数とトレーニング手順である。 意外なことに、DPOPはさまざまなデータセットや下流タスクでDPOやその他の微調整手順より優れています。
  論文  参考訳（メタデータ） (2024-02-20T18:42:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。