論文の概要: R.I.P.: Better Models by Survival of the Fittest Prompts

• arxiv url: http://arxiv.org/abs/2501.18578v2
• Date: Wed, 26 Feb 2025 18:58:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:55:04.742936
• Title: R.I.P.: Better Models by Survival of the Fittest Prompts
• Title（参考訳）: R.I.P.:競争力の持続によるより良いモデル
• Authors: Ping Yu, Weizhe Yuan, Olga Golovneva, Tianhao Wu, Sainbayar Sukhbaatar, Jason Weston, Jing Xu,
• Abstract要約: 本稿では,低品質入力が高ばらつきと低品質応答をもたらすという仮定に基づいて,データの完全性を評価する手法を提案する。 これは、拒否された応答品質と、選択された選好対と拒否された選好対の間の報酬ギャップを測定することで達成される。
• 参考スコア（独自算出の注目度）: 51.2293437372642
• License:
• Abstract: Training data quality is one of the most important drivers of final model quality. In this work, we introduce a method for evaluating data integrity based on the assumption that low-quality input prompts result in high variance and low quality responses. This is achieved by measuring the rejected response quality and the reward gap between the chosen and rejected preference pair. Our method, Rejecting Instruction Preferences (RIP) can be used to filter prompts from existing training sets, or to make high quality synthetic datasets, yielding large performance gains across various benchmarks compared to unfiltered data. Using Llama 3.1-8B-Instruct, RIP improves AlpacaEval2 LC Win Rate by 9.4%, Arena-Hard by 8.7%, and WildBench by 9.9%. Using Llama 3.3-70B-Instruct, RIP improves Arena-Hard from 67.5 to 82.9, which is from 18th place to 6th overall in the leaderboard.
• Abstract（参考訳）: データ品質のトレーニングは、最終的なモデル品質の最も重要な要因のひとつです。 本研究では,低品質入力が高ばらつきと低品質応答をもたらすという仮定に基づいて,データの整合性を評価する手法を提案する。 これは、拒否された応答品質と、選択された選好対と拒否された選好対の間の報酬ギャップを測定することで達成される。 提案手法であるRejecting Instruction Preferences(RIP)は,既存のトレーニングセットからのプロンプトをフィルタリングしたり,高品質な合成データセットを作成するために使用することができる。 Llama 3.1-8B-Instructを使って、RIPはAlpacaEval2 LC Win Rateを9.4%改善し、Arena-Hardを8.7%改善し、WildBenchを9.9%改善した。 ラマ3.3-70B-インストラクションを使用して、RIPはアリーナ・ハードを67.5から82.9に改善し、これは総合18位から6位にランクインした。

関連論文リスト

• Clear Preferences Leave Traces: Reference Model-Guided Sampling for Preference Learning [59.11519451499754]
  直接選好最適化(DPO)は、言語モデルと人間の選好を整合させるデファクトアプローチとして登場した。 最近の研究によると、DPOの有効性はデータ品質のトレーニングに依存している。 基準モデル確率空間は,高品質なトレーニングサンプルを自然に検出する。
  論文  参考訳（メタデータ） (2025-01-25T07:21:50Z)
• Dr. SoW: Density Ratio of Strong-over-weak LLMs for Reducing the Cost of Human Annotation in Preference Tuning [15.776175440446414]
  本稿では,人間のアノテーションへの依存を解消するコスト効率の高い方法であるDr.SoW(Density Ratio of Strong over Weak)を紹介する。 Dr.SoW は報奨信号として、より整列した LLM と低整列の LLM の対数密度比を用いる。 Dr.SoWによるデータを用いたLlama-3-8B-インストラクタを選好する。
  論文  参考訳（メタデータ） (2024-11-04T18:54:39Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• Iterative Nash Policy Optimization: Aligning LLMs with General Preferences via No-Regret Learning [55.65738319966385]
  我々は、新しいオンラインアルゴリズム、反復的ナッシュポリシー最適化(INPO)を提案する。 従来の方法とは異なり、INPOは個々の応答に対する期待される勝利率を推定する必要性を回避している。 LLaMA-3-8BベースのSFTモデルで、INPOはAlpacaEval 2.0で42.6%、Arena-Hardで37.8%の勝利率を達成した。
  論文  参考訳（メタデータ） (2024-06-30T08:00:34Z)
• WildBench: Benchmarking LLMs with Challenging Tasks from Real Users in the Wild [57.272096543738336]
  WildBenchは、大規模言語モデル(LLM)のベンチマーク用に設計された自動評価フレームワークである。 WildBenchは、100万以上の人間チャットボットの会話ログから慎重に選択された1,024のタスクで構成されている。 We have developed two metrics, WB-Reward and WB-Score which are computeable using Advanced LLMs。
  論文  参考訳（メタデータ） (2024-06-07T09:15:44Z)
• SimPO: Simple Preference Optimization with a Reference-Free Reward [43.136307294076545]
  直接選好最適化 (DPO) は、広く使われているオフライン選好最適化アルゴリズムである。 我々はDPOに対するよりシンプルで効果的なアプローチであるSimPOを提案する。 SimPO は、応答長を大幅に増加させることなく、DPO を一貫して大幅に上回る。
  論文  参考訳（メタデータ） (2024-05-23T16:01:46Z)
• Towards a Competitive End-to-End Speech Recognition for CHiME-6 Dinner Party Transcription [73.66530509749305]
  本稿では,難しい場合であっても,ハイブリッドベースラインに近い性能を示すエンドツーエンドアプローチについて論じる。 CTC-Attention と RNN-Transducer のアプローチと RNN と Transformer のアーキテクチャを比較し,解析する。 RNN-Transducerをベースとしたベストエンド・ツー・エンドモデルでは、ビームサーチの改善とともに、LF-MMI TDNN-F CHiME-6 Challengeのベースラインよりも品質が3.8%向上した。
  論文  参考訳（メタデータ） (2020-04-22T19:08:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。