論文の概要: Efficient Alignment of Large Language Models via Data Sampling

• arxiv url: http://arxiv.org/abs/2411.10545v1
• Date: Fri, 15 Nov 2024 19:36:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:35:29.638393
• Title: Efficient Alignment of Large Language Models via Data Sampling
• Title（参考訳）: データサンプリングによる大規模言語モデルの効率的なアライメント
• Authors: Amrit Khera, Rajat Ghosh, Debojyoti Dutta,
• Abstract要約: 本稿では,少数の高品質サブセットを同定し,効率的なアライメントのための情報理論に基づく手法を提案する。 提案手法を用いたモデルでは,他のサンプリング手法よりも優れた性能を示し,全データセットに対応するモデルに匹敵する性能を示した。
• 参考スコア（独自算出の注目度）: 0.4915744683251149
• License:
• Abstract: LLM alignment ensures that large language models behave safely and effectively by aligning their outputs with human values, goals, and intentions. Aligning LLMs employ huge amounts of data, computation, and time. Moreover, curating data with human feedback is expensive and takes time. Recent research depicts the benefit of data engineering in the fine-tuning and pre-training paradigms to bring down such costs. However, alignment differs from the afore-mentioned paradigms and it is unclear if data efficient alignment is feasible. In this work, we first aim to understand how the performance of LLM alignment scales with data. We find out that LLM alignment performance follows an exponential plateau pattern which tapers off post a rapid initial increase. Based on this, we identify data subsampling as a viable method to reduce resources required for alignment. Further, we propose an information theory-based methodology for efficient alignment by identifying a small high quality subset thereby reducing the computation and time required by alignment. We evaluate the proposed methodology over multiple datasets and compare the results. We find that the model aligned using our proposed methodology outperforms other sampling methods and performs comparable to the model aligned with the full dataset while using less than 10% data, leading to greater than 90% savings in costs, resources, and faster LLM alignment.
• Abstract（参考訳）: LLMアライメントは、人間の価値、目標、意図とアウトプットを一致させることによって、大きな言語モデルが安全かつ効果的に振る舞うことを保証します。 LLMのアラインメントには大量のデータ、計算、時間がある。 さらに、人間のフィードバックでデータをキュレートするのは高価で時間がかかる。 最近の研究は、こうしたコストを下げるために、微調整と事前訓練のパラダイムにおけるデータエンジニアリングの利点を描いている。 しかし、アライメントは前述のパラダイムと異なり、データ効率のよいアライメントが可能かどうかは不明である。 本研究ではまず,LLMアライメントの性能がデータとともにどのようにスケールするかを理解することを目的とする。 LLMアライメント性能は指数的プラトーパターンに追随し, 急激な初期増加の後, テーパーオフすることがわかった。 これに基づいて、アライメントに必要なリソースを削減するために、データサブサンプリングを実行可能な方法として特定する。 さらに,少ない品質のサブセットを同定し,アライメントによる計算と時間を削減することで,アライメントを効率的に行う情報理論に基づく手法を提案する。 提案手法を複数のデータセット上で評価し,結果を比較した。 提案手法を併用したモデルは,他のサンプリング手法よりも優れ,10%未満のデータを使用しながら全データセットに適合するモデルに匹敵する性能を示し,コスト,リソース,高速なLCMアライメントの90%以上を節約した。

関連論文リスト

• Data Quality Control in Federated Instruction-tuning of Large Language Models [43.29678396558287]
  データ品質制御(FedDQC)を備えた大規模言語モデル(LLM)のフェデレーション・インストラクション・チューニングの新しいフレームワークを提案する。 提案手法では,各クライアントの命令応答アライメント(IRA)を評価するための効率的なメトリクスを導入し,単一ショット推論によるノイズの多いデータを同定する。 我々は4つの合成データセットと実世界のデータセットについて広範な実験を行い、この手法を集中的な設定から適応したベースラインと比較した。
  論文  参考訳（メタデータ） (2024-10-15T12:14:57Z)
• Value Alignment from Unstructured Text [32.9140028463247]
  構造化されていないテキストデータに表される暗黙的および明示的な値に,大規模言語モデル(LLM)を整合させる体系的なエンドツーエンド手法を提案する。 提案手法は、スケーラブルな合成データ生成技術を用いて、非構造化データに存在する値にモデルを効果的に整合させる。 提案手法は,LCMを文書内に埋め込まれた値に忠実に整合させ,他の手法に対する性能向上を示す。
  論文  参考訳（メタデータ） (2024-08-19T20:22:08Z)
• Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
  モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。 エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。 また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
  論文  参考訳（メタデータ） (2024-07-09T08:14:29Z)
• Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
  大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement [79.31084387589968]
  事前訓練された大規模言語モデル(LLM)は、現在、自然言語処理タスクの大部分を解決するための最先端技術である。 LLM2LLMは、教師のLLMを使って小さなシードデータセットを強化するデータ拡張戦略である。 GSM8Kデータセットでは最大24.2%、CaseHOLDでは32.6%、SNIPSでは32.0%、TRECでは52.6%、SST-2では39.8%の改善が達成された。
  論文  参考訳（メタデータ） (2024-03-22T08:57:07Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。