論文の概要: In2Core: Leveraging Influence Functions for Coreset Selection in Instruction Finetuning of Large Language Models

• arxiv url: http://arxiv.org/abs/2408.03560v1
• Date: Wed, 7 Aug 2024 05:48:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 13:43:46.316793
• Title: In2Core: Leveraging Influence Functions for Coreset Selection in Instruction Finetuning of Large Language Models
• Title（参考訳）: In2Core:大規模言語モデルの命令微調整におけるコアセット選択に対する影響関数の活用
• Authors: Ayrton San Joaquin, Bin Wang, Zhengyuan Liu, Nicholas Asher, Brian Lim, Philippe Muller, Nancy Chen,
• Abstract要約: In2Coreアルゴリズムは,トレーニングモデルと評価サンプルの相関関係を解析し,コアセットを選択する。 LLMの微調整データにアルゴリズムを適用することで、トレーニングデータの50%で同様の性能を実現することができる。
• 参考スコア（独自算出の注目度）: 15.556992769226879
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite advancements, fine-tuning Large Language Models (LLMs) remains costly due to the extensive parameter count and substantial data requirements for model generalization. Accessibility to computing resources remains a barrier for the open-source community. To address this challenge, we propose the In2Core algorithm, which selects a coreset by analyzing the correlation between training and evaluation samples with a trained model. Notably, we assess the model's internal gradients to estimate this relationship, aiming to rank the contribution of each training point. To enhance efficiency, we propose an optimization to compute influence functions with a reduced number of layers while achieving similar accuracy. By applying our algorithm to instruction fine-tuning data of LLMs, we can achieve similar performance with just 50% of the training data. Meantime, using influence functions to analyze model coverage to certain testing samples could provide a reliable and interpretable signal on the training set's coverage of those test points.
• Abstract（参考訳）: 進歩にもかかわらず、モデル一般化のためのパラメータ数とかなりのデータ要求のため、微調整の大規模言語モデル(LLM)はコストがかかるままである。 コンピューティングリソースへのアクセシビリティは、オープンソースコミュニティにとって依然として障壁である。 この課題に対処するために、トレーニングと評価サンプルの相関関係を学習モデルを用いて解析し、コアセットを選択するIn2Coreアルゴリズムを提案する。 特に、モデルの内部勾配を評価して、各トレーニングポイントの貢献度をランク付けすることを目的として、この関係を推定する。 効率を向上させるために、同様の精度を達成しつつ、少ない層数で影響関数を計算する最適化を提案する。 LLMの微調整データにアルゴリズムを適用することで、トレーニングデータの50%で同様の性能を実現することができる。 時間の経過とともに、特定のテストサンプルに対するモデルカバレッジを分析するために影響関数を使用すると、これらのテストポイントのトレーニングセットのカバレッジに対する信頼性と解釈可能な信号が得られる。

関連論文リスト

• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Data Shapley in One Training Run [88.59484417202454]
  Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。 既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。 本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
  論文  参考訳（メタデータ） (2024-06-16T17:09:24Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Influence Scores at Scale for Efficient Language Data Sampling [3.072340427031969]
  影響スコア」は、データの重要なサブセットを特定するために使われる。 本稿では,言語分類タスクにおける影響スコアの適用性について検討する。
  論文  参考訳（メタデータ） (2023-11-27T20:19:22Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• An Analysis of Initial Training Strategies for Exemplar-Free Class-Incremental Learning [36.619804184427245]
  CIL(Class-Incremental Learning)は、データストリームから分類モデルを構築することを目的としている。 破滅的な忘れ物のため、過去のクラスの例を保存できない場合、CILは特に困難である。 大量のデータに対する自己管理的な方法で事前訓練されたモデルの使用は、最近勢いを増している。
  論文  参考訳（メタデータ） (2023-08-22T14:06:40Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Deep Learning with Multiple Data Set: A Weighted Goal Programming Approach [2.7393821783237184]
  大規模データ分析は、我々の社会でデータが増大するにつれて、指数的な速度で成長している。 ディープラーニングモデルはたくさんのリソースを必要とし、分散トレーニングが必要です。 本稿では,分散学習のためのマルチ基準アプローチを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:10:25Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Adaptive Name Entity Recognition under Highly Unbalanced Data [5.575448433529451]
  我々は,2方向LSTM (BI-LSTM) 上に積み重ねた条件付きランダムフィールド (CRF) 層からなるニューラルアーキテクチャについて実験を行った。 WeakクラスとStrongクラスを2つの異なるセットに分割し、各セットのパフォーマンスを最適化するために2つのBi-LSTM-CRFモデルを適切に設計するアドオン分類モデルを提案する。
  論文  参考訳（メタデータ） (2020-03-10T06:56:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。