論文の概要: On Training Data Influence of GPT Models

• arxiv url: http://arxiv.org/abs/2404.07840v2
• Date: Tue, 16 Apr 2024 10:05:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 13:47:44.602133
• Title: On Training Data Influence of GPT Models
• Title（参考訳）: GPTモデルの学習データへの影響について
• Authors: Qingyi Liu, Yekun Chai, Shuohuan Wang, Yu Sun, Qiwei Peng, Keze Wang, Hua Wu,
• Abstract要約: GPTfluenceは、トレーニング例がGPTモデルのトレーニングダイナミクスに与える影響を評価するための新しいアプローチである。 我々のアプローチは、個々のトレーニングインスタンスが、目標とするテストポイントに対する損失やその他の重要な指標などのパフォーマンストラジェクトリに与える影響をトレースする。
• 参考スコア（独自算出の注目度）: 43.42344710422396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Amidst the rapid advancements in generative language models, the investigation of how training data shapes the performance of GPT models is still emerging. This paper presents GPTfluence, a novel approach that leverages a featurized simulation to assess the impact of training examples on the training dynamics of GPT models. Our approach not only traces the influence of individual training instances on performance trajectories, such as loss and other key metrics, on targeted test points but also enables a comprehensive comparison with existing methods across various training scenarios in GPT models, ranging from 14 million to 2.8 billion parameters, across a range of downstream tasks. Contrary to earlier methods that struggle with generalization to new data, GPTfluence introduces a parameterized simulation of training dynamics, demonstrating robust generalization capabilities to unseen training data. This adaptability is evident across both fine-tuning and instruction-tuning scenarios, spanning tasks in natural language understanding and generation. We will make our code and data publicly available.
• Abstract（参考訳）: 生成言語モデルの急速な進歩の中で、トレーニングデータがどのようにGPTモデルの性能を形作るかの研究が、いまだに進んでいる。 本稿では, GPTモデルのトレーニング力学に及ぼすトレーニング例の影響を評価するために, 模擬シミュレーションを利用した新しい手法である GPTfluenceを提案する。 我々のアプローチは、個々のトレーニングインスタンスが、目標とするテストポイントにおける損失やその他の重要な指標などのパフォーマンストラジェクトリに与える影響をトレースするだけでなく、GPTモデルにおける様々なトレーニングシナリオにわたる既存のメソッドと、ダウンストリームタスクの範囲で1400万から280億のパラメータを網羅的に比較することを可能にする。 GPTfluenceは、新しいデータへの一般化に苦慮する以前の手法とは対照的に、トレーニングダイナミクスのパラメータ化シミュレーションを導入し、目に見えないトレーニングデータに対して堅牢な一般化能力を実証している。 この適応性は、自然言語の理解と生成におけるタスクにまたがる、微調整と命令調整の両方のシナリオで明らかである。 コードとデータを公開します。

関連論文リスト

• Analyzing Persuasive Strategies in Meme Texts: A Fusion of Language Models with Paraphrase Enrichment [0.23020018305241333]
  本稿では,ミームテキストにおける説得手法の階層的マルチラベル検出へのアプローチについて述べる。 本研究の範囲は、革新的なトレーニング技術とデータ強化戦略を通じて、モデルパフォーマンスの向上を含む。
  論文  参考訳（メタデータ） (2024-07-01T20:25:20Z)
• The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis [60.52921835351632]
  本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。 特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。 コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
  論文  参考訳（メタデータ） (2024-04-01T16:00:01Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Tackling Interference Induced by Data Training Loops in A/B Tests: A Weighted Training Approach [6.028247638616059]
  重み付けトレーニングと呼ばれる新しいアプローチを導入する。 このアプローチでは、治療データと制御データの両方に現れる各データポイントの確率を予測するために、モデルをトレーニングする必要がある。 本手法は, トレーニング分布の変化を起こさない全ての推定器において, 最小分散を達成できることを実証する。
  論文  参考訳（メタデータ） (2023-10-26T15:52:34Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Exploring the Impact of Instruction Data Scaling on Large Language Models: An Empirical Study on Real-World Use Cases [17.431381376675432]
  本稿では,命令データのスケールの異なる命令データに対して,命令チューニングに基づく大規模言語モデルの性能について検討する。 ベースモデルとしてBloomz-7B1-mtを用いると、命令データの量を増やすだけで、オープン・エンド・ジェネレーションのようなタスクが継続的に改善されることが示される。 本稿では,高品質なトレーニングデータ,スケールベースモデル,ハードタスクに特化したトレーニング手法を効果的に選択する,といった将来的な研究方向を提案する。
  論文  参考訳（メタデータ） (2023-03-26T14:49:37Z)
• Simfluence: Modeling the Influence of Individual Training Examples by Simulating Training Runs [27.314239745883967]
  トレーニングデータ属性(TDA)メソッドは、任意の例に対するモデルの予測を、特定の影響力のあるトレーニング例に遡る。 そこで本研究では,TDAの新しいパラダイムであるSimfluenceを提案する。 シムフルエンスは非付加的な相互作用を捉え、個々の損失のスパイクな軌道を驚くほどの忠実さで予測することができる。
  論文  参考訳（メタデータ） (2023-03-14T17:47:25Z)
• Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification [59.698811329287174]
  我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。 実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-11-17T12:10:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。