論文の概要: Unveiling the Impact of Coding Data Instruction Fine-Tuning on Large Language Models Reasoning

• arxiv url: http://arxiv.org/abs/2405.20535v1
• Date: Thu, 30 May 2024 23:20:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 15:55:52.690690
• Title: Unveiling the Impact of Coding Data Instruction Fine-Tuning on Large Language Models Reasoning
• Title（参考訳）: 大規模言語モデル推論における符号化データインストラクションファインタニングの影響の解明
• Authors: Xinlu Zhang, Zhiyu Zoey Chen, Xi Ye, Xianjun Yang, Lichang Chen, William Yang Wang, Linda Ruth Petzold,
• Abstract要約: Instruction Fine-Tuning (IFT) は事前訓練されたLarge Language Models (LLM) のゼロショット能力を著しく向上させる IFT段階におけるLLMの推論能力に及ぼす符号化データの影響について検討する。
• 参考スコア（独自算出の注目度）: 64.5243480989869
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Instruction Fine-Tuning (IFT) significantly enhances the zero-shot capabilities of pretrained Large Language Models (LLMs). While coding data is known to boost reasoning abilities during LLM pretraining, its role in activating internal reasoning capacities during IFT remains understudied. This paper investigates a key question: How does coding data impact LLMs' reasoning capacities during the IFT stage? To explore this, we thoroughly examine the impact of coding data across different coding data proportions, model families, sizes, and reasoning domains, from various perspectives. Specifically, we create three IFT datasets with increasing coding data proportions, fine-tune six LLM backbones across different families and scales on these datasets, evaluate the tuned models' performance across twelve tasks in three reasoning domains, and analyze the outcomes from three broad-to-granular perspectives: overall, domain-level, and task-specific. Our holistic analysis provides valuable insights in each perspective. First, coding data tuning enhances the overall reasoning capabilities of LLMs across different model families and scales. Moreover, the effect of coding data varies among different domains but shows consistent trends across model families and scales within each domain. Additionally, coding data generally yields comparable task-specific benefits across different model families, with the optimal coding data proportions in IFT datasets being task-specific.
• Abstract（参考訳）: Instruction Fine-Tuning (IFT) は、事前訓練されたLarge Language Models (LLM) のゼロショット能力を著しく向上させる。 コーディングデータは、LLMプレトレーニング中の推論能力を高めることが知られているが、IFT中の内部推論能力の活性化におけるその役割はいまだ検討されていない。 本稿では,コーディングデータがIFT段階におけるLLMの推論能力に与える影響について検討する。 これを検討するために、様々な観点から、異なる符号化データの割合、モデルファミリー、サイズ、推論領域における符号化データの影響を徹底的に調べる。 具体的には、コーディングデータの割合が増大する3つのIFTデータセットを作成し、異なるファミリーにまたがる6つのLDMバックボーンを微調整し、これらのデータセットに基づいて、12のタスク間で調整されたモデルのパフォーマンスを3つの推論領域で評価し、全体、ドメインレベル、タスク固有という3つの広義の視点から結果を分析する。 私たちの全体分析は、それぞれの観点で貴重な洞察を与えます。 第一に、コーディングデータチューニングは、異なるモデルファミリとスケールにわたるLLMの全体的な推論能力を高める。 さらに、コーディングデータの効果はドメインによって異なるが、モデルファミリ間の一貫性のある傾向と各ドメイン内のスケールを示している。 さらに、コーディングデータは通常、異なるモデルファミリ間で同等のタスク固有の利点をもたらし、IFTデータセットにおける最適なコーディングデータの割合はタスク固有のものである。

関連論文リスト

• Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data [36.277423093218275]
  大規模言語モデル(LLM)の全体的な能力向上におけるデータ多様性の役割について検討する。 本稿では,LLMに2つのアイデンティティを与える新しい手法を提案する。多様性報酬に基づいてデータを認知的に探索し,選択する出力モデルと,選択したデータに調整する入力モデルである。
  論文  参考訳（メタデータ） (2025-02-05T17:21:01Z)
• Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
  我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。 データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。 本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T16:19:53Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• 60 Data Points are Sufficient to Fine-Tune LLMs for Question-Answering [50.12622877002846]
  大規模言語モデル(LLM)は、大量のデータセットの事前トレーニングを通じて、広範囲な世界の知識を符号化する。 我々は,事前学習したLLMが記憶する知識の量に基づいて,教師付き微調整(SFT)データを分類した。 実験の結果,SFTの段階では60個のデータポイントが事前学習中に符号化された知識を活性化することができ,LLMがQAタスクを実行できることがわかった。
  論文  参考訳（メタデータ） (2024-09-24T07:38:38Z)
• Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
  大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。 本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。 生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
  論文  参考訳（メタデータ） (2024-03-14T08:18:59Z)
• Deciphering the Impact of Pretraining Data on Large Language Models through Machine Unlearning [45.96954837114004]
  大規模言語モデルの事前学習データの5つの主要なカテゴリから,48のデータセットが与える影響を系統的に分析した。 本研究は,LLMの性能に対する複数コーパスの寄与に関する実証的な結果を提供する。
  論文  参考訳（メタデータ） (2024-02-18T10:36:05Z)
• Dynamics of Instruction Tuning: Each Ability of Large Language Models Has Its Own Growth Pace [21.015261553612643]
  10の能力にまたがる40k以上のデータセットを提示し、7bから33bのパラメータを持つ命令調整モデルについて検討する。 i) モデル全体の性能がデータとパラメータスケールに結びついているにもかかわらず、個々の能力はこれらの要因に対して異なる感性を持っている。 人為的なデータはGPT-4の合成データより効率が良く、容積の増加とともにモデル性能を常に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-30T15:37:10Z)
• How Abilities in Large Language Models are Affected by Supervised Fine-tuning Data Composition [64.86360698067764]
  本研究は, 教師付き微調整における数学的推論, コード生成, 一般人適応能力間のデータ合成の相互作用に着目した。 我々の実験では、異なる能力のスケールが異なり、より大きなモデルでは、通常、同じ量のデータで優れたパフォーマンスを示す。 その結果, 合成データの量は, 合成比よりも性能に影響を及ぼすことが示唆された。
  論文  参考訳（メタデータ） (2023-10-09T07:56:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。