論文の概要: Unveiling the Impact of Coding Data Instruction Fine-Tuning on Large Language Models Reasoning

• arxiv url: http://arxiv.org/abs/2405.20535v2
• Date: Thu, 12 Dec 2024 18:45:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:30:11.044380
• Title: Unveiling the Impact of Coding Data Instruction Fine-Tuning on Large Language Models Reasoning
• Title（参考訳）: 大規模言語モデル推論における符号化データインストラクションファインタニングの影響の解明
• Authors: Xinlu Zhang, Zhiyu Zoey Chen, Xi Ye, Xianjun Yang, Lichang Chen, William Yang Wang, Linda Ruth Petzold,
• Abstract要約: コーディングデータは、事前訓練中に推論能力を高めることで知られています。 IFTにおける内的推論能力の活性化におけるその役割はいまだ検討されている。 IFT段階におけるLLMの推論能力に及ぼす符号化データの影響について検討する。
• 参考スコア（独自算出の注目度）: 64.5243480989869
• License:
• Abstract: Instruction Fine-Tuning (IFT) significantly enhances the zero-shot capabilities of pretrained Large Language Models (LLMs). While coding data is known to boost LLM reasoning abilities during pretraining, its role in activating internal reasoning capacities during IFT remains understudied. This paper investigates a key question: How does coding data impact LLMs' reasoning capacities during IFT stage? To explore this, we thoroughly examine the impact of coding data across different coding data proportions, model families, sizes, and reasoning domains, from various perspectives. Specifically, we create three IFT datasets with increasing coding data proportions, fine-tune six LLM backbones across different families and scales on these datasets, evaluate the tuned models' performance across twelve tasks in three reasoning domains, and analyze the outcomes from three broad-to-granular perspectives: overall, domain-level, and task-specific. Our holistic analysis provides valuable insights into each perspective. First, coding data tuning enhances the overall reasoning capabilities of LLMs across different model families and scales. Moreover, while the impact of coding data varies by domain, it shows consistent trends within each domain across different model families and scales. Additionally, coding data generally provides comparable task-specific benefits across model families, with optimal proportions in IFT datasets being task-dependent.
• Abstract（参考訳）: Instruction Fine-Tuning (IFT) は、事前訓練されたLarge Language Models (LLM) のゼロショット能力を著しく向上させる。 コーディングデータは、プレトレーニング中のLSM推論能力を高めることが知られているが、IFT中の内部推論能力の活性化におけるその役割はいまだ検討されていない。 本稿では,コーディングデータがIFT段階におけるLLMの推論能力に与える影響について検討する。 これを検討するために、様々な観点から、異なる符号化データの割合、モデルファミリー、サイズ、推論領域における符号化データの影響を徹底的に調べる。 具体的には、コーディングデータの割合が増大する3つのIFTデータセットを作成し、異なるファミリーにまたがる6つのLDMバックボーンを微調整し、これらのデータセットに基づいて、12のタスク間で調整されたモデルのパフォーマンスを3つの推論領域で評価し、全体、ドメインレベル、タスク固有という3つの広義の視点から結果を分析する。 私たちの総合分析は、それぞれの視点に貴重な洞察を与えます。 第一に、コーディングデータチューニングは、異なるモデルファミリとスケールにわたるLLMの全体的な推論能力を高める。 さらに、コーディングデータの影響はドメインによって異なるが、各ドメイン内のさまざまなモデルファミリとスケールの一貫性のある傾向を示す。 さらに、コーディングデータは一般的にモデルファミリに匹敵するタスク固有の利点を提供し、IFTデータセットの最適割合はタスク依存である。

関連論文リスト

• Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data [36.277423093218275]
  大規模言語モデル(LLM)の全体的な能力向上におけるデータ多様性の役割について検討する。 本稿では,LLMに2つのアイデンティティを与える新しい手法を提案する。多様性報酬に基づいてデータを認知的に探索し,選択する出力モデルと,選択したデータに調整する入力モデルである。
  論文  参考訳（メタデータ） (2025-02-05T17:21:01Z)
• Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
  我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。 データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。 本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T16:19:53Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• 60 Data Points are Sufficient to Fine-Tune LLMs for Question-Answering [50.12622877002846]
  大規模言語モデル(LLM)は、大量のデータセットの事前トレーニングを通じて、広範囲な世界の知識を符号化する。 我々は,事前学習したLLMが記憶する知識の量に基づいて,教師付き微調整(SFT)データを分類した。 実験の結果,SFTの段階では60個のデータポイントが事前学習中に符号化された知識を活性化することができ,LLMがQAタスクを実行できることがわかった。
  論文  参考訳（メタデータ） (2024-09-24T07:38:38Z)
• Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
  大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。 本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。 生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
  論文  参考訳（メタデータ） (2024-03-14T08:18:59Z)
• Deciphering the Impact of Pretraining Data on Large Language Models through Machine Unlearning [45.96954837114004]
  大規模言語モデルの事前学習データの5つの主要なカテゴリから,48のデータセットが与える影響を系統的に分析した。 本研究は,LLMの性能に対する複数コーパスの寄与に関する実証的な結果を提供する。
  論文  参考訳（メタデータ） (2024-02-18T10:36:05Z)
• Dynamics of Instruction Tuning: Each Ability of Large Language Models Has Its Own Growth Pace [21.015261553612643]
  10の能力にまたがる40k以上のデータセットを提示し、7bから33bのパラメータを持つ命令調整モデルについて検討する。 i) モデル全体の性能がデータとパラメータスケールに結びついているにもかかわらず、個々の能力はこれらの要因に対して異なる感性を持っている。 人為的なデータはGPT-4の合成データより効率が良く、容積の増加とともにモデル性能を常に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-30T15:37:10Z)
• How Abilities in Large Language Models are Affected by Supervised Fine-tuning Data Composition [64.86360698067764]
  本研究は, 教師付き微調整における数学的推論, コード生成, 一般人適応能力間のデータ合成の相互作用に着目した。 我々の実験では、異なる能力のスケールが異なり、より大きなモデルでは、通常、同じ量のデータで優れたパフォーマンスを示す。 その結果, 合成データの量は, 合成比よりも性能に影響を及ぼすことが示唆された。
  論文  参考訳（メタデータ） (2023-10-09T07:56:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。