論文の概要: Unveiling the Impact of Coding Data Instruction Fine-Tuning on Large Language Models Reasoning

• arxiv url: http://arxiv.org/abs/2405.20535v1
• Date: Thu, 30 May 2024 23:20:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 15:55:52.690690
• Title: Unveiling the Impact of Coding Data Instruction Fine-Tuning on Large Language Models Reasoning
• Title（参考訳）: 大規模言語モデル推論における符号化データインストラクションファインタニングの影響の解明
• Authors: Xinlu Zhang, Zhiyu Zoey Chen, Xi Ye, Xianjun Yang, Lichang Chen, William Yang Wang, Linda Ruth Petzold,
• Abstract要約: Instruction Fine-Tuning (IFT) は事前訓練されたLarge Language Models (LLM) のゼロショット能力を著しく向上させる IFT段階におけるLLMの推論能力に及ぼす符号化データの影響について検討する。
• 参考スコア（独自算出の注目度）: 64.5243480989869
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Instruction Fine-Tuning (IFT) significantly enhances the zero-shot capabilities of pretrained Large Language Models (LLMs). While coding data is known to boost reasoning abilities during LLM pretraining, its role in activating internal reasoning capacities during IFT remains understudied. This paper investigates a key question: How does coding data impact LLMs' reasoning capacities during the IFT stage? To explore this, we thoroughly examine the impact of coding data across different coding data proportions, model families, sizes, and reasoning domains, from various perspectives. Specifically, we create three IFT datasets with increasing coding data proportions, fine-tune six LLM backbones across different families and scales on these datasets, evaluate the tuned models' performance across twelve tasks in three reasoning domains, and analyze the outcomes from three broad-to-granular perspectives: overall, domain-level, and task-specific. Our holistic analysis provides valuable insights in each perspective. First, coding data tuning enhances the overall reasoning capabilities of LLMs across different model families and scales. Moreover, the effect of coding data varies among different domains but shows consistent trends across model families and scales within each domain. Additionally, coding data generally yields comparable task-specific benefits across different model families, with the optimal coding data proportions in IFT datasets being task-specific.
• Abstract（参考訳）: Instruction Fine-Tuning (IFT) は、事前訓練されたLarge Language Models (LLM) のゼロショット能力を著しく向上させる。 コーディングデータは、LLMプレトレーニング中の推論能力を高めることが知られているが、IFT中の内部推論能力の活性化におけるその役割はいまだ検討されていない。 本稿では,コーディングデータがIFT段階におけるLLMの推論能力に与える影響について検討する。 これを検討するために、様々な観点から、異なる符号化データの割合、モデルファミリー、サイズ、推論領域における符号化データの影響を徹底的に調べる。 具体的には、コーディングデータの割合が増大する3つのIFTデータセットを作成し、異なるファミリーにまたがる6つのLDMバックボーンを微調整し、これらのデータセットに基づいて、12のタスク間で調整されたモデルのパフォーマンスを3つの推論領域で評価し、全体、ドメインレベル、タスク固有という3つの広義の視点から結果を分析する。 私たちの全体分析は、それぞれの観点で貴重な洞察を与えます。 第一に、コーディングデータチューニングは、異なるモデルファミリとスケールにわたるLLMの全体的な推論能力を高める。 さらに、コーディングデータの効果はドメインによって異なるが、モデルファミリ間の一貫性のある傾向と各ドメイン内のスケールを示している。 さらに、コーディングデータは通常、異なるモデルファミリ間で同等のタスク固有の利点をもたらし、IFTデータセットにおける最適なコーディングデータの割合はタスク固有のものである。

関連論文リスト

• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  大規模言語モデルにおける一般化と記憶の相互作用について検討する。 各種のオープンソースLLMとその事前学習コーパスを用いて、モデルのサイズが大きくなるにつれて、タスク関連$n$-gramのペアデータの重要性が増すのを観察する。 その結果,LLMの能力は,十分なタスク関連事前学習データによる記憶と一般化の微妙なバランスから生じるという仮説を支持した。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• Mixture-of-Skills: Learning to Optimize Data Usage for Fine-Tuning Large Language Models [45.51085356985464]
  大規模言語モデル(LLM)は、様々な起源から派生した多種多様なデータセットに基づいて微調整されるのが一般的である。 MoSは、微調整プロセス中に自動的にデータ使用量を最適化することを学ぶ。 MoSpecは、特定の目的のために様々なデータセットのユーティリティを利用する。
  論文  参考訳（メタデータ） (2024-06-13T05:01:28Z)
• Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
  大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。 本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。 生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
  論文  参考訳（メタデータ） (2024-03-14T08:18:59Z)
• Deciphering the Impact of Pretraining Data on Large Language Models through Machine Unlearning [45.96954837114004]
  大規模言語モデルの事前学習データの5つの主要なカテゴリから,48のデータセットが与える影響を系統的に分析した。 本研究は,LLMの性能に対する複数コーパスの寄与に関する実証的な結果を提供する。
  論文  参考訳（メタデータ） (2024-02-18T10:36:05Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Dynamics of Instruction Tuning: Each Ability of Large Language Models Has Its Own Growth Pace [21.015261553612643]
  10の能力にまたがる40k以上のデータセットを提示し、7bから33bのパラメータを持つ命令調整モデルについて検討する。 i) モデル全体の性能がデータとパラメータスケールに結びついているにもかかわらず、個々の能力はこれらの要因に対して異なる感性を持っている。 人為的なデータはGPT-4の合成データより効率が良く、容積の増加とともにモデル性能を常に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-30T15:37:10Z)
• How Abilities in Large Language Models are Affected by Supervised Fine-tuning Data Composition [64.86360698067764]
  本研究は, 教師付き微調整における数学的推論, コード生成, 一般人適応能力間のデータ合成の相互作用に着目した。 我々の実験では、異なる能力のスケールが異なり、より大きなモデルでは、通常、同じ量のデータで優れたパフォーマンスを示す。 その結果, 合成データの量は, 合成比よりも性能に影響を及ぼすことが示唆された。
  論文  参考訳（メタデータ） (2023-10-09T07:56:16Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。