論文の概要: On the Impact of Fine-Tuning on Chain-of-Thought Reasoning

• arxiv url: http://arxiv.org/abs/2411.15382v1
• Date: Fri, 22 Nov 2024 23:54:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:21:54.763909
• Title: On the Impact of Fine-Tuning on Chain-of-Thought Reasoning
• Title（参考訳）: ファインチューニングが思考の連鎖反応に及ぼす影響について
• Authors: Elita Lobo, Chirag Agarwal, Himabindu Lakkaraju,
• Abstract要約: 本研究では,大規模言語モデルの推論能力に及ぼす微調整の影響について検討した。 タスク固有の微調整が全体的な推論能力に与える影響、微調整がCoT推論性能に及ぼす影響、そしてCoT推論の忠実性に与える影響に関する疑問に対処する。
• 参考スコア（独自算出の注目度）: 26.11408084129897
• License:
• Abstract: Large language models have emerged as powerful tools for general intelligence, showcasing advanced natural language processing capabilities that find applications across diverse domains. Despite their impressive performance, recent studies have highlighted the potential for significant enhancements in LLMs' task-specific performance through fine-tuning strategies like Reinforcement Learning with Human Feedback (RLHF), supervised fine-tuning (SFT), and Quantized Low-Rank Adapters (Q-LoRA) method. However, previous works have shown that while fine-tuning offers significant performance gains, it also leads to challenges such as catastrophic forgetting and privacy and safety risks. To this end, there has been little to no work in \textit{understanding the impact of fine-tuning on the reasoning capabilities of LLMs}. Our research investigates the effect of fine-tuning on the reasoning abilities of LLMs, addressing critical questions regarding the impact of task-specific fine-tuning on overall reasoning capabilities, the influence of fine-tuning on Chain-of-Thought (CoT) reasoning performance, and the implications for the faithfulness of CoT reasonings. By exploring these dimensions, our study shows the impact of fine-tuning on LLM reasoning capabilities, where the faithfulness of CoT reasoning, on average across four datasets, decreases, highlighting potential shifts in internal mechanisms of the LLMs resulting from fine-tuning processes.
• Abstract（参考訳）: 大規模言語モデルは汎用インテリジェンスのための強力なツールとして登場し、多様なドメインにまたがるアプリケーションを見つける高度な自然言語処理能力を示している。 優れた性能にもかかわらず、最近の研究は、人間のフィードバックによる強化学習(RLHF)、教師付き微調整(SFT)、Q-LoRA(Quantized Low-Rank Adapters)といった微調整戦略によって、LLMのタスク固有性能が大幅に向上する可能性を強調している。 しかし、以前の研究では、微調整は大幅なパフォーマンス向上をもたらすが、破滅的な忘れ込みやプライバシーと安全性のリスクといった課題にもつながることが示されている。 この目的のために、LLMの推論能力に対する微調整の影響にもかかわらず、‘textit{understanding the impact of fine-tuning’には、ほとんど、ほとんど、あるいは全くの作業がなかった。 本研究は, 微調整がLCMの推論能力に及ぼす影響, タスク固有の微調整が全体の推論能力に与える影響, 微調整がCoT推論性能に及ぼす影響, およびCoT推論の忠実性に与える影響について検討する。 これらの次元を探索することにより、細調整がLLM推論能力に与える影響を示す。そこでは、CoT推論の忠実度が4つのデータセットに平均して減少し、微調整プロセスによるLCMの内部機構の変化の可能性を強調している。

関連論文リスト

• The LLM Effect: Are Humans Truly Using LLMs, or Are They Being Influenced By Them Instead? [60.01746782465275]
  大規模言語モデル(LLM)は、様々な分析タスクにおいて、人間のパフォーマンスに近い能力を示している。 本稿では,Human-LLMパートナーシップに着目した構造化ユーザスタディにより,特殊作業におけるLLMの効率と精度について検討する。
  論文  参考訳（メタデータ） (2024-10-07T02:30:18Z)
• Deconfounded Causality-aware Parameter-Efficient Fine-Tuning for Problem-Solving Improvement of LLMs [12.48241058167222]
  大規模言語モデル(LLM)は、人間の指示に基づいて様々なタスクに取り組む際に、顕著な効率性を示した。 しかし、数学や物理学の限界など、推論を必要とするタスクに苦しむことが研究によって明らかになっている。 このことは、LLMが組み込み知識を本当に理解しているか、それとも、コンテンツに対する真の理解なしにトークン分布を複製することを学ぶだけなのかという疑問を提起する。 モデルの推論能力を高めるために,新しいパラメータ効率細調整法であるDecon Causal Adaptation (DCA)を提案する。
  論文  参考訳（メタデータ） (2024-09-04T13:17:09Z)
• From Pre-training Corpora to Large Language Models: What Factors Influence LLM Performance in Causal Discovery Tasks? [51.42906577386907]
  本研究では,因果発見タスクにおけるLarge Language Models(LLM)の性能に影響を与える要因について検討する。 因果関係の頻度が高いことは、より良いモデル性能と相関し、トレーニング中に因果関係の情報に広範囲に暴露することで、因果関係の発見能力を高めることを示唆している。
  論文  参考訳（メタデータ） (2024-07-29T01:45:05Z)
• On the Hardness of Faithful Chain-of-Thought Reasoning in Large Language Models [25.029579061612456]
  大規模言語モデル(LLM)は、医療などの重要な領域における現実世界のアプリケーションにますます採用されている。 これらのモデルによって生成されたCoT(Chain-of-Thought)推論が、その基盤となる振る舞いを忠実に捉えることが重要である。
  論文  参考訳（メタデータ） (2024-06-15T13:16:44Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。 LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。 我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• Comprehensive Reassessment of Large-Scale Evaluation Outcomes in LLMs: A Multifaceted Statistical Approach [64.42462708687921]
  評価の結果、スケーリング、トレーニングタイプ、アーキテクチャなどの要因がLLMのパフォーマンスに大きな影響を与えていることが明らかになった。 本研究は, これらのLCMの徹底的な再検討に着手し, 現状評価手法における不整合性に着目した。 これには、ANOVA、Tukey HSDテスト、GAMM、クラスタリング技術などが含まれる。
  論文  参考訳（メタデータ） (2024-03-22T14:47:35Z)
• Large Language Models and Causal Inference in Collaboration: A Comprehensive Survey [46.4375135354838]
  因果推論は、自然言語処理(NLP)モデルの予測精度、公正性、堅牢性、説明可能性を高める可能性を示している。 生成型Large Language Models(LLM)の出現は、様々なNLPドメインに大きな影響を与えている。
  論文  参考訳（メタデータ） (2024-03-14T17:47:20Z)
• Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study [90.34226812493083]
  本研究の目的は,LLMを小言語モデルと区別する重要な特徴である現象能力に対する量子化の影響を検討することである。 実験により、これらの創発能力は4ビット量子化モデルに残っており、2ビットモデルは深刻な性能劣化に直面していることがわかった。 低ビットモデルの性能向上のために,(1) 部品(またはサブ構造)が量子化に敏感である場合の微視的影響解析,(2) モデル微視化による性能補償の2つの実験を行った。
  論文  参考訳（メタデータ） (2023-07-16T15:11:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。