論文の概要: What Happened in LLMs Layers when Trained for Fast vs. Slow Thinking: A Gradient Perspective

• arxiv url: http://arxiv.org/abs/2410.23743v1
• Date: Thu, 31 Oct 2024 08:58:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:03:43.562243
• Title: What Happened in LLMs Layers when Trained for Fast vs. Slow Thinking: A Gradient Perspective
• Title（参考訳）: 高速対スロー思考のためのLLM層で起こったこと:グラディエントな視点
• Authors: Ming Li, Yanhong Li, Tianyi Zhou,
• Abstract要約: 本研究では,大規模言語モデル(LLM)において,異なる応答と初期モデルを用いた学習において,異なるレイヤのトレーニングパターンについて検討する。 チェーン・オブ・シンクレット(CoT)のない高速思考は、遅い思考よりも大きな勾配と層間の勾配の差が大きくなることを示す。 本研究は, 汎用化可能なシステム2エージェント構築への道のりをたどる, その効率性と安定性に関する新たな知見を紹介する。
• 参考スコア（独自算出の注目度）: 24.953059568099622
• License:
• Abstract: What makes a difference in the post-training of LLMs? We investigate the training patterns of different layers in large language models (LLMs), through the lens of gradient, when training with different responses and initial models. We are specifically interested in how fast vs. slow thinking affects the layer-wise gradients, given the recent popularity of training LLMs on reasoning paths such as chain-of-thoughts (CoT) and process rewards. In our study, fast thinking without CoT leads to larger gradients and larger differences of gradients across layers than slow thinking (Detailed CoT), indicating the learning stability brought by the latter. Moreover, pre-trained LLMs are less affected by the instability of fast thinking than instruction-tuned LLMs. Additionally, we study whether the gradient patterns can reflect the correctness of responses when training different LLMs using slow vs. fast thinking paths. The results show that the gradients of slow thinking can distinguish correct and irrelevant reasoning paths. As a comparison, we conduct similar gradient analyses on non-reasoning knowledge learning tasks, on which, however, trivially increasing the response length does not lead to similar behaviors of slow thinking. Our study strengthens fundamental understandings of LLM training and sheds novel insights on its efficiency and stability, which pave the way towards building a generalizable System-2 agent. Our code, data, and gradient statistics can be found in: https://github.com/MingLiiii/Layer_Gradient.
• Abstract（参考訳）: LLMのポストトレーニングで何が違うのか? 本研究では,大規模言語モデル(LLM)における異なるレイヤのトレーニングパターンを,異なる応答と初期モデルを用いたトレーニングにおいて,勾配のレンズを通して検討する。 チェーン・オブ・ソート(CoT)やプロセス報酬といった推論パスにおけるLSMのトレーニングが最近人気になっていることを考えると、スロー思考が階層的な勾配にどれほど影響するかは特に興味があります。 本研究では,CoTを含まない高速思考は,遅い思考(詳細CoT)よりも階層間の勾配の差が大きく,後者がもたらす学習安定性を示す。 さらに、事前学習されたLLMは、指導訓練されたLLMよりも高速思考の不安定性の影響を受けない。 さらに,遅い思考経路と速い思考経路を用いた異なるLDMの学習において,勾配パターンが応答の正しさを反映できるかどうかを検討した。 その結果、遅い思考の勾配は正しい推論経路と無関係な推論経路を区別できることがわかった。 比較として,非推論的知識学習課題における同様の勾配解析を行うが,応答長の自明な増加は,スロー思考の類似した行動に繋がらない。 本研究は,LLMトレーニングの基本的な理解を深め,その効率性と安定性に関する新たな知見を隠蔽し,汎用化可能なSystem-2エージェント構築への道を開く。 私たちのコード、データ、勾配統計は、https://github.com/MingLiiii/Layer_Gradient.comで確認できます。

関連論文リスト

• Dynamic Uncertainty Ranking: Enhancing In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
  大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。 専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T03:42:17Z)
• Skipping Computations in Multimodal LLMs [63.29737699997859]
  本研究では,マルチモーダル大言語モデル(MLLM)における推論時の冗長性について検討する。 ブロック全体,FFN,自己保持層をスキップするなど,計算をスキップするさまざまな手法を提案する。 本研究は,推定時に大量の計算を回避できることを実証した。
  論文  参考訳（メタデータ） (2024-10-12T09:21:45Z)
• Not All LLM Reasoners Are Created Equal [58.236453890457476]
  小学校数学におけるLLMの解答能力の深さについて検討する。 既存の数式語問題に対して,それらの性能を併用して評価する。
  論文  参考訳（メタデータ） (2024-10-02T17:01:10Z)
• Investigating Layer Importance in Large Language Models [28.156622049937216]
  大規模言語モデル (LLM) は、テキストの理解と処理に際し、注目を集めている。 LLMの理解の欠如は、安全クリティカルなシナリオへの展開を妨げ、より良いモデルの開発を妨げる。 本研究は, LLMの基盤層を同定し, 今後の研究におけるその重要な役割を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-09-22T09:53:13Z)
• Can LLM be a Good Path Planner based on Prompt Engineering? Mitigating the Hallucination for Path Planning [2.313664320808389]
  本研究では、空間-関係変換とカリキュラムQ-Learning(S2RCQL)という革新的なモデルを提案する。 そこで我々は,Qラーニングに基づく経路計画アルゴリズムを設計し,文脈不整合の幻覚を緩和する。 プロンプトの補助情報として状態反応のQ-値を用いて,LLMの幻覚を補正する。
  論文  参考訳（メタデータ） (2024-08-23T16:02:54Z)
• Temporal Scaling Law for Large Language Models [24.12384260752973]
  本稿では,LLMの試験損失が,トレーニングステップのスケールアップとともにどのように進展するかを考察する,時間スケーリング法の概念を提案する。 テスト損失全体を粗い粒度でモデル化するのとは対照的に、私たちはそれを分解して、各トークン位置のきめ細かいテスト損失に飛び込みます。 動的双曲法則におけるパラメータの時間的パターンを研究することにより、より正確な時間的スケーリング法則を導出する。
  論文  参考訳（メタデータ） (2024-04-27T05:49:11Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• ShortGPT: Layers in Large Language Models are More Redundant Than You Expect [38.148626520751385]
  LLM(Large Language Models)の多くの層は高い類似性を示し、いくつかの層はネットワーク機能において無視できる役割を担っている。 レイヤ除去という,冗長なレイヤを直接削除する,簡単なプルーニング手法を提案する。 実験により,我々はShortGPT(ショートGPT)と呼ぶ手法を,モデルプルーニングにおける従来のSOTA(State-of-the-art)手法よりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2024-03-06T17:04:18Z)
• How Likely Do LLMs with CoT Mimic Human Reasoning? [31.86489714330338]
  CoT(Chain-of-Thought)は,Large Language Models(LLMs)から推論能力を引き出すための,有望なテクニックとして登場した。 本稿では,LLMの推論過程を人間と比較することにより,その基盤となるメカニズムを診断する。 実験により, LLMは因果連鎖から逸脱することが多く, 相関関係や潜在的な整合性誤差が生じることが判明した。
  論文  参考訳（メタデータ） (2024-02-25T10:13:04Z)
• Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs [67.38165028487242]
  そこで我々は,DSnoT(Dynamic Sparse No Training, 動的スパース・ノー・トレーニング)を導入した。 動的スパーストレーニングにインスパイアされたDSnoTは、密度とスパースLLM間の再構成誤差を最小限に抑える。 本稿は, LLMのスパースを, 効率的なトレーニング自由な方法で微調整し, 新たな会場をオープンして, LLMの空間性に大きな可能性を拡大する方法について, 新たな知見を提供する。
  論文  参考訳（メタデータ） (2023-10-13T07:38:52Z)
• Accelerated Convergence for Counterfactual Learning to Rank [65.63997193915257]
  IPS重み付き勾配を持つSGD手法の収束速度は、IPS重みによる大きなばらつきに悩まされることを示す。 本稿では,従来のIPS重み付け勾配降下法よりも優れた収束性を有する新しい学習アルゴリズムであるCounterSampleを提案する。 我々は、CounterSampleがより早く収束し、理論的な結果と経験的な結果とを補完することを証明する。
  論文  参考訳（メタデータ） (2020-05-21T12:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。