論文の概要: Do Language Models Use Their Depth Efficiently?

• arxiv url: http://arxiv.org/abs/2505.13898v1
• Date: Tue, 20 May 2025 04:00:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.668541
• Title: Do Language Models Use Their Depth Efficiently?
• Title（参考訳）: 言語モデルはその深さを効果的に利用するか?
• Authors: Róbert Csordás, Christopher D. Manning, Christopher Potts,
• Abstract要約: Llama 3.1 および Qwen 3 モデルの残留ストリームを分析する。 後半のレイヤが前半のレイヤよりもはるかに少ないことが分かりました。 マルチホップタスクでは、モデルが深度を増してサブレサルを構成するという証拠が見つからない。
• 参考スコア（独自算出の注目度）: 53.56816097840505
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern LLMs are increasingly deep, and depth correlates with performance, albeit with diminishing returns. However, do these models use their depth efficiently? Do they compose more features to create higher-order computations that are impossible in shallow models, or do they merely spread the same kinds of computation out over more layers? To address these questions, we analyze the residual stream of the Llama 3.1 and Qwen 3 family of models. We find: First, comparing the output of the sublayers to the residual stream reveals that layers in the second half contribute much less than those in the first half, with a clear phase transition between the two halves. Second, skipping layers in the second half has a much smaller effect on future computations and output predictions. Third, for multihop tasks, we are unable to find evidence that models are using increased depth to compose subresults in examples involving many hops. Fourth, we seek to directly address whether deeper models are using their additional layers to perform new kinds of computation. To do this, we train linear maps from the residual stream of a shallow model to a deeper one. We find that layers with the same relative depth map best to each other, suggesting that the larger model simply spreads the same computations out over its many layers. All this evidence suggests that deeper models are not using their depth to learn new kinds of computation, but only using the greater depth to perform more fine-grained adjustments to the residual. This may help explain why increasing scale leads to diminishing returns for stacked Transformer architectures.
• Abstract（参考訳）: 現代のLLMはますます深くなり、深さはパフォーマンスと相関するが、リターンは減少する。 しかし、これらのモデルはその深さを効率的に利用するだろうか? 浅いモデルでは不可能な高次計算を生成するために、より多くの機能を構成するのか、あるいは、同じ種類の計算をより多くの層に分散させるだけなのか? これらの問題に対処するために、Llama 3.1 と Qwen 3 のモデルの残留ストリームを分析する。 まず、サブレイヤの出力と残留ストリームを比較すると、後半の層は前半の層よりもはるかに少なく、2つの半減期の間に明確な相転移があることが分かる。 第二に、後半の層をスキップすることは、将来の計算や出力予測にはるかに小さな影響を与える。 第三に、マルチホップタスクでは、モデルが多くのホップを含む例においてサブレサルを構成するために、より深度の高いモデルを使っているという証拠を見つけることができない。 第4に、より深いモデルが新たな種類の計算を行うために追加レイヤを使用しているかどうかを、直接的に検討する。 そこで我々は,浅層モデルの残留流から深部への線形写像を訓練する。 我々は、同じ相対深度マップを持つ層が互いに最もよく一致していることを発見し、より大きなモデルが単に同じ計算を多くの層に分散させることを示唆した。 これらの証拠は、深部モデルが新しい種類の計算を学習するために深部モデルを使用していないことを示唆している。 スケールの増加が、スタック化されたTransformerアーキテクチャのリターンを減少させる理由を説明するのに役立つかもしれない。

関連論文リスト

• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• Scale Propagation Network for Generalizable Depth Completion [16.733495588009184]
  入力から出力までのスケールを伝搬する新しいスケール伝搬正規化法(SP-Norm)を提案する。 また,SP-NormとConvNeXt V2のバックボーンをベースとした新しいネットワークアーキテクチャを開発した。 我々のモデルは、最先端の手法と比較して、高速かつ低メモリで常に最高の精度を達成している。
  論文  参考訳（メタデータ） (2024-10-24T03:53:06Z)
• Hopping Too Late: Exploring the Limitations of Large Language Models on Multi-Hop Queries [39.438904598467154]
  大規模言語モデル(LLM)が複雑な多段階問題をいかに解決するかを考察する。 潜在ステップが内部でどのように計算されるかを理解することは、全体的な計算を理解する上で鍵となる。 後層からの隠れ表現を以前の層にパッチバックする「バックパッチ」解析手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T16:44:13Z)
• Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。 そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。 スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
  論文  参考訳（メタデータ） (2024-05-06T16:03:32Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Parameter Efficient Deep Neural Networks with Bilinear Projections [16.628045837101237]
  本稿では、従来の全射影を双線形射影に置き換えることで、ディープニューラルネットワーク(DNN)のパラメータ冗長性問題に対処する。 入力ノードが$D$と出力ノードが$D$である完全接続層では、双線形プロジェクションを適用することで、モデル空間の複雑さが軽減される。 4つのベンチマークデータセットの実験では、提案された双線形プロジェクションをディープニューラルネットワークに適用すると、さらに高い精度が得られることが示されている。
  論文  参考訳（メタデータ） (2020-11-03T00:17:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。