論文の概要: Demystifying the Roles of LLM Layers in Retrieval, Knowledge, and Reasoning

• arxiv url: http://arxiv.org/abs/2510.02091v1
• Date: Thu, 02 Oct 2025 14:57:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:21.173534
• Title: Demystifying the Roles of LLM Layers in Retrieval, Knowledge, and Reasoning
• Title（参考訳）: 検索・知識・推論におけるLCM層の役割の解明
• Authors: Xinyuan Song, Keyu Wang, PengXiang Li, Lu Yin, Shiwei Liu,
• Abstract要約: 研究によると、LLM(Large Language Models)の深い層は、学習の表現にはほとんど寄与せず、大きなパフォーマンス損失を伴わずに、しばしば取り除くことができる。 本稿では,評価プロトコル,タスクカテゴリ,モデルアーキテクチャなど,様々な次元にわたる奥行き利用の体系的研究を行う。 我々の分析では、非常に深い層は一般的に以前の層よりも効果が低いことが確認されているが、それらの貢献は評価設定によって大きく異なる。
• 参考スコア（独自算出の注目度）: 18.333513606360896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies suggest that the deeper layers of Large Language Models (LLMs) contribute little to representation learning and can often be removed without significant performance loss. However, such claims are typically drawn from narrow evaluations and may overlook important aspects of model behavior. In this work, we present a systematic study of depth utilization across diverse dimensions, including evaluation protocols, task categories, and model architectures. Our analysis confirms that very deep layers are generally less effective than earlier ones, but their contributions vary substantially with the evaluation setting. Under likelihood-based metrics without generation, pruning most layers preserves performance, with only the initial few being critical. By contrast, generation-based evaluation uncovers indispensable roles for middle and deeper layers in enabling reasoning and maintaining long-range coherence. We further find that knowledge and retrieval are concentrated in shallow components, whereas reasoning accuracy relies heavily on deeper layers -- yet can be reshaped through distillation. These results highlight that depth usage in LLMs is highly heterogeneous and context-dependent, underscoring the need for task-, metric-, and model-aware perspectives in both interpreting and compressing large models.
• Abstract（参考訳）: 近年の研究では、LLM(Large Language Models)の深層層は、表現学習にはほとんど寄与せず、大きなパフォーマンス損失を伴わずに取り除くことができることが示唆されている。 しかし、そのような主張は通常、狭い評価から引き出され、モデル行動の重要な側面を見落としてしまう可能性がある。 本研究では,評価プロトコル,タスクカテゴリ,モデルアーキテクチャなど,様々な次元にわたる奥行き利用の体系的研究を行う。 我々の分析では、非常に深い層は一般的に以前の層よりも効果が低いことが確認されているが、それらの貢献は評価設定によって大きく異なる。 生成のない可能性ベースのメトリクスの下では、ほとんどのレイヤを刈り取ることでパフォーマンスが保たれる。 対照的に、世代ベースの評価は、長距離コヒーレンスを推論し維持する上で、中層と深層に欠かせない役割を明らかにする。 さらに、知識と検索は浅い成分に集中しているのに対し、推論の精度は深い層に大きく依存している。 これらの結果から, LLMの深度利用は多種多様であり, 大規模モデルの解釈・圧縮において, タスク, メトリック, モデル認識の視点の必要性が強調された。

関連論文リスト

• The Computational Advantage of Depth: Learning High-Dimensional Hierarchical Functions with Gradient Descent [28.999394988111106]
  本稿では,潜在部分空間次元の階層構造を組み込んだ対象関数のクラスを紹介する。 深層ネットワークの学習力学と一般化性能を,高次元限界における浅層ネットワークと比較して解析的に検討した。
  論文  参考訳（メタデータ） (2025-02-19T18:58:28Z)
• AVSS: Layer Importance Evaluation in Large Language Models via Activation Variance-Sparsity Analysis [5.854247492297834]
  本稿では,各層がモデル性能に与える影響を評価するために,正規化活性化分散と疎性を組み合わせた新しい計量法を提案する。 AVSSに基づいて、約25%のレイヤを特定し、取り除くことにより、元のモデル性能の90%以上を達成できる。
  論文  参考訳（メタデータ） (2024-11-04T14:29:49Z)
• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• Investigating Layer Importance in Large Language Models [28.156622049937216]
  大規模言語モデル (LLM) は、テキストの理解と処理に際し、注目を集めている。 LLMの理解の欠如は、安全クリティカルなシナリオへの展開を妨げ、より良いモデルの開発を妨げる。 本研究は, LLMの基盤層を同定し, 今後の研究におけるその重要な役割を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-09-22T09:53:13Z)
• Exploring Concept Depth: How Large Language Models Acquire Knowledge and Concept at Different Layers? [57.04803703952721]
  大規模言語モデル(LLM)は、幅広いタスクで顕著なパフォーマンスを示している。 しかし、これらのモデルが様々な複雑さのタスクを符号化するメカニズムは、いまだに理解されていない。 概念深さ」の概念を導入し、より複雑な概念が一般的により深い層で得られることを示唆する。
  論文  参考訳（メタデータ） (2024-04-10T14:56:40Z)
• Why Layer-Wise Learning is Hard to Scale-up and a Possible Solution via Accelerated Downsampling [19.025707054206457]
  レイヤワイズ学習は、様々なデータセットのイメージ分類において最先端のパフォーマンスを達成することができる。 レイヤーワイズ学習のこれまでの研究は、単純な階層構造を持つネットワークに限られていた。 本稿では,浅層層における特徴空間の分離性が比較的低いため,階層学習のスケールアップを阻害する根本的な理由を明らかにする。
  論文  参考訳（メタデータ） (2020-10-15T21:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。