論文の概要: Demystifying the Roles of LLM Layers in Retrieval, Knowledge, and Reasoning

• arxiv url: http://arxiv.org/abs/2510.02091v2
• Date: Thu, 30 Oct 2025 13:22:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.444868
• Title: Demystifying the Roles of LLM Layers in Retrieval, Knowledge, and Reasoning
• Title（参考訳）: 検索・知識・推論におけるLCM層の役割の解明
• Authors: Xinyuan Song, Keyu Wang, PengXiang Li, Lu Yin, Shiwei Liu,
• Abstract要約: 研究によると、LLM(Large Language Models)の深い層は、学習の表現にはほとんど寄与せず、大きなパフォーマンス損失を伴わずに、しばしば取り除くことができる。 本稿では,評価プロトコル,タスクカテゴリ,モデルアーキテクチャなど,様々な次元にわたる奥行き利用の体系的研究を行う。 我々の分析では、非常に深い層は一般的に以前の層よりも効果が低いことが確認されているが、それらの貢献は評価設定によって大きく異なる。
• 参考スコア（独自算出の注目度）: 18.333513606360896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies suggest that the deeper layers of Large Language Models (LLMs) contribute little to representation learning and can often be removed without significant performance loss. However, such claims are typically drawn from narrow evaluations and may overlook important aspects of model behavior. In this work, we present a systematic study of depth utilization across diverse dimensions, including evaluation protocols, task categories, and model architectures. Our analysis confirms that very deep layers are generally less effective than earlier ones, but their contributions vary substantially with the evaluation setting. Under likelihood-based metrics without generation, pruning most layers preserves performance, with only the initial few being critical. By contrast, generation-based evaluation uncovers indispensable roles for middle and deeper layers in enabling reasoning and maintaining long-range coherence. We further find that knowledge and retrieval are concentrated in shallow components, whereas reasoning accuracy relies heavily on deeper layers -- yet can be reshaped through distillation. These results highlight that depth usage in LLMs is highly heterogeneous and context-dependent, underscoring the need for task-, metric-, and model-aware perspectives in both interpreting and compressing large models.
• Abstract（参考訳）: 近年の研究では、LLM(Large Language Models)の深層層は、表現学習にはほとんど寄与せず、大きなパフォーマンス損失を伴わずに取り除くことができることが示唆されている。 しかし、そのような主張は通常、狭い評価から引き出され、モデル行動の重要な側面を見落としてしまう可能性がある。 本研究では,評価プロトコル,タスクカテゴリ,モデルアーキテクチャなど,様々な次元にわたる奥行き利用の体系的研究を行う。 我々の分析では、非常に深い層は一般的に以前の層よりも効果が低いことが確認されているが、それらの貢献は評価設定によって大きく異なる。 生成のない可能性ベースのメトリクスの下では、ほとんどのレイヤを刈り取ることでパフォーマンスが保たれる。 対照的に、世代ベースの評価は、長距離コヒーレンスを推論し維持する上で、中層と深層に欠かせない役割を明らかにする。 さらに、知識と検索は浅い成分に集中しているのに対し、推論の精度は深い層に大きく依存している。 これらの結果から, LLMの深度利用は多種多様であり, 大規模モデルの解釈・圧縮において, タスク, メトリック, モデル認識の視点の必要性が強調された。

関連論文リスト

• What Affects the Effective Depth of Large Language Models? [44.85395501835759]
  モデルスケール,トレーニングタイプ,タスクの難易度によって,効果的な深さがどう変化するかを検討する。 有効層数はモデルサイズとともに増加するが, 有効深さ比は安定である。 以上の結果から,現在のLLMでは,スケール,トレーニングパラダイム,難易度が異なるタスクにおいて,利用可能な深度を過小評価していることが示唆された。
  論文  参考訳（メタデータ） (2025-12-16T04:07:17Z)
• Multimodal Language Models See Better When They Look Shallower [54.5303326937134]
  マルチモーダル大言語モデル(MLLM)は、通常、事前訓練された視覚変換器(ViT)の最終層から視覚的特徴を抽出する。 MLLMの視覚層選択に関する最初の総合的研究を行い,VT層間の表現類似性を解析した。 我々は、深い層がOCRのようなセマンティックリッチなタスクに優れているのに対して、浅い層と中層の層は、きめ細かい視覚的なタスクでそれらを著しく上回っていることに気付きました。
  論文  参考訳（メタデータ） (2025-04-30T09:07:10Z)
• How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
  大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。 メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:55Z)
• The Computational Advantage of Depth: Learning High-Dimensional Hierarchical Functions with Gradient Descent [28.999394988111106]
  本稿では,潜在部分空間次元の階層構造を組み込んだ対象関数のクラスを紹介する。 深層ネットワークの学習力学と一般化性能を,高次元限界における浅層ネットワークと比較して解析的に検討した。
  論文  参考訳（メタデータ） (2025-02-19T18:58:28Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• AVSS: Layer Importance Evaluation in Large Language Models via Activation Variance-Sparsity Analysis [5.854247492297834]
  本稿では,各層がモデル性能に与える影響を評価するために,正規化活性化分散と疎性を組み合わせた新しい計量法を提案する。 AVSSに基づいて、約25%のレイヤを特定し、取り除くことにより、元のモデル性能の90%以上を達成できる。
  論文  参考訳（メタデータ） (2024-11-04T14:29:49Z)
• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• Investigating Layer Importance in Large Language Models [28.156622049937216]
  大規模言語モデル (LLM) は、テキストの理解と処理に際し、注目を集めている。 LLMの理解の欠如は、安全クリティカルなシナリオへの展開を妨げ、より良いモデルの開発を妨げる。 本研究は, LLMの基盤層を同定し, 今後の研究におけるその重要な役割を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-09-22T09:53:13Z)
• Exploring Concept Depth: How Large Language Models Acquire Knowledge and Concept at Different Layers? [57.04803703952721]
  大規模言語モデル(LLM)は、幅広いタスクで顕著なパフォーマンスを示している。 しかし、これらのモデルが様々な複雑さのタスクを符号化するメカニズムは、いまだに理解されていない。 概念深さ」の概念を導入し、より複雑な概念が一般的により深い層で得られることを示唆する。
  論文  参考訳（メタデータ） (2024-04-10T14:56:40Z)
• Masked Image Modeling with Local Multi-Scale Reconstruction [54.91442074100597]
  Masked Image Modeling (MIM) は自己教師付き表現学習において顕著な成功を収めている。 既存のMIMモデルはエンコーダの最上層でのみ再構成タスクを実行する。 そこで我々は,下層と上層がそれぞれ微細かつ粗大な監視信号を再構成する局所的マルチスケール再構成を設計する。
  論文  参考訳（メタデータ） (2023-03-09T13:42:04Z)
• Why Layer-Wise Learning is Hard to Scale-up and a Possible Solution via Accelerated Downsampling [19.025707054206457]
  レイヤワイズ学習は、様々なデータセットのイメージ分類において最先端のパフォーマンスを達成することができる。 レイヤーワイズ学習のこれまでの研究は、単純な階層構造を持つネットワークに限られていた。 本稿では,浅層層における特徴空間の分離性が比較的低いため,階層学習のスケールアップを阻害する根本的な理由を明らかにする。
  論文  参考訳（メタデータ） (2020-10-15T21:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。