論文の概要: Rethinking Layer Relevance in Large Language Models Beyond Cosine Similarity

• arxiv url: http://arxiv.org/abs/2605.14075v1
• Date: Wed, 13 May 2026 19:51:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.48928
• Title: Rethinking Layer Relevance in Large Language Models Beyond Cosine Similarity
• Title（参考訳）: コサイン類似性を超えた大規模言語モデルにおけるレイヤー関連性の再考
• Authors: Cristian Hinostroza, Rodrigo Toro Icarte, Christ Devia, Andres Carvallo De Ferari, Eugenio Herrera-Berg, Denis Parra, Jorge F Silva,
• Abstract要約: その結果,コサインの類似性は,層除去による実際の性能劣化の指標として不十分であることが判明した。 本稿では,レイヤの除去によるモデル精度の実際の低下という,レイヤの関連性を評価するためのより堅牢な指標を提案する。
• 参考スコア（独自算出の注目度）: 8.25421538875587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have revolutionized natural language processing. Understanding their internal mechanisms is crucial for developing more interpretable and optimized architectures. Mechanistic interpretability has led to the development of various methods for assessing layer relevance, with cosine similarity being a widely used tool in the field. On this work, we demonstrate that cosine similarity is a poor proxy for the actual performance degradation caused by layer removal. Our theoretical analysis shows that a layer can exhibit an arbitrarily low cosine similarity score while still being crucial to the model's performance. On the other hand, empirical evidence from a range of LLMs confirms that the correlation between cosine similarity and actual performance degradation is often weak or moderate, leading to misleading interpretations of a transformer's internal mechanisms. We propose a more robust metric for assessing layer relevance: the actual drop in model accuracy resulting from the removal of a layer. Even though it is a computationally costly metric, this approach offers a more accurate picture of layer importance, allowing for more informed pruning strategies and lightweight models. Our findings have significant implications for the development of interpretable LLMs and highlight the need to move beyond cosine similarity in assessing layer relevance.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自然言語処理に革命をもたらした。 内部メカニズムを理解することは、より解釈可能で最適化されたアーキテクチャを開発する上で重要である。 機械的解釈性は、コサイン類似性がこの分野で広く使われているツールであると共に、レイヤーの関連性を評価する様々な手法の開発につながっている。 本研究では,コサインの類似性が,層除去による実際の性能劣化の指標として不十分であることを実証する。 理論的解析により, モデルの性能には依然として重要でありながら, 任意に低いコサイン類似度を示すことができることが示された。 一方、LLMの一連の実験的な証拠は、コサイン類似性と実際の性能劣化の相関が弱いか中程度であることを確認し、トランスフォーマーの内部機構の誤解を招く。 本稿では,レイヤの除去によるモデル精度の実際の低下という,レイヤの関連性を評価するためのより堅牢な指標を提案する。 計算に費用がかかる計量であるにもかかわらず、このアプローチはより正確な層の重要性の図を提供し、より情報に富んだプルーニング戦略と軽量モデルを可能にする。 本研究は, 解釈可能なLCMの開発に重要な意味を持ち, レイヤー関連性評価におけるコサイン類似性を超えた移動の必要性を強調した。

関連論文リスト

• Large Vision-Language Models Get Lost in Attention [51.851592109135716]
  本稿では,情報理論と幾何に基づく統合フレームワークを提案し,残差更新の幾何的およびエントロピー的性質を定量化する。 注意は再設定に焦点を当てたサブスペース言語演算子として機能し、FFNはセマンティックイノベーションを駆動するサブスペース言語演算子として機能します。
  論文  参考訳（メタデータ） (2026-05-07T04:45:52Z)
• Tracing Representation Progression: Analyzing and Enhancing Layer-Wise Similarity [20.17288970927518]
  本研究では,各変圧器の隠蔽層間の表現の類似性について検討する。 層間の表現が正の相関を示し、層が近づくと類似度が増加する。 浅い層の有効性を向上させるためのアライメント・トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T16:41:09Z)
• Distributional Associations vs In-Context Reasoning: A Study of Feed-forward and Attention Layers [49.80959223722325]
  本研究では,大規模言語モデルにおけるフィードフォワード層とアテンション層との区別について検討する。 フィードフォワード層はビッグラムのような単純な分布関係を学習する傾向があり、注意層は文脈内推論にフォーカスする。
  論文  参考訳（メタデータ） (2024-06-05T08:51:08Z)
• LaCo: Large Language Model Pruning via Layer Collapse [56.92068213969036]
  トランスフォーマーに基づく大規模言語モデル(LLM)は、サイズ拡大の顕著な傾向を目撃している。 モデル量子化、知識蒸留、モデルプルーニングといった既存の手法は、様々な問題によって制約されている。 後部モデル層が前層に崩壊する「textitLayer Collapse (LaCo)」と呼ばれる簡潔な層構造プルーナーを提案する。
  論文  参考訳（メタデータ） (2024-02-17T04:16:30Z)
• Similarity between Units of Natural Language: The Transition from Coarse to Fine Estimation [4.314956204483074]
  人間の言語ユニット間の類似性を捉えることは、人間がどう異なる物体を関連づけるかを説明するのに不可欠です。 この論文における私の研究目標は、より洗練された方法で言語単位間の類似性を考慮した回帰モデルを開発することです。
  論文  参考訳（メタデータ） (2022-10-25T18:54:32Z)
• Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
  適応的階層的類似度メトリック学習法を提案する。 ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。 提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-29T02:12:18Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。