論文の概要: Layer-wise Representation Dynamics: An Empirical Investigation Across Embedders and Base LLMs

• arxiv url: http://arxiv.org/abs/2605.12714v1
• Date: Tue, 12 May 2026 20:22:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.665553
• Title: Layer-wise Representation Dynamics: An Empirical Investigation Across Embedders and Base LLMs
• Title（参考訳）: 層ワイド表現ダイナミクス--組込み機とベースLLM間の実証研究-
• Authors: Jingzhou Jiang, Yi Yang, Kar Yan Tam,
• Abstract要約: 本稿では,レイヤワイドな3つの測定ファミリを持つフレームワークであるLayer-wise Representation Dynamics (LRD)を提案する。 LRDを31モデルに適用すると、最終層表現だけでは明らかでないアーキテクチャとタスクレベルの違いが明らかになる。
• 参考スコア（独自算出の注目度）: 8.425980139753646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hidden states change substantially across the layers of modern language models, but most layer-wise analyses focus on one aspect of that change. We propose Layer-wise Representation Dynamics (LRD), a framework with three layer-wise measurement families: Frenet (Grassmann speed and curvature) for global subspace motion, Neighborhood Retention Score (NRS) for local nearest-neighbor retention, and Graph Filtration Mutual Information (GFMI) for alignment with the final layer. Applying LRD to 31 models (encoder-based and decoder-based embedders, plus base LLMs) on 30 MTEB tasks reveals architectural and task-level differences that are not apparent from final-layer representations alone. We then use LRD for two applications: label-free model selection and inference-time layer pruning. For selection, all three model-level scores correlate positively with downstream MTEB performance, with end-to-end subspace displacement (d_{0,L}) the strongest, and the same direction holds on a smaller base-LLM MMLU panel. For pruning, GFMI is the only measurement-guided rule that beats Random at the 15% and 20% budgets and has the best median change at every budget. Frenet is effective only at the lightest budget, while NRS does not transfer from model selection to pruning. These results show that layer-wise structure provides signal for both interpretation and deployment decisions.
• Abstract（参考訳）: 隠れた状態は、モダンな言語モデルのレイヤで大きく変化するが、ほとんどのレイヤワイズ分析はその変更の1つの側面に焦点を当てている。 本稿では,大域的部分空間運動のためのFrenet(Grassmann速度と曲率),局所的近傍保持のためのNRS(Neighborhood Retention Score),最終層との整合のためのGraph Filtration Mutual Information(GFMI)という,3つのレイヤワイド測定ファミリを持つフレームワークであるLayer-wise Representation Dynamics(LRD)を提案する。 LRDを31モデル(エンコーダベースとデコーダベースとベースLLM)に30のMTEBタスクに適用すると、最終層表現だけでは明らかでないアーキテクチャとタスクレベルの違いが明らかになる。 次に、ラベルなしモデル選択と推論時層プルーニングの2つのアプリケーションにLRDを使用します。 選択のために、3つのモデルレベルスコアはすべて、下流MTEB性能と正に相関し、終端部分空間変位(d_{0,L})が最強であり、同じ方向がより小さいベースLLM MMLUパネルに保持される。 プルーニングにおいて、GFMIはRandomを15%と20%の予算で破る唯一の測定誘導ルールであり、全ての予算で最高の中央値の変更がある。 Frenetは最も軽量な予算でのみ有効であるが、NRSはモデル選択からプルーニングへ移行しない。 これらの結果は、レイヤワイドな構造が解釈とデプロイメントの決定の両方にシグナルを与えることを示している。

関連論文リスト

• Last-Layer-Centric Feature Recombination: Unleashing 3D Geometric Knowledge in DINOv3 for Monocular Depth Estimation [4.654162664140336]
  近年の視覚基礎モデル (VFM) は, 高精度化と高密度予測の一般化を実現している。 本研究では,DINOv3の階層構造解析を行い,非一様に3次元情報を分散していることを明らかにする。 そこで我々は, 幾何学的表現性を高めるためにLFRモジュールを導入する。
  論文  参考訳（メタデータ） (2026-04-29T09:11:36Z)
• Hierarchical Alignment: Surgical Fine-Tuning via Functional Layer Specialization in Large Language Models [4.935224714809964]
  階層的アライメント(Hierarchical Alignment)は、モデルレイヤの異なる機能ブロックにターゲットDPOを適用する新しい手法である。 具体的には、局所的な層(ローカル・アライン)の整列は文法的な流感を高める。 グローバル層(Global-Align)の整合性は、仮説として事実整合性を改善するが、論理的コヒーレンスを強化するための最も効果的な戦略であることを証明している。
  論文  参考訳（メタデータ） (2025-10-14T00:58:34Z)
• Hierarchical LoRA MoE for Efficient CTR Model Scaling [56.608809143548946]
  HiLoMoEは階層的なLoRA MoEフレームワークで、パラメータ効率のよい全体的なスケーリングを可能にする。 従来のスタックとは異なり、HiLoMoEルートは出力ではなく前のレイヤスコアに基づいており、すべてのレイヤが並列に実行される。
  論文  参考訳（メタデータ） (2025-10-12T03:54:11Z)
• Multimodal Language Models See Better When They Look Shallower [54.5303326937134]
  マルチモーダル大言語モデル(MLLM)は、通常、事前訓練された視覚変換器(ViT)の最終層から視覚的特徴を抽出する。 MLLMの視覚層選択に関する最初の総合的研究を行い,VT層間の表現類似性を解析した。 我々は、深い層がOCRのようなセマンティックリッチなタスクに優れているのに対して、浅い層と中層の層は、きめ細かい視覚的なタスクでそれらを著しく上回っていることに気付きました。
  論文  参考訳（メタデータ） (2025-04-30T09:07:10Z)
• How to Make LLMs Strong Node Classifiers? [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• ShortGPT: Layers in Large Language Models are More Redundant Than You Expect [38.148626520751385]
  LLM(Large Language Models)の多くの層は高い類似性を示し、いくつかの層はネットワーク機能において無視できる役割を担っている。 レイヤ除去という,冗長なレイヤを直接削除する,簡単なプルーニング手法を提案する。 実験により,我々はShortGPT(ショートGPT)と呼ぶ手法を,モデルプルーニングにおける従来のSOTA(State-of-the-art)手法よりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2024-03-06T17:04:18Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• DepGraph: Towards Any Structural Pruning [68.40343338847664]
  我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。 本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。 本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
  論文  参考訳（メタデータ） (2023-01-30T14:02:33Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。