論文の概要: DV-Lens: Revealing the Functional Organization of Language Model Parameters

• arxiv url: http://arxiv.org/abs/2610.04489v1
• Date: Sat, 03 Oct 2026 12:45:07 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-06 20:45:23.778973
• Title: DV-Lens: Revealing the Functional Organization of Language Model Parameters
• Title（参考訳）: DV-Lens:言語モデルパラメータの機能的構成を明らかにする
• Abstract要約: 本稿では,ネイティブパラメータの方向と下流語彙の応答を関連付けるパラメータレベルの解釈可能性フレームワークを提案する。 語彙読み出しによるパラメータ列の分類と下流語彙複雑性(DV-複雑度)の導入 これらの結果は、DV-複雑度解釈の介入に基づく証拠を提供し、DV-複雑度とモデル能力の関係を明らかにする。
• 参考スコア（独自算出の注目度）: 53.18682247752397
• License:
• Abstract: Understanding parameter functions helps elucidate the internal mechanisms of large language models (LLMs). However, how to connect parameters from different modules to verifiable output effects and further characterize the relationship between their functional organization and model capability remains to be explored. To this end, we introduce the downstream vocabulary lens (DV-Lens), a parameter-level interpretability framework that links native parameter directions to their downstream vocabulary responses. Specifically, we first estimate module-specific downstream Jacobians over a reference prompt set for attention query, key, value, and output (Q/K/V/O) projections and feed-forward networks (FFNs). Second, we use these mappings to project native parameter columns into the final vocabulary space, obtaining signed readouts that characterize their average local output responses. Third, we group parameter columns by their vocabulary readouts and introduce downstream vocabulary complexity (DV-Complexity), which quantifies within-group structural variation using normalized reconstruction residuals of the original weights. At the parameter level, randomized controls and finite-difference tests show that DV-Lens readouts capture non-random vocabulary structure and predict local logit changes with 98.0% coordinate-orientation agreement across 720 cases from nine models. These readouts further guide parameter ablation, steering, and swapping across 21 models, shifting target-token probabilities in the predicted directions under controlled conditions. At the model level, the joint-parameter score of DV-Complexity achieves a Spearman correlation of 0.904 with benchmark-based capability rankings across 48 language models. Together, these results provide intervention-based evidence for DV-Lens interpretations and reveal an association between DV-Complexity and model capability.
• Abstract（参考訳）: パラメータ関数の理解は、大きな言語モデル(LLM)の内部メカニズムの解明に役立つ。 しかし、異なるモジュールからのパラメータを検証可能な出力エフェクトに接続し、それらの機能的組織とモデル能力の関係をさらに特徴付ける方法が検討されている。 そこで本研究では,下流語彙応答にネイティブパラメータ方向を関連付けるパラメータレベルの解釈可能性フレームワークである,下流語彙レンズ(DV-Lens)を導入する。 具体的には、まず、アテンションクエリ、キー、値、出力(Q/K/V/O)プロジェクションとフィードフォワードネットワーク(FFN)に対する参照プロンプトセットに基づいて、モジュール固有の下流ヤコビアンを推定する。 第二に、これらのマッピングを用いてネイティブパラメータ列を最終語彙空間に投影し、平均的な局所出力応答を特徴付ける符号付き読み出しを得る。 第三に, パラメータ列を語彙読み出しによってグループ化し, 下流語彙複雑性(DV-complexity)を導入し, 元の重みの正規化再構成残差を用いて内部構造変化を定量化する。 パラメータレベルでは、ランダム化制御と有限差分試験により、DV-Lensの読み出しは非ランダムな語彙構造を捉え、9つのモデルから720のケースで98.0%の座標配向一致で局所ロジット変化を予測する。 これらの読み出しは、パラメータのアブレーション、ステアリング、21モデル間のスワップをガイドし、制御された条件下で予測方向の目標-目標確率をシフトさせる。 モデルレベルでは、DV-複雑度の共同パラメータスコアは、48の言語モデルでベンチマークベースの能力ランキングと0.904のスピアマン相関を達成している。 これらの結果は、DV-Lens解釈の介入に基づく証拠を提供し、DV-複雑度とモデル能力の関係を明らかにする。

関連論文リスト

• SQUARE: Structured Quantum Representation Adapters as Compact Quadratic Feature Maps for Frozen Language Models [50.300302932452006]
  凍結言語モデル(LM)は、下流の再ランク付け、スコアリング、嗜好モデリングのための固定された特徴抽出器として、ますます使われている。 本稿では、ボトルネックベクトルを振幅符号化し、パラメータ化量子回路を適用し、その結果の状態を測定する構造量子表現アダプタを提案する。 各基底確率関数は、ちょうどボトルネック座標における正規化された二次形式であり、追加のPauli$Z$読み出しはそれらの確率の線形結合であることを示す。
  論文  参考訳（メタデータ） (2026-09-29T09:38:29Z)
• Revisiting Parameter Redundancy in Vision-Language-Action Models: Insights from VLM-to-VLA Adaptation [22.888302230938848]
  Vision-Language-Action(VLA)モデルは、事前訓練されたVision-Language Models(VLM)の強力な表現を統合することで、インボディードインテリジェンスにおいて大きな進歩を遂げた。 現在のパラダイムでは、結果として生じるパフォーマンス劣化を必然的に扱い、効率を回復するために微調整や低ランクの修正に頼っていることが多い。 本稿では、VLAプルーニングが性能回復を効果的にする必要がある場合や、このパラダイムが臨界パラメータの無差別プルーニングを隠蔽している場合、除去されたパラメータが真に冗長であるかどうかを問う。
  論文  参考訳（メタデータ） (2026-06-30T09:10:31Z)
• ABLE: Representing and Mapping LLMs via Attribution-Based Large-model Embedding [23.27523995613204]
  本稿では、解釈可能性空間を利用してモデル表現を構築するフレームワークであるABLE(Attribution-based Large-model Embedding)を提案する。 パラメーターに依存しない単語レベルのアライメントによって勾配に基づく特徴属性を集約することにより、ABLEはモデル固有の入力感度パターンをキャプチャする。 我々のトレーニングフリーアプローチは、関係予測、モデルルーティング、ベンチマークスコア予測において、競争力または優れた性能を達成する。
  論文  参考訳（メタデータ） (2026-04-20T04:55:11Z)
• Relational Probing: LM-to-Graph Adaptation for Financial Prediction [3.7582774908258294]
  言語モデルは、テキスト内の金融エンティティ間の関係を識別するために使用することができる。 本稿では,標準言語モデルヘッドをリレーショナルグラフに置き換えるEmphRelational Probingを提案する。 言語モデルの出力はテキストを超えることができ、ダウンストリームモデルのタスク固有のフォーマットに変換できる。
  論文  参考訳（メタデータ） (2026-04-11T13:43:56Z)
• Explaining Datasets in Words: Statistical Models with Natural Language Parameters [66.69456696878842]
  本稿では, クラスタリング, 時系列, 分類モデルなど, 自然言語の述語によってパラメータ化される統計モデル群を紹介する。 当社のフレームワークは、ユーザチャット対話の分類、時間の経過とともにどのように進化するかの特徴付け、一方の言語モデルが他方よりも優れているカテゴリを見つけることなど、幅広い問題に適用しています。
  論文  参考訳（メタデータ） (2024-09-13T01:40:20Z)
• Tracing Hyperparameter Dependencies for Model Parsing via Learnable Graph Pooling Network [21.484648648511854]
  本稿では,LGPN(Learningable Graph Pooling Network)と呼ばれる新しいモデル解析手法を提案する。 LGPNには、モデル解析に適した学習可能なプールアンプール機構が組み込まれている。 提案手法をCNN生成画像検出と協調攻撃検出に拡張する。
  論文  参考訳（メタデータ） (2023-12-03T22:05:05Z)
• Semi-supervised Autoencoding Projective Dependency Parsing [33.73819721400118]
  半教師付きグラフベースの射影依存性解析のための2つのエンドツーエンド自動符号化モデルについて述べる。 どちらのモデルも、コンテキスト情報を利用して潜伏変数にエンコードできるディープニューラルネットワーク(DNN)と、入力を再構築可能な生成モデルであるデコーダの2つの部分で構成されている。
  論文  参考訳（メタデータ） (2020-11-02T03:21:39Z)
• Multidirectional Associative Optimization of Function-Specific Word Representations [86.87082468226387]
  本稿では,関係する単語群間の関連を学習するためのニューラルネットワークフレームワークを提案する。 我々のモデルは結合関数固有の単語ベクトル空間を誘導し、例えば可塑性SVO合成のベクトルが近接して配置される。 このモデルは、共同空間においても単語群のメンバーシップに関する情報を保持し、SVO構造を前提とした複数のタスクに効果的に適用することができる。
  論文  参考訳（メタデータ） (2020-05-11T17:07:20Z)
• On the Encoder-Decoder Incompatibility in Variational Text Modeling and Beyond [82.18770740564642]
  変分オートエンコーダ(VAE)は、潜時変数と償却変分推論を結合する。 我々は,データ多様体のパラメータ化が不十分なエンコーダ・デコーダの不整合性を観察する。 同一構造を持つ決定論的オートエンコーダとVAEモデルを結合した結合型VAEを提案する。
  論文  参考訳（メタデータ） (2020-04-20T10:34:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。