Fugu-MT 論文翻訳(概要): LLM Layers Immediately Correct Each Other

論文の概要: LLM Layers Immediately Correct Each Other

arxiv url: http://arxiv.org/abs/2609.07876v1
Date: Mon, 07 Sep 2026 18:36:39 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-10 19:44:08.500573
Title: LLM Layers Immediately Correct Each Other
Title（参考訳）: LLM層は互いに即時に修正する
Abstract要約: Transformer Layer Correction Mechanism (TLCM)は、7つの主要なオープンソースモデルファミリのうち5つに現れ、さまざまなテキストでほぼすべてのトークンをまたいでアクティベートする。我々は,事前学習中にTLCMが出現し,文脈依存トークンに最も強く依存し,前層の出力に基づいて補正強度を適応的に校正することを示す。このダイナミクスは、どのレイヤの残余ストリームにも、永続的な機能とともに一時的な提案が含まれていることを示唆している。
参考スコア（独自算出の注目度）: 42.36086603213463
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent methods in language model interpretability employ techniques such as sparse autoencoders to decompose residual stream contributions into linear, semantically meaningful features. Such methods are commonly interpreted as identifying features that persist in the residual stream and that subsequent layers build upon. We challenge this view by identifying the Transformer Layer Correction Mechanism (TLCM), wherein adjacent transformer layers systematically counteract portions of each other's contributions. TLCM appears in 5 out of 7 major open-source model families and activates across nearly all tokens in diverse texts. We show that TLCM emerges during pretraining, operates most strongly on contextually dependent tokens, and adaptively calibrates its correction strength based on the preceding layer's output. Using the layer Jacobian, we further show that TLCM selectively corrects specific subspaces while reinforcing others, which we interpret through a ``propose-and-reject'' framework in which layers propose candidate features and subsequent layers selectively remove inappropriate ones. This dynamic suggests that the residual stream at any layer contains transient proposals alongside persistent features, helping explain why SAE feature descriptions often have low specificity, why effective model steering requires extreme feature amplification, and why transcoders hold a theoretical advantage over SAEs.
Abstract（参考訳）: 近年の言語モデルの解釈可能性の手法では、残余ストリームのコントリビューションを線形で意味論的に意味のある特徴に分解するスパースオートエンコーダのような手法が採用されている。このようなメソッドは、通常、残留ストリームに持続し、その後のレイヤが構築される特徴を特定するものとして解釈される。本稿では,Transformer Layer Correction Mechanism (TLCM, Transformer Layer Correction Mechanism) を同定し,隣接するTransformer Layerを相互のコントリビューションの一部に体系的に対応させる手法を提案する。 TLCMは7つの主要なオープンソースモデルファミリのうち5つに現れ、さまざまなテキストでほぼすべてのトークンをアクティベートする。我々は,事前学習中にTLCMが出現し,文脈依存トークンに最も強く依存し,前層の出力に基づいて補正強度を適応的に校正することを示す。層Jacobianを用いて、TLCMが特定の部分空間を選択的に修正し、他の部分空間を補強することを示す。このダイナミクスは、任意の層における残留ストリームが永続的な特徴と共に過渡的な提案を含んでいることを示唆し、なぜSAEの特徴記述がしばしば低特異性を持つのか、なぜ効果的なモデルステアリングが極端な特徴増幅を必要とするのか、またトランスコーダがSAEに対して理論的優位性を持っているのかを説明するのに役立つ。

関連論文リスト

Adaptive Depth Sparse Framework: Similarity-Driven Resource Allocation for Pre-Trained LLMs [18.457250148137494]
本稿では,既設の大規模言語モデルから深度スパースモデルへの変換を行う適応深度スパースフレームワーク(AdaDSF)を提案する。 GPT-NeoX と Qwen2.5 では、言語モデリングとコモンセンス推論について、AdaDSF は高密度の性能を保ちながら、推論FLOP を大幅に削減する。
論文参考訳（メタデータ） (2026-07-23T13:13:04Z)
Analysis-by-Proxy: Localization Signals in VLMs Operating as Condition Encoders [54.06522068041745]
VLM(Vision-Language Models)は、拡散に基づく画像編集の条件付バックボーンとしてますます利用されている。スタンドアロンのVLMは強力なローカライゼーション機能を示しているが、パイプラインの編集はこの精度を維持するのに苦労することが多い。本研究では,VLMを条件エンコーダとして扱うことに起因することを仮説として,この性能ギャップについて検討する。
論文参考訳（メタデータ） (2026-07-07T16:11:13Z)
Deeper is Not Always Better: Mitigating the Alignment Tax via Confident Layer Decoding [92.1521161575198]
我々は、最も信頼性の高いニアファイナル層を動的に選択する、トレーニング不要なデコーディング戦略であるConfident Decodingを紹介する。密集型および混合型LLMの実験は、挑戦的推論ベンチマークにおいて一貫した利得を示す。
論文参考訳（メタデータ） (2026-06-20T07:03:26Z)
DifFRACT: Diffusion Feature Reconstruction and Attribution for Circuit Tracing [8.306039957986394]
トランスコーダベースの回路トレースを多モード拡散変換器に拡張する。属性結合とストリーム間セマンティックな伝搬のメカニズムを解明する。本研究は,系統的な生成誤りの因果的説明を提供する。
論文参考訳（メタデータ） (2026-06-14T13:02:44Z)
Towards Fine-Grained Vision-Language Alignment for Few-Shot Anomaly Detection [65.29550320117526]
我々はFinGrainedADという新しいフレームワークを提案し、異常なローカライゼーション性能を改善する。実験により、提案されたFinGrainedADは、数ショット設定で全体的なパフォーマンスが優れていることが示された。
論文参考訳（メタデータ） (2025-10-30T13:09:00Z)
Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。大規模な実験ではPPADの大幅な改善が示されている。
論文参考訳（メタデータ） (2025-05-26T14:42:35Z)
Analyzing Finetuning Representation Shift for Multimodal LLMs Steering [56.710375516257876]
隠れた状態を解釈可能な視覚的概念とテキスト的概念にマッピングすることを提案する。これにより、オリジナルモデルや微調整モデルからのシフトなど、特定のセマンティックダイナミクスをより効率的に比較することが可能になります。また,これらの変化を捉えるためにシフトベクトルを用いることを実証する。
論文参考訳（メタデータ） (2025-01-06T13:37:13Z)
Residual Stream Analysis with Multi-Layer SAEs [21.142967037533175]
各トランス層からの残ストリーム活性化ベクトルをトレーニングした単一SAEであるMLSAE(Multi-layer SAE)を導入する。個々のラテントが与えられたトークンやプロンプトの単一層でアクティブになることが多いが、個々のラテントがアクティブである層は異なるトークンやプロンプトで異なる場合がある。この結果は,トランスを流れるとき,表現がどのように変化するかを理解するための新しいアプローチを示す。
論文参考訳（メタデータ） (2024-09-06T11:01:55Z)
Language Models as Hierarchy Encoders [22.03504018330068]
階層変換器エンコーダ(HiTs)として再学習トランスフォーマーエンコーダを用いたLMを提案する。本手法は, 埋込次元に適応する曲率を持つポアンカー球内に, 予め学習したLMの出力埋め込み空間を定めている。予め訓練したLM, 標準微調整されたLM, およびいくつかの双曲埋め込みベースラインに対するHiTsの評価を行った。
論文参考訳（メタデータ） (2024-01-21T02:29:12Z)
Layer-wise Representation Fusion for Compositional Generalization [26.771056871444692]
合成一般化における失敗の主な理由は、エンコーダとデコーダの両方の最上層におけるシーケンスの構文的および意味的表現が絡み合っていることである。トランスフォーマー層の下部から上部まで、表現の進化メカニズムを解析することにより、なぜそのメカニズムが存在するのかを説明する。そこで我々は,従来のレイヤの情報を符号化・復号処理に融合させることを学習するCGのための新しい textbfLayer-wise textbfRepresentation textbfFusion フレームワークである LRF を提案する。
論文参考訳（メタデータ） (2023-07-20T12:01:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。