論文の概要: Architecture-Dependent Causal Transfer of Activation States Across Large Language Models
- arxiv url: http://arxiv.org/abs/2608.16347v1
- Date: Mon, 17 Aug 2026 09:53:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.628157
- Title: Architecture-Dependent Causal Transfer of Activation States Across Large Language Models
- Title（参考訳）: 大規模言語モデルにおけるアクティベーション状態のアーキテクチャ依存因果転移
- Abstract要約: 内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。
生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。
現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
- 参考スコア（独自算出の注目度）: 51.56484100374058
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Direct communication between AI systems relies on natural language as an intermediate layer, incurring encoding/decoding overhead, token cost, and latency. We ask whether internal activation states can instead be transferred causally between different large language model (LLM) architectures via a learned projection, evaluated at three levels: representational similarity, cross-model retrieval from projected states, and end-to-end causal transfer via activation injection during generation. Using four architecturally diverse open-weight models (Qwen2-0.5B, Phi-3-mini, Mistral-7B, FLAN-T5-base), we find that representational alignment in trained models exceeds a random-initialization null baseline and is best captured by a rank-based metric (mutual k-nearest-neighbour alignment), more robust to activation-magnitude outliers than centered kernel alignment (CKA) or Procrustes analysis. A learned projection network retrieves the correct target-model representation from a held-out set well above chance for the three causal decoder-only model pairs (45-50% top-1 accuracy vs. 5% chance) but at chance level for the encoder-based FLAN-T5. Injecting projected activations into a target model during generation produces a statistically significant, pre-registered causal effect on retrieval-based output similarity for only one of the three decoder-only pairs (Qwen2-0.5B to Phi-3-mini: 23.3% vs. 0.0% under negative control, p=0.047, FDR-corrected); the two pairs targeting Mistral-7B show no such effect despite comparable representational alignment at the hidden-state level. We interpret these results as evidence for causal transfer of the representational vehicle, not of meaning, and conclude that end-to-end activation-state transfer between LLMs, as currently implemented, is architecture-dependent rather than universal.
- Abstract（参考訳）: AIシステム間の直接通信は、中間層として自然言語に依存し、エンコーディング/デコードオーバーヘッド、トークンコスト、レイテンシを発生させる。
内部アクティベーション状態が、学習されたプロジェクションを介して異なる大言語モデル(LLM)アーキテクチャ間で因果的に転送可能かどうかを問うとともに、表現的類似性、投影状態からのクロスモデル検索、生成中のアクティベーションインジェクションによるエンドツーエンド因果的転送の3つのレベルで評価する。
アーキテクチャ的に多様な4つのオープンウェイトモデル(Qwen2-0.5B,Phi-3-mini,Mistral-7B,FLAN-T5-base)を用いて、トレーニングモデルにおける表現的アライメントがランダム初期化ヌルベースラインを超え、ランクベースのメートル法(相互k-nearest-neighbourアライメント)により最もよく捉えられ、中心化されたカーネルアライメント(CKA)やProcrustes解析よりも活性化-マグニチュードアウトリーに対して堅牢であることを示す。
学習プロジェクションネットワークは、3つの因果デコーダのみのモデルペア(45〜50%のトップ-1精度対5%の確率)のホールトアウトセットから正しいターゲットモデル表現を検索するが、エンコーダベースのFLAN-T5はチャンスレベルである。
生成中のターゲットモデルに投影されたアクティベーションを注入すると、3つのデコーダのみのペア(Qwen2-0.5B から Phi-3-mini: 23.3% vs. 0.0% の負の制御、p=0.047, FDR-corrected)の1つに対して、検索ベースの出力類似性に対して統計的に有意で事前登録された因果効果が生じる。
我々はこれらの結果を,表現車両の因果的移動の証拠として解釈し,LLM間のエンド・ツー・エンドのアクティベーション・トランスファーが,現在実装されているように,普遍的ではなくアーキテクチャに依存していると結論づける。
関連論文リスト
- SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation [51.46828526392219]
推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。
既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。
明示的なWhat-whereインターフェースであるSeGDePを提示する。
論文 参考訳（メタデータ） (2026-09-08T15:11:32Z) - A Decomposable Probe for Few-Step Diffusion Models: Prompt, Latent, and Score Selectivity across Backbone Families and Distillation Paradigms [0.0]
拡散学生は50～1-8のネットワーク評価からテキスト・ツー・イメージ・推論を減らした。
我々はスカラーを3つの層に沿って制御された摂動を注入する分解可能なプローブで置き換える。
Inception機能に対するブートストラップ中間のBures W22選択率について報告する。
論文 参考訳（メタデータ） (2026-07-03T12:18:24Z) - Steering Vision-Language Models with Joint Sparse Autoencoders [2.367986397868328]
連成スパースオートエンコーダ(JSAE)を導入し、シーケンスプールされた視覚と言語アクティベーションを、共用、解釈可能な画像/カプセルレベルの特徴に分解する。
JSAEを視覚言語モデル(VLM)に適用すると、制御可能なクロスモーダルステアリングの方向として使うのが難しい表現が得られる。
論文 参考訳（メタデータ） (2026-06-24T10:11:04Z) - Towards Persistent Case-Based Memory for Autonomous Data Science: A CBR-Augmented R&D-Agent with a Locally Deployable Small Language Model [0.0]
我々は, Gemma 4 31B Dense のカスタムバックエンドに CBR レイヤを Microsoft の R&D-Agent フレームワークに統合した CBR 拡張 R&D-Agent を提案する。
ケースは構造化レコードとして格納され、実行可能なコードスナップショットと品質メタデータが格納される。
108回の検索イベントにおけるヒューリスティックな再利用検出は,意味的関連性が高いことを示す。
論文 参考訳（メタデータ） (2026-06-03T12:56:11Z) - Convergence Theory for Iterative LLM-Based Neural Architecture Search: A Parametric Cross-Entropy Framework with Closed-Form Proxy Reliability [48.83701310501069]
大規模言語モデル(LLM)は、反復型ニューラルアーキテクチャサーチ(NAS)におけるジェネレータとしてますます使われている。
我々は,LCM-NASを,実行可能プログラム上でのパラメトリッククロスエントロピー(CE)法としてモデル化する。
我々は,(1)エリートアーキテクチャの反復LEM微調整は,LLMファミリーに制限されたCE更新と同等であり,(2)期待されるアーキテクチャ品質はサイクル毎に単調に低下せず,(3)エリートセットの確率は幾何率で一定点に収束する,という6つの結果を示した。
論文 参考訳（メタデータ） (2026-05-28T15:45:19Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - Normalized Architectures are Natively 4-Bit [49.13186675123547]
重みと隠れ表現を単位超球面に制限するアーキテクチャであるnGPTは、本質的に低精度算術よりも堅牢である。
本手法は,最大3B/30Bパラメータの1.2B密度モデルとハイブリッド(Mamba-Transformer)MoEモデルの両方で検証する。
論文 参考訳（メタデータ） (2026-05-07T11:54:07Z) - Differentiable Faithfulness Alignment for Cross-Model Circuit Transfer [73.0825876244911]
DFAは、より小さなソースモデルからより大きなターゲットモデルに回路情報を転送するフレームワークである。
Llama-3 と Qwen-2.5 の DFA を,実数検索,複数選択推論,算術の6つのタスクで評価した。
DFAは、単純なベースラインを一貫して上回り、いくつかの設定では、直接帰属に匹敵する、あるいは強い忠実さでターゲットモデル回路を回復する。
論文 参考訳（メタデータ） (2026-04-27T10:49:10Z) - OrgForge-IT: A Verifiable Synthetic Benchmark for LLM-Based Insider Threat Detection [0.0]
本稿では,決定論的シミュレーションエンジンが基底真理を維持し,言語モデルが表面の散文のみを生成する検証可能な合成ベンチマークを提案する。
コーパスは51日の模擬日、2,904回のテレメトリ記録を96.4%のノイズレートで記録し、単面と単日のトリアージ戦略を破るために設計された4つの検出シナリオをカバーしている。
論文 参考訳（メタデータ） (2026-03-23T19:03:53Z) - How Small Can 6G Reason? Scaling Tiny Language Models for AI-Native Networks [3.099103925863002]
AIネイティブな6Gシステムにおけるネットワークレベルの意味推論のためのコンパクト言語モデルのスケーリング挙動と展開効率について検討する。
我々は,Llama-3.2-1B,Granite-1B,Qwen2.5-3Bなどの中規模アーキテクチャを含む135M(SmolLM2-135M)から7Bパラメータ(Qwen2.5-7B)までのモデルを評価する。
論文 参考訳（メタデータ） (2026-03-02T18:19:49Z) - Diffusion Language Models are Super Data Learners [61.721441061210896]
ユニークなデータが限られている場合、拡散言語モデル(DLM)は、よりエポックなトレーニングによって、常に自己回帰モデル(AR)を上回ります。
本研究の目的は,(1) 任意の次数モデリング,(2) 反復的双方向 denoising からの超高次計算,(3) モンテカルロ増分という3つの複合的要因に起因する。
論文 参考訳（メタデータ） (2025-11-05T08:17:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。