論文の概要: Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs

• arxiv url: http://arxiv.org/abs/2609.29845v1
• Date: Thu, 24 Sep 2026 14:12:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.980702
• Title: Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs
• Title（参考訳）: 変圧器は2つの考えを同時に持てる:LLMにおける線形重ね合わせの証拠
• Abstract要約: 大規模言語モデル(LLM)は、高度に非線形なコンポーネントに依存している。 異なるテキストストリームからの入力が線形に結合されると、モデルは個々の次トーケン分布の重ね合わせを出力する。
• 参考スコア（独自算出の注目度）: 13.124765916935644
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: While Large Language Models (LLMs) rely on highly non-linear components, in this work we demonstrate that they exhibit fundamental linearity: when inputs from distinct text streams are linearly combined, the model outputs a superposition of the individual next-token distributions. We term this the \textit{Superposition Linearity Hypothesis}. We provide evidence that superposition is an intrinsic property of the Transformer architecture rather than an emergent consequence of training; in fact, we observe that it tends to diminish as pretraining progresses. However, we demonstrate that linearity can be substantially restored through lightweight fine-tuning, significantly reducing the divergence between the predicted next-token distribution and the average of the individual next-token distributions. Finally, we introduce a guided decoding procedure that disentangles superposed outputs, enabling the simultaneous generation of two coherent continuations from a single forward pass.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、高非線形成分に依存しているが、本研究では、それらが基本的な線形性を示すことを示す: 異なるテキストストリームからの入力が線形に結合された場合、モデルは、個々の次トーケン分布の重ね合わせを出力する。 これを textit{Superposition Linearity hypothesis} と呼ぶ。 重ね合わせは、トレーニングの創発的な結果ではなく、トランスフォーマーアーキテクチャの本質的な性質であることを示す。 しかし, 線形性は, 軽量微調整により著しく復元可能であることを示し, 予測された次トーケン分布と各次トーケン分布の平均とのばらつきを著しく低減できることを示した。 最後に、重畳された出力をアンタングル化し、単一のフォワードパスから2つのコヒーレント継続を同時に生成するガイド付き復号法を提案する。

関連論文リスト

• Tensor-Train Joint Modeling for Few-Step Discrete Diffusion [25.442970567297326]
  本稿では、テンソル分解による離散拡散における明示的な関節分布モデリングの枠組みを提案する。 我々のフレームワークは、軽量な微調整により事前訓練されたMDMに統合され、スクラッチからトレーニングコストのごく一部で、数ステップ生成を大幅に改善する。
  論文  参考訳（メタデータ） (2026-07-04T09:32:12Z)
• Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
  拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。 両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。 我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
  論文  参考訳（メタデータ） (2026-06-07T02:35:56Z)
• PRISM: Parallel Residual Iterative Sequence Model [52.26239951489612]
  我々はこの緊張を解決するためにPRISM(Parallel Residual Iterative Sequence Model)を提案する。 PRISMは、パラレル化可能な形で多段階精製の重要な構造特性を捉える、ソルバに着想を得た帰納バイアスを導入している。 この定式化が Rank-$L$ の蓄積を達成することを証明し、更新多様体を単一ステップの Rank-$1$ ボトルネックを超えて構造的に拡張する。
  論文  参考訳（メタデータ） (2026-02-11T12:39:41Z)
• Equivalent Linear Mappings of Large Language Models [0.5076419064097734]
  我々は変換器の特性を利用して全ての演算を$A(x) cdot x$と表現し、$A(x)$は入力依存の線形変換を表し、$x$は線形経路を保存する。 この線形構造を公開するために、入力シーケンスに関して勾配の成分を戦略的に切り離し、推論中に計算された値で$A(x)$項を凍結する。 この分離されたヤコビアンは入力トークンごとに1つの線形作用素で出力を再構成し、これは Qwen 3 と Gemma 3 と Llama 3 に対して Qwen 3 14B まで示される。
  論文  参考訳（メタデータ） (2025-05-30T07:08:33Z)
• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
  拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。 因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
  論文  参考訳（メタデータ） (2024-07-01T15:43:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。