論文の概要: Off-Axis, On Purpose: Where a Transformer Computes Concepts and Why it Does So

• arxiv url: http://arxiv.org/abs/2608.10251v1
• Date: Mon, 10 Aug 2026 21:35:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.825901
• Title: Off-Axis, On Purpose: Where a Transformer Computes Concepts and Why it Does So
• Title（参考訳）: Off-Axis, On Purpose: トランスフォーマーが概念を計算し、なぜそうするのか
• Abstract要約: 変圧器の解答は1つの軸に存在し、その非埋め込み方向は読み取る。 12層のモデルが2つのフェーズで計算する。 アーリーエグジットのトレーニングのように、すべてのレイヤをリードアウトにプッシュすることは、パープレキシティ、LAMBADA、BLiMPのベースラインと一致します。
• 参考スコア（独自算出の注目度）: 0.2663471820643486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A transformer's answer lives on one axis: the direction its unembedding reads. Its intermediate states largely do not, and that off-axis position is usually treated as an obstacle to interpretation. We show it is functional. A 12-layer model computes in two phases. Through the first, every sublayer writes into a subspace held near-orthogonal to the read-out, attention 75 to 96 degrees off it at every depth. Moving attention's values onto the read-out is 64 to 84 times more damaging than a matched random rotation, and the damage is entirely in cross-token mixing: the subspace insulates composition from the vocabulary. Beneath it the frame itself turns rigidly with depth. In the second phase the answer arrives on-axis, late, and by addition rather than by turning accumulated content onto the read-out. Pressing every layer onto the read-out instead, as training for early exit does, matches the baseline on perplexity, LAMBADA and BLiMP while cutting the concept-phase workspace from about twenty-five effective dimensions to fourteen, a change none of those benchmarks register. The geometry can also be imposed, though not by asking for it. Prescribing it through the loss is a lottery: six of eight seeds collapse, because a model told to null its read-out projection obeys most cheaply by discarding dimensions. Inserting one fixed rotation at the phase boundary lands it instead, at baseline quality. A sparse rotation the surrounding weights can absorb converges on all nine seeds, against five of nine for ordinary training. Which rotation is immaterial: twenty-five runs across thirteen distinct ones reach the same quality, and two baselines from different seeds hold their concepts in near-orthogonal frames while agreeing on their read-outs. That freedom is usable: a basis drawn at random and prescribed before training is adopted across the concept phase, with quality unchanged.
• Abstract（参考訳）: 変圧器の解答は1つの軸に存在し、その非埋め込み方向は読み取る。 中間状態は概ねそうではなく、オフ軸の位置は通常解釈の障害として扱われる。 機能的であることを示します。 12層のモデルが2つのフェーズで計算する。 第一に、各サブレイヤが読み出しとほぼ直交する部分空間に書き込むと、すべての深さで75度から96度の注意が向けられる。 読み出しに対する注意の値の移動は、一致したランダムな回転の64倍から84倍の損傷を与える。 フレームの下には、フレーム自体が深さとともに厳格に回転する。 第2フェーズでは、蓄積したコンテンツを読み出しに切り替えるのではなく、オン軸、遅く、追加で回答が届く。 アーリーエグジットのトレーニングのように、すべてのレイヤをリードアウトにプッシュすると、ベースラインがパープレキシティ、LAMBADA、BLiMPと一致し、コンセプトフェーズのワークスペースが約25の有効次元から14に切り替わる。 幾何を課すこともできるが、求めているわけではない。 8種のうち6種が崩壊する理由は、読み出しプロジェクションを無効にするよう指示されたモデルが寸法を破棄することで最も安価に従うためである。 位相境界で1つの固定回転を挿入すると、代わりにベースライン品質で着陸する。 周囲の重量がわずかに回転すると、通常の訓練では9種中5種に対して9種すべてに収束する。 異なる種からの2つのベースラインは、読み出しに同意しながら、その概念をほぼ直交するフレームに保持する。 ランダムに描画され、トレーニングに先立って規定されたベースは、コンセプトフェーズにまたがって採用され、品質は変化しない。

関連論文リスト

• Through the Looking Glass: Directly Reading and Writing Transformers [0.2663471820643486]
  18のモデルでは、予測されたトークンから押し出される質量は、それを運ぶ質量の7倍の中央値である。 訓練された12のモデルのうち、124Mから7Bのパラメータで、十分なセットは2つのコンポーネントから16まで実行されます。 すべてがモデル自身のパラメータやアクティベーションから読み出され、トレーニングや調整は行われません。
  論文  参考訳（メタデータ） (2026-09-09T14:12:02Z)
• PARSER: Read in Parallel, Reason in Depth for Long-Context LLM Agents [85.82624962221026]
  本稿では、読みを推論から切り離すPARSERを紹介する。 単一のチャンクにバインドされた軽量サブエージェントのバンクは、ドキュメント全体を並列に読み取る。 7Kから896Kまでのコンテキストを持つマルチホップQAでは、4Bバックボーンを持つPARSERが最強のシーケンシャルメモリベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-06T16:19:01Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• The Depth Flow of Token Representations Is Nonlinear and Does Not Descend Its Own Density [51.736723807086385]
  トークンの表現はネットワーク層を介して層によって行われる。 我々は、この流れの運動方程式を、Pythia-160M と Pythia-410M のコーパス平均軌道上の離散ランゲヴィンモデルとして適合する。 トークンは、標準ランクがシャッフルされ、その濃度ランクが最後のブロックによって反転する間、その角ランクを13層すべてにわたって保持する。
  論文  参考訳（メタデータ） (2026-08-30T10:22:00Z)
• Prompt-Model Interaction Reaches the Fixed Points: A deterministic, task-free structural readout -- and the factorizations of it that failed [0.0]
  ショートウィンドウ argmax map x_t+1 = argmax_x p(x | x_t-1, x_t) の固定点構造は96 から始まる。 6つのモデルのうち4つは、ウィンドウ16で完全に失われている。 第一に、相互作用は全等級でこの読み出しに達する:条件付けの9つのトークンは、そのほとんどにわたって固定点分数を動かす。
  論文  参考訳（メタデータ） (2026-08-21T17:25:18Z)
• Learned, Then Lost: A Measured Single-Example Counterfactual in Pre-training [0.0]
  OpenWebTextのスクラッチから124Mパラメータで32 GPT-2モデルをトレーニングします。 256-rowバッチの1行を194-tokenパスを持つ固定コンテキストインジェクションに置き換える。
  論文  参考訳（メタデータ） (2026-08-19T17:46:08Z)
• Gathered, Not Admitted: How Attention Brings a Latent Variable into Verbalizable Form [0.03038255798961237]
  ヤコビアンレンズを使ったオープンウェイトモデルでテストしたところ、5つの腕が同じコンテキストを共有しているベンチマークでは、それを予測するゲートは見つからなかった。 クエリされた位置で後で読みやすい形式を生成するのは、奥行きの窓の中で注意を介する集まりである。
  論文  参考訳（メタデータ） (2026-08-15T04:12:24Z)
• Wiring Beats Blending: What Transfers Between Transformer Sizes -- and What Doesn't [0.0]
  Wecharacterize the 1.4B->410M conversion in the Pythia family end to end。 重量の残留物は、ノイズアンダーシャッフル制御と統計的に区別できない。 補償は普遍的よりもトークン効率が高く低予算の勝利である。
  論文  参考訳（メタデータ） (2026-08-03T19:44:08Z)
• Multi-Head Attention Residuals [18.056247839398512]
  MHAR(Multi-Head Attention Residuals)は標準変圧器の100M,350M,1Bでのバリデーション損失を改善する。 MHARは、ルーティングクエリをサブスペース毎のHに再設定し、それぞれが深さ履歴に対して独自のソフトマックスを持つ。 トレーニングされたクエリの直接調査では、学習されたサブスペースの不一致が下層のドライバであることを確認している。
  論文  参考訳（メタデータ） (2026-07-22T06:51:51Z)
• Per-Token Fixed-Point Convergence in Depth-Recurrent Transformers [0.0]
  出力が安定すると、各トークンが4.94平均ループで均一な深さ8品質に達すると、各トークンを停止する訓練自由規則を示す。 同じモデルから抽出された収束ラベルに基づいて訓練された線形ルータは、ほぼ完全な深さを必要とし、還元しない。 実際の高速化ではなく,3点壁面ブラケットを用いたFLOPプロキシとしての平均深度を報告する。
  論文  参考訳（メタデータ） (2026-07-15T23:38:44Z)
• Decodable Is Not Grounded: A Vision-Ablation Arbiter for VLM Spatial Reasoning [48.438568700670835]
  モデルから潜在的知識を読み出す標準的な方法は、視覚言語モデルがイメージに根ざしたものを体系的に上書きすることができる。 本研究では,空間的推論において,一直線因果制御によって露呈した探究と操舵の両方に誤差が見えないことを示す。
  論文  参考訳（メタデータ） (2026-06-30T07:33:18Z)
• FORGE: Fused On-Register Gradient Elimination for Memory-Efficient LLM Training [43.28268986528884]
  FORGEはステップを後方のパスに折りたたみ、一度に1つのタイルを全てレジスタに印加するので、各タイルは生成した瞬間に消費され、テンソルになることはない。 すべての要素ワイズ更新において、すべての要素ワイズルールにおいて、すべての要素ワイズルールにおいて、すべての正確性は生存し、シーケンス並列化される。
  論文  参考訳（メタデータ） (2026-06-22T07:08:31Z)
• Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness [45.148328075418156]
  デプロイされた注文エージェントは、階層の固定された分類に分解される。 純粋なスイートは、ロックされたスライス単位のベースラインに対して、すべての変更でCIで動作する。 制御されたレグレッションインジェクションにより、安全でない7つの層に一度に1つの層を分解し、検証する。
  論文  参考訳（メタデータ） (2026-06-10T05:55:13Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Phantom transitions in language model fine-tuning [0.0]
  ほぼ同期の競合相手とコンテキスト上で言語モデルを微調整することは、しばしばサイレントに失敗する。 2つのファミリーにまたがる5つの変圧器アーキテクチャと5つのパラメータ範囲にまたがるこの構造について検討する。 位相遷移に類似した順序パラメータにおいて,鋭いカタパルト様ジャンプを観察する。
  論文  参考訳（メタデータ） (2026-05-25T10:44:42Z)
• Qubit readouts enabled by qubit cloaking [49.1574468325115]
  時間依存ドライブは量子コンピューティングの取り組みにおいて重要な役割を果たす。 シングルキュービット制御、論理演算の絡み合い、およびキュービットの読み出しを可能にする。 クビット・クローキングは、Lled'o, Dassonneville, et alで導入された。
  論文  参考訳（メタデータ） (2023-05-01T15:58:25Z)
• Self-Supervised Learning based on Heat Equation [75.61974935666446]
  本稿では,熱方程式を高次元特徴空間に拡張した自己教師型学習の新たな視点を提案する。 我々は x と y の軸を 2 つの一階線型微分方程式として分割することで単純化する。 これにより、QB-Heatと呼ばれる非常に単純なマスク付き画像モデリング(MIM)手法が導入された。
  論文  参考訳（メタデータ） (2022-11-23T18:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。