論文の概要: Stream separation improves Bregman conditioning in transformers
- arxiv url: http://arxiv.org/abs/2603.21317v1
- Date: Sun, 22 Mar 2026 16:55:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.351597
- Title: Stream separation improves Bregman conditioning in transformers
- Title（参考訳）: ストリーム分離による変圧器のブレグマン条件の改善
- Abstract要約: 変換器表現を操る線形手法は、表現空間の幾何学がユークリッド的であることを暗黙的に仮定する。
Park et al. は、ソフトマックスは、計量テンソルが対数正規化子のヘシアンである曲線化されたブレグマン幾何学を誘導することを示した。
制御された2x2設計ストリーム分離における中間層におけるこのヘシアンを層間監視により測定する。
- 参考スコア（独自算出の注目度）: 4.7718339202518685
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Linear methods for steering transformer representations, including probing, activation engineering, and concept erasure, implicitly assume the geometry of representation space is Euclidean. Park et al. [Park et al., 2026] showed that softmax induces a curved Bregman geometry whose metric tensor is the Hessian of the log-normalizer, $H(λ) = Cov[γ | λ]$. Ignoring this curvature causes Euclidean steering to leak probability mass to unintended tokens. Their analysis applies at the output layer. We measure this Hessian at intermediate layers in a controlled 2x2 design crossing stream separation with per-layer supervision (vocabulary decoding loss at each layer), all at matched vocabulary and parameter count. In standard single-stream transformers, H is severely degenerate at intermediate layers (effective rank 8 in 516 dimensions). Stream separation improves conditioning by up to 22 in effective rank, even without auxiliary supervision. Per-layer supervision helps, but less. The cosine similarity between primal and dual concept directions predicts per-layer steering effectiveness on downstream tasks, with a threshold near 0.3. These results bear on the reliability of linear safety interventions, which depend on the geometry being well-conditioned at the layer where they are applied.
- Abstract（参考訳）: 探索、アクティベーションエンジニアリング、概念消去を含む変換器表現を操る線形手法は、表現空間の幾何学をユークリッドと暗黙的に仮定する。
Park et al [Park et al , 2026] は、ソフトマックスが、計量テンソルが対数正規化子のヘシアンである曲線化されたブレグマン幾何学を誘導することを示した。
この曲率を無視すると、ユークリッドの操舵は意図しないトークンに確率質量を漏らす。
それらの分析は出力層に適用される。
制御された2x2設計ストリーム分離において,このヘシアンを中間層で測定し,各層における語彙復号損失)、すべて一致する語彙とパラメータ数で測定する。
標準単流変圧器では、Hは中間層(有効ランク8は516次元)で著しく縮退する。
ストリーム分離は、補助的な監督なしでも、効果的なランクで22までの条件付けを改善する。
レイヤ単位の監視は役に立つが、少ない。
原始方向と双対方向のコサイン類似性は、下流タスクにおける層間ステアリング効果を0.3付近で予測する。
これらの結果は、線形安全介入の信頼性にかかっている。
関連論文リスト
- 3D Euler-Angle Orientation Control for Two-Ray Fading Mitigation in Maritime Air-to-Sea Communications [6.741942263052468]
海上空対海リンクは、目視線と海面反射線によって支配されており、その破壊的な組み合わせは深いフェードを発生させる。
既存の緩和戦略は無人航空機の位置や軌道を最適化するが、姿勢は明らかにしない。
本稿では、アンテナ位相中心変位による2線干渉を形作る物理層制御変数として、全3次元姿勢を扱う。
論文 参考訳（メタデータ） (2026-09-10T12:42:04Z) - Geometry-Guided Layerwise FFN Width Allocation in Transformers [4.109803241412197]
フィードフォワードネットワーク(FFN)はトランスフォーマーパラメータの大部分を占めるが、その隠れた幅は通常深さにわたって一定である。
代わりに、レイヤの振る舞いのフォワードパス測定から、このキャパシティを割り当てることができるかどうかを問う。
我々は,各FFNをトークン表現の雲の輸送とみなし,対応保存シフト,グロモフ・ワッサースタイン歪み,および生およびスケール正規化メトリクスの下での次数1の持続的ホモロジーを用いて,誘導幾何学的変化を定量化する。
論文 参考訳（メタデータ） (2026-08-03T11:08:58Z) - Attractor Geometry Determines the Identifiability Limits of System Discovery [0.764671395172401]
1つの数値、$_min(M)$はスパース回帰(SINDy)と進化回帰(PySR)の両方に対して識別可能性天井を設定する。
また、二進数や予測スコアに見えない性能差を解消する係数重み付き構造計量であるSoft F1を導入する。
論文 参考訳（メタデータ） (2026-07-20T20:19:19Z) - CascadeFormer: Depth-Tapered Transformers Motivated by Gradient Fan-in Asymmetry [34.36337082439934]
ディープトランスフォーマーは、一様に積み重ねられた残余ブロックで構成されているが、最も深いレイヤは、ほとんど価値を与えない。
この非対称性を利用する2つの効率方法を提案する。
CascadeFormerは、レイヤー間の不均一な情報フローに一致する深さで幅をテーパーし、同じトレーニング予算で均一なベースラインに匹敵する難易度を実現し、レイテンシを8.6%削減し、スループットを9.4%向上させた。
論文 参考訳（メタデータ） (2026-06-25T02:25:00Z) - Taming Curvature: Architecture Warm-Up for Stable Transformer Training [52.6838951211596]
本稿では,Hessian-vector製品を用いた暖かくスタートした変種に基づく最大(プレコンディション付き)Hessian固有値(曲率)の高速オンライン推定手法を提案する。
トレーニングの不安定性は、事前条件付き曲率の急激な上昇と一致し、曲率の深さが増加する。
大規模変圧器の実験により,本手法が効率的な曲率追跡を可能にし,不安定性を低減できることを確認した。
論文 参考訳（メタデータ） (2026-06-15T14:16:56Z) - Hierarchical Transformer Preconditioning for Interactive Physics Simulation [28.137076331332413]
階層型トランスフォーマープレコンディショナー(Hierarchical Transformer Preconditioner)は、弱い許容率のH行列分割に固定されたニューラルプレコンディショナーである。
ネットワークは低ランクの遠距離因子を通して逆をモデル化する。
高速道路の接続を利用して、奥行きを隔ててコンテキストを伝播する。
論文 参考訳（メタデータ） (2026-05-13T11:02:27Z) - Residual Stream Duality in Modern Transformer Architectures [9.910562011343009]
最近の研究により、残留経路は単なる最適化配管ではなく、モデルの表現機械の一部であることが明らかになった。
このデザイン空間を整理する最もクリーンな方法は、Transformerの2軸ビューである、と私たちは主張する。
論文 参考訳（メタデータ） (2026-03-17T00:56:29Z) - Latent attention on masked patches for flow reconstruction [8.69419238669827]
本稿では,マスクフロー再構成のためのレグレッションベースの修正視覚変換器であるLAMPモデルについて紹介する。
その結果,LAMPは10dBから30dBの信号対雑音比で90%の入力から全流れ場を正確に再構成することがわかった。
論文 参考訳（メタデータ） (2026-03-02T16:12:40Z) - Gated Removal of Normalization in Transformers Enables Stable Training and Efficient Inference [2.1665689529884697]
RMSNorm/LayerNormをドロップインで置き換えたTaperNormを紹介します。
1つのグローバルゲートは、ゲートウォームアップ中に$g=1$で保持され、EMAを介してスケーリングブランチをキャリブレーションし、コサインデケイを$g=0$にする。
マイクロベンチマークでは、折りたたみ内部のスケーリングは、ラスト・トーケン・ロジット・モードで最大1.22倍のスループットを得る。
論文 参考訳（メタデータ） (2026-02-11T01:40:34Z) - How Transformers Learn Regular Language Recognition: A Theoretical Study on Training Dynamics and Implicit Bias [48.9399496805422]
我々は「偶対」と「パリティチェック」と呼ばれる正規言語認識のカテゴリにおける2つの代表的タスクに焦点をあてる。
我々のゴールは、注意層と線形層からなる一層トランスフォーマーが、これらの課題をいかに解決するかを探求することである。
論文 参考訳（メタデータ） (2025-05-02T00:07:35Z) - Parallelizing Linear Transformers with the Delta Rule over Sequence Length [49.88826673324244]
この研究は、デルタ則で線形変圧器を訓練するためのハードウェア効率の良いアルゴリズムについて述べる。
我々は100Bトークンに対して1.3Bモデルをトレーニングし、最近の線形時間ベースラインよりも優れていることを発見した。
論文 参考訳（メタデータ） (2024-06-10T17:24:42Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳（メタデータ） (2023-08-31T17:57:50Z) - Orthogonal Jacobian Regularization for Unsupervised Disentanglement in
Image Generation [64.92152574895111]
直交ジャコビアン正規化法(OroJaR)を提案する。
提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
論文 参考訳（メタデータ） (2021-08-17T15:01:46Z) - Orthogonalizing Convolutional Layers with the Cayley Transform [83.73855414030646]
直交に制約された畳み込み層をパラメータ化するための代替手法を提案し,評価する。
本手法は,大規模畳み込みにおいても直交性が高次に保たれることを示す。
論文 参考訳（メタデータ） (2021-04-14T23:54:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。