論文の概要: Geometry-Guided Layerwise FFN Width Allocation in Transformers
- arxiv url: http://arxiv.org/abs/2608.02064v1
- Date: Mon, 03 Aug 2026 11:08:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.505054
- Title: Geometry-Guided Layerwise FFN Width Allocation in Transformers
- Title（参考訳）: 変圧器における幾何誘導層状FFN幅配置
- Abstract要約: フィードフォワードネットワーク(FFN)はトランスフォーマーパラメータの大部分を占めるが、その隠れた幅は通常深さにわたって一定である。
代わりに、レイヤの振る舞いのフォワードパス測定から、このキャパシティを割り当てることができるかどうかを問う。
我々は,各FFNをトークン表現の雲の輸送とみなし,対応保存シフト,グロモフ・ワッサースタイン歪み,および生およびスケール正規化メトリクスの下での次数1の持続的ホモロジーを用いて,誘導幾何学的変化を定量化する。
- 参考スコア（独自算出の注目度）: 4.109803241412197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Feed-forward networks (FFNs) account for a large fraction of Transformer parameters, yet their hidden width is usually constant across depth. We ask whether this capacity can instead be allocated from a forward-pass measurement of layer behavior. We view each FFN as transporting a cloud of token representations and quantify the induced geometric change using correspondence-preserving shift, Gromov-Wasserstein distortion, and degree-one persistent homology under raw and scale-normalized metrics. A layerwise approximation surrogate yields an exact fixed-budget optimizer. Across seven pretrained language models, raw Euclidean work largely tracks residual-norm growth, whereas normalized work is predominantly front-loaded. Gromov-Wasserstein work is more consistently associated with perturbation-based layer sensitivity than the finite-sample topological estimate. In paired 128M and 256M training runs, several normalized-work schedules reduce mean validation loss relative to both uniform width and a hand-designed cosine taper. With the amplified paired differences at 440M, the best geometry-based allocations improve over uniform substantially larger than the cosine taper, while the anti-topological raw control is worse than uniform.
- Abstract（参考訳）: フィードフォワードネットワーク(FFN)はトランスフォーマーパラメータの大部分を占めるが、その隠れた幅は通常深さにわたって一定である。
代わりに、レイヤの振る舞いのフォワードパス測定から、このキャパシティを割り当てることができるかどうかを問う。
我々は,各FFNをトークン表現の雲の輸送とみなし,対応保存シフト,グロモフ・ワッサースタイン歪み,および生およびスケール正規化メトリクスの下での次数1の持続的ホモロジーを用いて,誘導幾何学的変化を定量化する。
層状近似サロゲートは、正確な固定予算オプティマイザを生成する。
7つの事前訓練された言語モデルの中で、生のユークリッドの作業は残留ノルムの成長をほとんど追跡するが、正規化の作業は概ね前面に積まれている。
グロモフ・ワッサーシュタインの研究は、有限サンプル位相推定よりも摂動に基づく層感度に一貫して関連している。
ペア128Mと256Mのトレーニング実行では、いくつかの正規化された作業スケジュールにより、一様幅と手書きのコサインテーパの両方に対する平均検証損失が減少する。
440Mでの対差の増幅により、最良の幾何ベースの割り当てはコサインテーパーよりもかなり大きくなり、反位相的生制御は均一よりも悪い。
関連論文リスト
- Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳（メタデータ） (2026-06-05T14:00:47Z) - Hierarchical Transformer Preconditioning for Interactive Physics Simulation [28.137076331332413]
階層型トランスフォーマープレコンディショナー(Hierarchical Transformer Preconditioner)は、弱い許容率のH行列分割に固定されたニューラルプレコンディショナーである。
ネットワークは低ランクの遠距離因子を通して逆をモデル化する。
高速道路の接続を利用して、奥行きを隔ててコンテキストを伝播する。
論文 参考訳（メタデータ） (2026-05-13T11:02:27Z) - QuadNorm: Resolution-Robust Normalization for Neural Operators [41.429437803093485]
正規化層における既存の一様平均化を数値的二次化(QuadNorm)とBlendQuadNorm(BlendQuadNorm)に置き換える二次正規化ファミリを導入する。
終端包含一様格子では、提案された二次モーメントは離散化全体で$O(h2)$-一貫性を持つ。
転送エラー境界は、正規化によって引き起こされるミスマッチが、解像度ギャップとネットワーク深さの両方でどのようにスケールするかを予測する。
論文 参考訳（メタデータ） (2026-05-08T07:30:43Z) - Stream separation improves Bregman conditioning in transformers [4.7718339202518685]
変換器表現を操る線形手法は、表現空間の幾何学がユークリッド的であることを暗黙的に仮定する。
Park et al. は、ソフトマックスは、計量テンソルが対数正規化子のヘシアンである曲線化されたブレグマン幾何学を誘導することを示した。
制御された2x2設計ストリーム分離における中間層におけるこのヘシアンを層間監視により測定する。
論文 参考訳（メタデータ） (2026-03-22T16:55:57Z) - Variational Bayesian Flow Network for Graph Generation [54.94088904387278]
グラフ生成のための変分ベイズフローネットワーク(VBFN)を提案する。
VBFNは、構造化精度で支配されるトラクタブルジョイントガウス変分信念ファミリーに対して変分リフトを行う。
合成グラフと分子グラフのデータセットでは、VBFNは忠実度と多様性を改善し、ベースライン法を超えている。
論文 参考訳（メタデータ） (2026-01-30T03:59:38Z) - SPINAL -- Scaling-law and Preference Integration in Neural Alignment Layers [16.976750197698063]
本研究では,深度にまたがってアライメントが表現にどう影響するかを測定する診断手法であるSPINALを紹介する。
モデルファミリ全体で、DPOは最終デコーダブロックに集中する層ワイドキャリブレーション効果を生成する。
調整されたチェックポイントは、収縮の後期層の増加と輸送の円滑な減少を示し、厳密で安定した政策質量と一致している。
論文 参考訳（メタデータ） (2026-01-08T17:47:12Z) - WUSH: Near-Optimal Adaptive Transforms for LLM Quantization [52.77441224845925]
低ビット幅への量子化は、大きな言語モデルをデプロイするための標準的なアプローチである。
いくつかの極端な重みと活性化は、ダイナミックレンジを拡張し、量子化器の有効分解能を減少させる。
結合重みアクティベーション量子化のための閉形式最適線形ブロックワイズ変換を初めて導出する。
論文 参考訳（メタデータ） (2025-11-30T16:17:34Z) - Precise Bayesian Neural Networks [0.0]
我々は,現代的な正規化アーキテクチャに適合し,精度を犠牲にすることなくキャリブレーションを改善する軽量で実装可能な変分ユニットを開発した。
簡単に言えば、変分後部をネットワーク固有の幾何学と整合させることで、BNNは同時に原理化され、実用的で、正確である。
論文 参考訳（メタデータ） (2025-06-24T15:42:00Z) - Orthogonalizing Convolutional Layers with the Cayley Transform [83.73855414030646]
直交に制約された畳み込み層をパラメータ化するための代替手法を提案し,評価する。
本手法は,大規模畳み込みにおいても直交性が高次に保たれることを示す。
論文 参考訳（メタデータ） (2021-04-14T23:54:55Z) - TFill: Image Completion via a Transformer-Based Architecture [69.62228639870114]
画像補完を無方向性シーケンス対シーケンス予測タスクとして扱うことを提案する。
トークン表現には,小かつ重複しないRFを持つ制限型CNNを用いる。
第2フェーズでは、可視領域と発生領域の外観整合性を向上させるために、新しい注意認識層(aal)を導入する。
論文 参考訳（メタデータ） (2021-04-02T01:42:01Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。