論文の概要: Neural Dimensional Analysis: Foundations of Dimensionless and Scale-Consistent Computation

• arxiv url: http://arxiv.org/abs/2610.17969v1
• Date: Tue, 13 Oct 2026 08:43:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 07:59:26.432951
• Title: Neural Dimensional Analysis: Foundations of Dimensionless and Scale-Consistent Computation
• Title（参考訳）: ニューラル次元解析:次元レス・スケール一貫性計算の基礎
• Abstract要約: 現代のトランスフォーマーは、正規化、残留スケーリング、注意温度、損失重み付け、適応更新など、多くのスケール制御機構に依存している。 次元整合性に基づく統合フレームワークであるニューラル次元解析(NDA)を導入する。
• 参考スコア（独自算出の注目度）: 41.429437803093485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern Transformers rely on many scale-control mechanisms, including normalization, residual scaling, attention temperatures, loss weighting, and adaptive updates. To explain how these mechanisms maintain scale consistency, we introduce Neural Dimensional Analysis (NDA), a unified framework based on dimensional consistency. We define neural units that specify how tensors rescale and which quantities can be added, just as physical units do in physics. Our rules match residual units, nondimensionalize attention and gate inputs, combine losses across units, and convert gradient units into parameter units. We implement NDA through dimensionless Unit Violation Indices (UVI) for diagnosing scale mismatches within Transformers, a unit-consistent multi-loss objective, and the Gauge-Canonical Transformer (GCT) with normalized coordinates and orthogonalized residual additions. In language-model experiments spanning 51M to 1B parameters, GCT remains stable during training across a broad sixteenfold learning-rate range, outperforming Pre-LN, LLaMA-style, and QK-Norm in 124M validation loss at tuned learning rates. GCT's normalized residual stream also shows improved robustness to quantization. At 1B parameters, calibrated per-tensor int8 quantization increases GCT's validation loss by only 0.009 nats, compared with up to 5.51 nats for the baselines. Vision and physics-informed neural network experiments further confirm NDA's benefits beyond language modeling. These results establish dimensional consistency as a neural network design principle.
• Abstract（参考訳）: 現代のトランスフォーマーは、正規化、残留スケーリング、注意温度、損失重み付け、適応更新など、多くのスケール制御機構に依存している。 これらのメカニズムがスケールの整合性をどのように維持するかを説明するために、次元整合性に基づく統一的なフレームワークであるニューラル次元解析(NDA)を導入する。 物理的単位が物理で行うように、テンソルの再スケール方法と、追加可能な量を指定する神経単位を定義する。 我々の規則は残差単位と一致し、非次元の注意とゲート入力が一致し、単位間の損失を結合し、勾配単位をパラメータ単位に変換する。 我々は,非次元単位振動指標(UVI)を用いてNDAを実装し,正規化座標と直交化残差加算を付加したGauge-Canonical Transformer(GCT)を用いて,変圧器内のスケールミスマッチの診断を行う。 51Mから1Bのパラメータにまたがる言語モデル実験では、GCTは、学習速度が114MのPre-LN、LLaMAスタイル、QK-Normよりも優れており、学習速度の訓練中も安定している。 GCTの正規化された残留ストリームもまた、量子化に対する堅牢性の向上を示している。 1Bパラメータでは、テンソル毎のint8量子化の校正により、GCTのバリデーション損失は0.009ナットしか増加せず、ベースラインでは最大5.51ナットとなる。 ビジョンと物理インフォームドニューラルネットワークの実験は、言語モデリング以外のNDAのメリットをさらに確認している。 これらの結果は、ニューラルネットワーク設計の原則として次元整合性を確立する。

関連論文リスト

• GINIO: A Geometric SO(3)-Equivariant Interface for Neural Inertial Odometry [11.049454306210428]
  我々は、IMU測定フレームの任意の回転の下で、神経慣性オドメトリーのための幾何SO(3)等価なインタフェースであるGINIOを提案する。 センサフレームの効率的な学習を支援するために,決定論的前処理ステップであるLast-Frame Alignment(LFA)を導入する。 また、フィルタ接続されたNIO、AirIOスタイルのリカレント空中予測、EqNIOスタイルのフルSO(3)標準化、ResNetスタイルの時間バックボーンにおいて、同じインターフェースをインスタンス化する。
  論文  参考訳（メタデータ） (2026-09-21T19:28:14Z)
• Reducing ANN-SNN Conversion Error via Residual Membrane Potential Alignment [52.910770415431244]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのコアアーキテクチャとして機能する。 ANN-SNN変換は、低レイテンシでエネルギー効率のよい推論のために、よく訓練されたANN重みを再利用することで問題を回避している。 既存の変換方式は、小さなタイミングで精度の低下、大きな推論遅延、累積量子化誤差に悩まされている。
  論文  参考訳（メタデータ） (2026-08-14T04:46:03Z)
• Mitigating Measurement-Induced Training Instability in Hybrid Quantum Neural Networks for Protein Classification [0.0]
  学習可能なスケーリングパラメータである量子計測温度(Quantum Measurement Temperature, QMT)を導入し, 損失前に量子計測出力を再スケールする。 QMTは、トレーニング中に動作し、量子測定出力の物理的に課された境界を補償する。 その結果,QMTはハイブリッドQNNの安定かつ信頼性の高い訓練を実用化するために有効であることがわかった。
  論文  参考訳（メタデータ） (2026-06-21T15:10:51Z)
• Flow-Induced Diagonal Gaussian Processes [7.720921989821054]
  フロー誘起対角ガウス過程(フロー誘起対角ガウス過程、FiD-GP)は、コンパクトな誘導重み行列を組み込んだ圧縮フレームワークである。 本稿では,FiD-GPがOoD(Out-of-Distribution)検出のための単一パスプロジェクションの設計にどのように役立つかを示す。
  論文  参考訳（メタデータ） (2025-09-21T16:49:09Z)
• Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design [68.86220939532373]
  有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。 提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
  論文  参考訳（メタデータ） (2022-07-19T16:37:24Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)
• Mixed Precision of Quantization of Transformer Language Models for Speech Recognition [67.95996816744251]
  トランスフォーマーが表現する最先端のニューラルネットワークモデルは、実用アプリケーションにとってますます複雑で高価なものになりつつある。 現在の低ビット量子化法は、均一な精度に基づいており、量子化エラーに対するシステムの異なる部分での様々な性能感度を考慮できない。 最適局所精度設定は2つの手法を用いて自動的に学習される。 Penn Treebank (PTB)とSwitchboard corpusによるLF-MMI TDNNシステムの試験を行った。
  論文  参考訳（メタデータ） (2021-11-29T09:57:00Z)
• Pruning Redundant Mappings in Transformer Models via Spectral-Normalized Identity Prior [54.629850694790036]
  スペクトル正規化アイデンティティ事前 (SNIP) は、トランスフォーマーモデルにおける残余モジュール全体をアイデンティティマッピングに向けてペナライズする構造化プルーニング手法である。 5つのGLUEベンチマークタスクでBERTを用いて実験を行い、SNIPが同等の性能を維持しながら効率的な刈り取り結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-10-05T05:40:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。