論文の概要: TEMPER: Tensorized Efficient Manifold-constrained Parameterization for Expressive Residual Routing

• arxiv url: http://arxiv.org/abs/2608.07851v1
• Date: Sat, 08 Aug 2026 01:45:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.531343
• Title: TEMPER: Tensorized Efficient Manifold-constrained Parameterization for Expressive Residual Routing
• Title（参考訳）: TEMPER:表現的残留ルーティングのための高効率マニフォールド制約パラメータ化
• Abstract要約: 残留接続は静的な残留経路に依存しており、ディープニューラルネットワークのトレーニングに必須である。 underlinetextbf Tensorized underlinetextbfEfficient underlinetextbfManifold-constrained underlinetextbfParameterization for underlinetextbfExpressive Residual underlinetextbfRouting。
• 参考スコア（独自算出の注目度）: 7.909872430050534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Residual connections rely on a static residual pathway, and are essential for training deep neural networks. Hyper-connections (HC) increase the expressivity of residual routing by incorporating multiple residual streams and learning dynamic information flow, while manifold-constrained (mHC) variants stabilize training through doubly stochastic residual mixing. However, a generator-level bottleneck remains in existing methods: they use dense, unstructured generators for pre-branch aggregation, residual mixing, and post-branch redistribution, which results in parameter count growing rapidly with the number of streams. To address this issue, we propose \underline{\textbf{T}}ensorized \underline{\textbf{E}}fficient \underline{\textbf{M}}anifold-constrained \underline{\textbf{P}}arameterization for \underline{\textbf{E}}xpressive Residual \underline{\textbf{R}}outing (\textbf{TEMPER}), which represents these generators as multi-way tensors over the input-stream, feature, and output-stream modes, and parameterizes them using tensor networks. Such a structured low-rank formulation is shown to preserve token-dependent manifold-constrained routing interface while substantially reducing parameter growth. It also promotes interpretability and intuition, as: i) tensor ranks control the dimensionality of the learned routing subspace, with full ranks recovering dense routing; while ii) the generator approximation errors bound differences in routing logits and, consequently, in the routed-block outputs. Comprehensive experiments show that TEMPER matches or outperforms existing methods across language modeling and commonsense reasoning tasks, while requiring substantially fewer additional parameters. At eight residual streams, TEMPER achieves the best CORE score while using about $84\%$ fewer additional parameters than mHC, thus showing a stronger performance-parameter efficiency trade-off.
• Abstract（参考訳）: 残留接続は静的な残留経路に依存しており、ディープニューラルネットワークのトレーニングに必須である。 ハイパーコネクション(HC)は、複数の残留ストリームを組み込んだり、動的情報の流れを学習することで、残留ルーティングの表現性を高める一方、多様体制約(mHC)の変種は、二重確率的残留混合によるトレーニングを安定化させる。 しかし、ジェネレータレベルのボトルネックは、プレブランチアグリゲーション、残留ミキシング、およびポストブランチ再分配に、密度の高い非構造ジェネレータを使用しており、その結果、ストリーム数の増加とともにパラメータ数が急速に増加する。 この問題に対処するために、我々は \underline{\textbf{T}}ensorized \underline{\textbf{E}}fficient \underline{\textbf{M}}anifold-constrained \underline{\textbf{P}}arameterization for \underline{\textbf{E}}xpressive Residual \underline{\textbf{R}}outing (\textbf{TEMPER})を提案する。 このような構造的低ランクな定式化は、パラメータ成長を著しく低減しつつ、トークン依存の多様体制約付きルーティングインタフェースを保存することが示される。 解釈可能性や直感も促進する。 一 テンソルは、学習したルーティング部分空間の次元を制御し、全ランクが密集したルーティングを回復する一方で、 二 ジェネレータの近似誤差は、ルーティングロジットの差に縛られ、従って、ルーティングブロック出力に拘束される。 包括的実験により、TEMPERは言語モデリングや常識推論タスクにまたがって既存のメソッドにマッチし、性能を上回り、追加のパラメータをかなり少なくすることを示した。 8つの残留ストリームにおいて、TEMPERはmHCよりも約8,4\%$のパラメータを減らし、最高のCOREスコアを得る。

関連論文リスト

• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• Plug-and-Play Guidance for Discrete Diffusion Models via Gradient-Informed Logit Correction [7.637257579386074]
  離散拡散モデルによる制御可能な生成は、しばしば高い計算オーバーヘッドや再学習の必要性によって妨げられる。 Informed underlinetextbfCorrection (textbfGILC) は,誘導信号を効率的に推定するプラグイン・アンド・プレイ・フレームワークである。
  論文  参考訳（メタデータ） (2026-06-04T15:41:53Z)
• When Model Merging Breaks Routing: Training-Free Calibration for MoE [67.27839627141972]
  Hessian-Aware Router (HARC) は、二階曲率情報を利用してマージされたルータを認識できるトレーニングフリーのフレームワークである。 数学的推論とコード生成タスクの実験は、HARCが様々なMoEマージベースライン間のルーティングの分解を効果的に軽減していることを示している。
  論文  参考訳（メタデータ） (2026-06-02T09:33:33Z)
• Automatically Differentiable Nonlinear Tensor Networks (ADNTNs) for Exponential Compression of Deep Neural Networks [8.605564917115663]
  ADNTNは、逆モード自動微分(AD)によりエンドツーエンドに訓練されたコンパクトコアテンソルを持つ構造付きウェイトジェネレータのファミリーである 本稿では,木ネットワーク(TTN),拡張TTN(aTTN),拡張TTN(aTTN),マルチスケールエンタングルメント・リノベーション(MERA)の3つのアーキテクチャに焦点を当てる。
  論文  参考訳（メタデータ） (2026-05-28T19:43:10Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Discrete Stochastic Localization for Non-autoregressive Generation [18.211690435751446]
  ボトルネックは連続性そのものではなく、時間段階のノイズレジームに依存しているような表現である、と我々は主張する。 emphDiscreteは,単位球面トークンを埋め込んだ連続状態フレームワークである。 1つのトレーニングされたネットワークは、特別なケースとしてエンドポイントのマスク付き拡散パスを持つ、トークンごとのSNRパスのファミリー全体をサポートする。
  論文  参考訳（メタデータ） (2026-05-13T00:12:24Z)
• Riemannian MeanFlow for One-Step Generation on Manifolds [54.09734511705173]
  フローマッチングは、生成モデルのシミュレーション不要なトレーニングを可能にする。 平均フローは、位置依存接空間に速度が存在する多様体値生成に拡張することができる。 球面, トーリ, SO(3)における実験は, 品質・効率のトレードオフを改善し, サンプリングコストを大幅に削減して, 競争力のある一段階サンプリングを実証した。
  論文  参考訳（メタデータ） (2026-03-11T12:41:46Z)
• Variational Bayesian Flow Network for Graph Generation [54.94088904387278]
  グラフ生成のための変分ベイズフローネットワーク(VBFN)を提案する。 VBFNは、構造化精度で支配されるトラクタブルジョイントガウス変分信念ファミリーに対して変分リフトを行う。 合成グラフと分子グラフのデータセットでは、VBFNは忠実度と多様性を改善し、ベースライン法を超えている。
  論文  参考訳（メタデータ） (2026-01-30T03:59:38Z)
• Sparse by Rule: Probability-Based N:M Pruning for Spiking Neural Networks [66.61171793101872]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動のスパース計算を通じてエネルギー効率の高いインテリジェンスを約束するが、より深いアーキテクチャはパラメータと計算コストを増大させ、エッジデプロイメントを妨げている。 SNNプルーニングの最近の進歩は、この負担を軽減するのに役立っているが、既存の取り組みは、スパシティが高いが一般的なハードウェアでは加速が難しいインハン構造化プルーニング(emphunstructured pruning)と、デプロイが容易だが柔軟性に欠けるエンハン構造化プルーニング(emphstructured pruning)の2つのファミリーに限られる。 最初のSNNであるbfSpikeNMを紹介する。
  論文  参考訳（メタデータ） (2025-11-15T08:23:20Z)
• Kernel Regression of Multi-Way Data via Tensor Trains with Hadamard Overparametrization: The Dynamic Graph Flow Case [9.941965164307843]
  Kernel Regression via Trains with Hadamard overparametrization (KReTTaH)は、マルチウェイデータ計算を解釈可能な回帰ベースのフレームワークである。 KReTTaHは、最先端の代替品を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-09-26T11:00:05Z)
• Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
  構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。 プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。 そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-25T05:30:26Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。