論文の概要: A Muon-Accelerated Algorithm for Low Separation Rank Tensor Generalized Linear Models

• arxiv url: http://arxiv.org/abs/2604.04726v1
• Date: Mon, 06 Apr 2026 14:47:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:19.233373
• Title: A Muon-Accelerated Algorithm for Low Separation Rank Tensor Generalized Linear Models
• Title（参考訳）: 低分離ランクテンソル一般化線形モデルのためのミューオン加速アルゴリズム
• Authors: Xiao Liang, Shuang Li,
• Abstract要約: 低分離ランク(LSR)分解は、低ランク多線形係数テンソルテンソルを付与することにより、モデルの複雑さを低減する。 LSRベースのテンソルGLM (LSR-TGLMs) を推定するための代表的なアプローチは、ブロック座標の降下を導入し、繰り返しQRベースの投影によって因子の直感性を強制する低分離ランク回帰 (LSRTR) アルゴリズムである。 本稿では,LSRTR フレームワークに Muon の更新を組み込んだ LSRTR-M を提案する。
• 参考スコア（独自算出の注目度）: 9.341971485553428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensor-valued data arise naturally in multidimensional signal and imaging problems, such as biomedical imaging. When incorporated into generalized linear models (GLMs), naive vectorization can destroy their multi-way structure and lead to high-dimensional, ill-posed estimation. To address this challenge, Low Separation Rank (LSR) decompositions reduce model complexity by imposing low-rank multilinear structure on the coefficient tensor. A representative approach for estimating LSR-based tensor GLMs (LSR-TGLMs) is the Low Separation Rank Tensor Regression (LSRTR) algorithm, which adopts block coordinate descent and enforces orthogonality of the factor matrices through repeated QR-based projections. However, the repeated projection steps can be computationally demanding and slow convergence. Motivated by the need for scalable estimation and classification from such data, we propose LSRTR-M, which incorporates Muon (MomentUm Orthogonalized by Newton-Schulz) updates into the LSRTR framework. Specifically, LSRTR-M preserves the original block coordinate scheme while replacing the projection-based factor updates with Muon steps. Across synthetic linear, logistic, and Poisson LSR-TGLMs, LSRTR-M converges faster in both iteration count and wall-clock time, while achieving lower normalized estimation and prediction errors. On the Vessel MNIST 3D task, it further improves computational efficiency while maintaining competitive classification performance.
• Abstract（参考訳）: テンソル値のデータは、バイオメディカルイメージングのような多次元信号やイメージングの問題で自然に発生する。 一般化線形モデル(GLMs)に組み込むと、単純ベクトル化はそれらの多方向構造を破壊し、高次元で不適切な推定につながる。 この課題に対処するために、低分離ランク(LSR)分解は、係数テンソルに低ランクの多重線型構造を付与することにより、モデルの複雑さを減少させる。 LSRベースのテンソルGLM (LSR-TGLMs) を推定するための代表的なアプローチは、ブロック座標の降下を採用し、繰り返しQRベースの投影によって係数行列の直交性を適用する低分離ランクテンソル回帰 (LSRTR) アルゴリズムである。 しかし、反復射影ステップは計算的に要求され、収束が遅くなる。 このようなデータからスケーラブルな推定と分類の必要性から,我々は,Mun (MomentUm Orthogonalized by Newton-Schulz) の更新を LSRTR フレームワークに組み込んだ LSRTR-M を提案する。 具体的には、LSRTR-Mは、プロジェクションベースの因子更新をミューオンステップに置き換えながら、元のブロック座標スキームを保存する。 合成線形、ロジスティック、ポアソンLSR-TGLM全体で、LSRTR-Mは反復数と壁面時間の両方でより高速に収束し、より低い正規化推定と予測誤差を達成する。 Vessel MNIST 3Dタスクでは、競合する分類性能を維持しながら、計算効率をさらに向上する。

関連論文リスト

• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• QuantVSR: Low-Bit Post-Training Quantization for Real-World Video Super-Resolution [53.13952833016505]
  実世界のビデオ超解像(VSR)のための低ビット量子化モデルを提案する。 キャリブレーションデータセットを用いて各レイヤの空間的および時間的複雑さを計測する。 我々はFPおよび低ビット分岐を改良し、同時最適化を実現する。
  論文  参考訳（メタデータ） (2025-08-06T14:35:59Z)
• QR-LoRA: Efficient and Disentangled Fine-tuning via QR Decomposition for Customized Generation [52.024845354511555]
  構造化パラメータ更新にQR分解を利用する新しい微調整フレームワークであるQR-LoRAを提案する。 我々の重要な洞察は、Q行列が視覚的特徴間の干渉を自然に最小化することである。 QR-LoRAは、コンテンツスタイルの融合タスクにおいて、より優れた絡み合いを実現することを示す実験である。
  論文  参考訳（メタデータ） (2025-07-07T01:31:01Z)
• LoTR: Low Tensor Rank Weight Adaptation [47.4904143988667]
  大規模言語モデル(LLM)のパラメータ効率向上のための新しいアプローチであるLoTRを導入する。 LoTRはテンソル分解の形でパラメータの勾配更新を表す。 低ランクテンソル表現を持つ層列の同時圧縮により、LoTRはより優れたパラメータ効率をアーカイブできる。
  論文  参考訳（メタデータ） (2024-02-02T13:00:38Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• Accurate Discharge Coefficient Prediction of Streamlined Weirs by Coupling Linear Regression and Deep Convolutional Gated Recurrent Unit [2.4475596711637433]
  本研究では,CFDシミュレーションに代わるデータ駆動モデリング手法を提案する。 提案した3層階層型DLアルゴリズムは,後続の2つのGRUレベルを結合した畳み込み層で構成されており,LR法とハイブリダイゼーションすることで,誤差の低減につながることがわかった。
  論文  参考訳（メタデータ） (2022-04-12T01:59:36Z)
• Scalable Spatiotemporally Varying Coefficient Modelling with Bayesian Kernelized Tensor Regression [17.158289775348063]
  カーネル化されたテンソル回帰(BKTR)は、低ランクの時間構造を持つモデリングプロセスに対する新しいスケーラブルなアプローチと考えられる。 そこで本研究では,BKTRのモデル推定と推定において,BKTRの優れた性能と効率性を確認した。
  論文  参考訳（メタデータ） (2021-08-31T19:22:23Z)
• Estimation of Switched Markov Polynomial NARX models [75.91002178647165]
  非線形自己回帰(NARX)成分を特徴とするハイブリッド力学系のモデル群を同定する。 提案手法は, 特定の回帰器を持つ3つの非線形サブモデルからなるSMNARX問題に対して実証される。
  論文  参考訳（メタデータ） (2020-09-29T15:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。