論文の概要: Reduced Matrix Multiplication: Input-Adaptive Matrix-Product Reduction for LLM Inference

• arxiv url: http://arxiv.org/abs/2608.13426v1
• Date: Thu, 13 Aug 2026 16:16:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.597242
• Title: Reduced Matrix Multiplication: Input-Adaptive Matrix-Product Reduction for LLM Inference
• Title（参考訳）: 行列乗算の削減: LLM推論のための入力適応行列生成還元
• Abstract要約: トランスフォーマーに基づく言語モデルは、高い性能を実現するが、高次元行列乗算の繰り返しによる相当な推論コストが生じる。 本稿では,学習不要で入力適応型推論手法であるReduced Matrix multiplication (RMM)を提案する。
• 参考スコア（独自算出の注目度）: 14.784763071210014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based language models achieve strong performance but incur substantial inference cost due to repeated high-dimensional matrix multiplications. We propose Reduced Matrix Multiplication (RMM), a training-free, input-adaptive inference method that reduces Transformer matrix products by selecting informative slices along their contraction dimensions, without modifying model weights. Under a simple retention-ratio control, RMM provides a smooth and predictable accuracy-efficiency trade-off. Across language models ranging from 1B to 70B parameters, we find that reduction tolerance depends on the model family, task, component, and retention ratio, although it often improves with model scale. Under moderate reduction, RMM remains robust across the evaluated discriminative, autoregressive generation, and long-context settings. We further show that the same principle extends to multimodal vision-language inference. Mechanistic ablations reveal a structural asymmetry within Transformers: attention-side computations are substantially more reducible than MLP components. Finally, wall-clock benchmarks with custom kernels on an NVIDIA A100 show that these computational savings can translate into practical runtime gains, especially at longer sequence lengths. Together, these results position RMM as a scalable direction for input-adaptive inference-time optimization.
• Abstract（参考訳）: トランスフォーマーに基づく言語モデルは、高い性能を実現するが、高次元行列乗算の繰り返しによる相当な推論コストが生じる。 本稿では,モデル重みを変更することなく,その縮小次元に沿って情報スライスを選択することにより,トランスフォーマー行列生成量を削減する学習自由な入力適応推論手法であるReduceed Matrix Multiplication (RMM)を提案する。 シンプルな保持比制御の下で、RMMは滑らかで予測可能な精度・効率のトレードオフを提供する。 1B から 70B のパラメータを含む言語モデル全体では、還元耐性はモデル・ファミリー、タスク、コンポーネント、保持率に依存するが、しばしばモデル・スケールによって改善される。 適度な縮小の下では、RMMは評価された差別的、自己回帰的生成、長いコンテキスト設定において頑健なままである。 さらに、同じ原理がマルチモーダル視覚言語推論にも適用されることを示す。 メカニスティック・アブレーションはトランスフォーマー内の構造的非対称性を明らかにし、注意面の計算はMLPコンポーネントよりも大幅に再現可能である。 最後に、NVIDIA A100のカスタムカーネルを使ったウォールクロックベンチマークでは、これらの計算の節約が、特に長いシーケンス長において、実用的な実行時ゲインに変換できることが示されている。 これらの結果は、RMMを入力適応型推論時間最適化のためのスケーラブルな方向として位置づける。

関連論文リスト

• Structured Adaptive Tensor Prediction for Streaming Data [12.618068868826512]
  行列値時系列は、医療画像データの適応性など、幅広い応用に現れる。 既存の手法は主に静的な設定のために設計されており、ストリーミングや時間変化の環境がない。 行列-on-Matrix (MoM) と勾配-on-Matrix (ToM) を含む適応回帰フレームワークを開発する。 ToM は MoM よりも低い定常誤差とより強力なデノナイジング能力が得られることを示す。
  論文  参考訳（メタデータ） (2026-06-08T19:09:58Z)
• When Good Enough Is Optimal: Multiplication-Only Matrix Inversion Approximation for Quantized Gated DeltaNet [10.055354775930487]
  チャンクワイド並列線形アテンションにおける行列インバージョンは、長期コンテキストモデリングにおける主要なボトルネックである。 厳密な下三角行列に適した高速行列乗算アルゴリズム(MatMul)を提案する。 Qwen3.5ファミリーモデルの実験では、カーネルレベルのスピードアップが最大5$times$であり、デコード層オーバーヘッドが20%削減されている。
  論文  参考訳（メタデータ） (2026-06-04T11:29:05Z)
• POET-X: Memory-efficient LLM Training by Scaling Orthogonal Transformation [57.57816409869894]
  大規模言語モデルをトレーニングするためのスケーラブルでメモリ効率のよい変種であるPOET-Xを紹介する。 PoET-Xは、スループットとメモリ効率を大幅に改善しながら、PoETの一般化と安定性の利点を維持している。
  論文  参考訳（メタデータ） (2026-03-05T18:59:23Z)
• Tuning-Free Structured Sparse Recovery of Multiple Measurement Vectors using Implicit Regularization [13.378211527081582]
  複数の測定ベクトルにおけるスパース信号を復元するためのチューニング不要なフレームワークを提案する。 最適化力学は「モメンタムのような」効果を示し、真のサポートにおける行のノルムは他のものよりも著しく速く成長することを示した。
  論文  参考訳（メタデータ） (2025-12-03T02:53:11Z)
• IMSE: Efficient U-Net-based Speech Enhancement using Inception Depthwise Convolution and Amplitude-Aware Linear Attention [2.3959703715401903]
  本稿では,系統的に最適化された超軽量ネットワークIMSEを提案する。 1) MET モジュールを Amplitude-Aware Linear Attention (MALA) に、2) Deformable Embedding (DE) モジュールを Inception Depthwise Convolution (IDConv) に置き換える。 実験では、IMSEはパラメータ数を16.8%(0.513Mから0.427M)削減し、PESQ測定値(3.373)の最先端技術に匹敵する競争性能を達成する。
  論文  参考訳（メタデータ） (2025-11-18T14:11:54Z)
• QR-LoRA: Efficient and Disentangled Fine-tuning via QR Decomposition for Customized Generation [52.024845354511555]
  構造化パラメータ更新にQR分解を利用する新しい微調整フレームワークであるQR-LoRAを提案する。 我々の重要な洞察は、Q行列が視覚的特徴間の干渉を自然に最小化することである。 QR-LoRAは、コンテンツスタイルの融合タスクにおいて、より優れた絡み合いを実現することを示す実験である。
  論文  参考訳（メタデータ） (2025-07-07T01:31:01Z)
• OSoRA: Output-Dimension and Singular-Value Initialized Low-Rank Adaptation [9.048461365342204]
  大規模言語モデル(LLM)のための新しいPEFT法であるOSoRAを提案する。 OSoRAは、微調整中にトレーニング可能なパラメータの数を最小化することで、計算リソースの要求を大幅に削減する。 数学的推論、常識推論、その他のベンチマークの総合的な評価は、OSoRAが最先端の手法と同等または優れた性能を達成していることを示している。
  論文  参考訳（メタデータ） (2025-05-20T13:34:06Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
  一般的な戦略である。 事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。 適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
  論文  参考訳（メタデータ） (2024-10-30T12:08:30Z)
• LQ-LoRA: Low-rank Plus Quantized Matrix Decomposition for Efficient Language Model Finetuning [66.85589263870702]
  提案手法では,事前学習した行列を高精度の低ランク成分とメモリ効率の量子化成分に分解するために反復アルゴリズムを用いる。 微調整されたRoBERTaとLLaMA-2の実験は、我々の低ランク+量子化行列分解法(LQ-LoRA)が強いQLoRAおよびGPTQ-LoRAベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2023-11-20T18:57:41Z)
• Numerical Optimizations for Weighted Low-rank Estimation on Language Model [73.12941276331316]
  Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。 標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。 本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-02T00:58:02Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。