論文の概要: DyRA: Dynamic Residual Approximation for Efficient Matrix Multiplication in DNNs

• arxiv url: http://arxiv.org/abs/2610.02882v1
• Date: Fri, 02 Oct 2026 06:19:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.243295
• Title: DyRA: Dynamic Residual Approximation for Efficient Matrix Multiplication in DNNs
• Title（参考訳）: DyRA: DNNにおける効率的な行列乗算のための動的残留近似
• Abstract要約: DyRAは入力適応型手法であり、推論中の残差出力誤差を補正することにより、構造化行列乗算近似を改善する。 出力の低ランク因子を直接最適化することにより,行列乗法をより効率的に近似できることを示す。 DyRAは、構造化重量近似だけでの精度と効率のトレードオフを一貫して改善する。
• 参考スコア（独自算出の注目度）: 13.298729746108096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale foundation models achieve strong performance across diverse tasks, but their size makes inference costly, largely due to dense matrix multiplications. Prior work reduces this cost by replacing dense weight matrices with efficient structured forms such as low-rank factorizations. However, these methods approximate weights rather than the output activations that determine inference accuracy. Consequently, small weight-space errors can be amplified by input activations, producing large output errors. In this work, we propose DyRA, an input-adaptive method that improves structured matrix multiplication approximation by correcting residual output errors during inference. We show that matrix multiplication can be approximated more effectively by directly optimizing low-rank factors of the output. DyRA builds on this insight by dynamically approximating and correcting the output error introduced by structured weight approximations. This combines efficient structured computation with input-dependent correction, yielding a more faithful approximation of full matrix multiplication under the same computational budget. Across vision, speech, and language models, DyRA consistently improves the accuracy-efficiency trade-off over structured weight approximations alone. Notably, DyRA achieves a 1.5$\times$ end-to-end GPU speedup for DINOv3 while reducing accuracy degradation by more than 3$\times$ relative to weight-only baselines.
• Abstract（参考訳）: 大規模基礎モデルは多種多様なタスクにまたがって高い性能を達成するが、そのサイズは、主に密度行列の乗算により、推論にコストがかかる。 以前の作業では、高密度の重量行列を低ランクの分解のような効率的な構造化形式に置き換えることで、このコストを削減した。 しかし、これらの手法は、推定精度を決定する出力活性化よりも重みを近似する。 その結果、入力アクティベーションによって小さな重み空間誤差が増幅され、大きな出力誤差が生じる。 本研究では,入力適応型手法であるDyRAを提案する。この手法は,入力中の残差出力誤差を補正することにより,行列乗算近似の構造化を改善する。 出力の低ランク因子を直接最適化することにより,行列乗法をより効率的に近似できることを示す。 DyRAはこの知見に基づいて動的に近似し、構造化重量近似によって導入された出力誤差を補正する。 これは効率的な構造化計算と入力依存補正を組み合わせることで、同じ計算予算の下で完全な行列乗法をより忠実に近似することができる。 視覚、音声、言語モデル全体にわたって、DyRAは構造化重量近似のみに対する精度と効率のトレードオフを一貫して改善する。 特にDyRAは、DINOv3の1.5$\times$ end-to-end GPUスピードアップを実現し、重量のみのベースラインに対して3$\times$以上の精度低下を低減している。

関連論文リスト

• Adaptive multi-resolution Gaussian processes: Scalable exact inference with naturally data-sparse covariance matrices [5.518484221206969]
  この作業は、スケーラブルかつ正確な適応型マルチレゾリューション・ガウス・プロセス・フレームワークを提供することによってギャップを埋める。 マルチレゾリューションベースでサポートドメインを縮小することにより、マトリックスブロックサイズが制限され、スパシティが保証される。 理論的解析と数値実験により,我々のモデルは,$mathcalO(n log2 n)$トレーニングコストと$mathcalO(logd n)$予測コストで正確な推論を行うことを示した。
  論文  参考訳（メタデータ） (2026-09-24T14:14:37Z)
• FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models [49.397861654088636]
  低次元空間へのSVD/QRベースの勾配射影を近似する2段階の手順を提案する。 当社の戦略はランタイムの高速化とメモリ使用量の削減を,さまざまなモデルサイズで最大25%削減できることが示されています。
  論文  参考訳（メタデータ） (2025-05-23T14:37:00Z)
• An Efficient Matrix Multiplication Algorithm for Accelerating Inference in Binary and Ternary Neural Networks [8.779871128906787]
  我々はディープニューラルネットワーク(DNN)の推論時間とメモリ効率を改善するアルゴリズムを提案する。 推論のボトルネック演算として行列乗法に着目する。 我々の実験は推論時間で5.24倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2024-11-10T04:56:14Z)
• IntLoRA: Integral Low-rank Adaptation of Quantized Diffusion Models [68.55148272295916]
  IntLoRAは、整数型低ランクパラメータを持つ量子化拡散モデルを適用し、チューニング中に推論効率を含める。 推論中、IntLoRA重みはPTQなしで直接量子化された下流重みを得るために、シームレスに事前訓練された重みにマージすることができる。
  論文  参考訳（メタデータ） (2024-10-29T05:50:17Z)
• Theoretical Insights into Fine-Tuning Attention Mechanism: Generalization and Optimization [27.907707931902547]
  本研究では,大規模言語モデルの微調整における注意機構に関連する2つの現象について検討する。 ストレージと時間の両方で微調整効率を向上させる新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-03T06:37:37Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Monarch: Expressive Structured Matrices for Efficient and Accurate Training [64.6871423399431]
  大規模なニューラルネットワークは多くのドメインで優れているが、トレーニングや微調整は高価である。 計算やメモリ要件を減らすための一般的なアプローチは、重み付け行列を構造化行列に置き換えることである。 ハードウェア効率のよい行列(Monarch)のクラスを提案する。
  論文  参考訳（メタデータ） (2022-04-01T17:37:29Z)
• Hybrid Trilinear and Bilinear Programming for Aligning Partially Overlapping Point Sets [85.71360365315128]
  多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。 まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。 次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-01-19T04:24:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。