論文の概要: Reservoir Computing inspired Matrix Multiplication-free Language Model

• arxiv url: http://arxiv.org/abs/2512.23145v1
• Date: Mon, 29 Dec 2025 02:20:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.377869
• Title: Reservoir Computing inspired Matrix Multiplication-free Language Model
• Title（参考訳）: 貯留層計算による行列乗算自由言語モデル
• Authors: Takumi Shiratsuchi, Yuichiro Tanaka, Hakaru Tamukoh,
• Abstract要約: 行列乗算自由言語モデル(MatMul-free LM)に着目して計算効率を目標とする。 我々はMatMulフリーLMにおける選択したレイヤの重みを部分的に修正し、共有し、さらにトレーニングのオーバーヘッドを伴わずにリッチな動的表現を得るために貯水層を挿入する。 実験の結果,提案アーキテクチャはパラメータ数を最大19%削減し,トレーニング時間を9.9%削減し,推論時間を8.0%削減した。
• 参考スコア（独自算出の注目度）: 0.22940141855172036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have achieved state-of-the-art performance in natural language processing; however, their high computational cost remains a major bottleneck. In this study, we target computational efficiency by focusing on a matrix multiplication free language model (MatMul-free LM) and further reducing the training cost through an architecture inspired by reservoir computing. Specifically, we partially fix and share the weights of selected layers in the MatMul-free LM and insert reservoir layers to obtain rich dynamic representations without additional training overhead. Additionally, several operations are combined to reduce memory accesses. Experimental results show that the proposed architecture reduces the number of parameters by up to 19%, training time by 9.9%, and inference time by 8.0%, while maintaining comparable performance to the baseline model.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語処理において最先端のパフォーマンスを達成したが、高い計算コストは依然として大きなボトルネックとなっている。 本研究では,行列乗算自由言語モデル (MatMul-free LM) に着目して計算効率を目標とし,貯水池計算にインスパイアされたアーキテクチャによるトレーニングコストの低減を図る。 具体的には,MatMulフリーのLMにおいて選択したレイヤの重みを部分的に修正し,共有し,さらにトレーニングのオーバーヘッドを伴わずにリッチな動的表現を得るために貯水層を挿入する。 さらに、メモリアクセスを減らすために複数の操作が結合される。 実験の結果,提案アーキテクチャはパラメータ数を最大19%,トレーニング時間を9.9%,推論時間を8.0%削減し,ベースラインモデルに匹敵する性能を維持した。

関連論文リスト

• Reversing Large Language Models for Efficient Training and Fine-Tuning [24.232966507637673]
  大きな言語モデル(LLM)は、高価で時間を要する訓練で知られている。 対称およびシンプレクティック微分方程式に着想を得たLLMのメモリ効率・可逆的アーキテクチャを提案する。 その結果、いくつかのデータセットとベンチマークで同等または改善されたパフォーマンスを示しました。
  論文  参考訳（メタデータ） (2025-11-27T19:32:15Z)
• Investigating Structural Pruning and Recovery Techniques for Compressing Multimodal Large Language Models: An Empirical Study [64.26593350748401]
  MLLM(Multimodal Large Language Models)は印象的な機能を示す。 SLM(Small Language Models)からのMLLMの学習を主とするパラメータ削減技術 本稿では, 構造物の刈り込みと効率的な回復訓練を組み合わせることで, 既存のMLLMを直接圧縮することを提案する。
  論文  参考訳（メタデータ） (2025-07-28T11:57:52Z)
• Scalable LLM Math Reasoning Acceleration with Low-rank Distillation [57.922185576872444]
  資源効率の高い蒸留法を提案し, 効率的な推論手法の展開から損失能力を回収する。 もともとの重みは未成熟で、パラメータの約1%、合成トレーニングサンプルは20Kに過ぎなかった。
  論文  参考訳（メタデータ） (2025-05-08T17:51:24Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [86.76714527437383]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• CoLA: Compute-Efficient Pre-Training of LLMs via Low-Rank Activation [19.447967755388092]
  我々は,計算効率の高いオートエンコーダを用いて,CoLAとそのメモリ効率の高い実装であるCoLA-Mを提案する。 6000万から70億のパラメータを持つLLaMAモデルに対する実験は、CoLAが計算コストを$bf 2pmbtimes$.bf 2pmbtimes$.comに削減したことを示している。 CoLA-Mはスループットを犠牲にすることなくメモリコストをさらに削減し、全体として優れたパラメータ、計算、メモリ効率を備えた事前学習アプローチを提供する。
  論文  参考訳（メタデータ） (2025-02-16T01:05:16Z)
• Numerical Pruning for Efficient Autoregressive Models [87.56342118369123]
  本稿では,デコーダのみを用いた変圧器を用いた自己回帰モデルの圧縮に着目する。 具体的には,ニュートン法とモジュールの数値スコアをそれぞれ計算する学習自由プルーニング法を提案する。 提案手法の有効性を検証するため,理論的支援と広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-12-17T01:09:23Z)
• EchoAtt: Attend, Copy, then Adjust for More Efficient Large Language Models [29.57891007810509]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて優れた性能を示している。 本稿では,レイヤ間の注目パターンの類似性を解析し,活用することにより,トランスフォーマーベースモデルの最適化を目的とした,新しいフレームワークであるEchoAttを紹介する。 TinyLLaMA-1.1Bによる最良の結果は、EchoAttが推論速度を15%改善し、トレーニング速度を25%改善し、パラメータ数を約4%削減し、ゼロショット性能を改善したことを示している。
  論文  参考訳（メタデータ） (2024-09-22T21:08:37Z)
• Scalable MatMul-free Language Modeling [9.048532540945086]
  MatMul操作は、大きな言語モデルから除外できる。 最大2.7BパラメータのモデルでテストされるMatMulフリーモデルは、最先端のトレーニング済みトランスフォーマーに匹敵する。
  論文  参考訳（メタデータ） (2024-06-04T17:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。