論文の概要: LRCC: Generalizing Low-Rank Compression with Conditional Computation

• arxiv url: http://arxiv.org/abs/2610.08858v1
• Date: Mon, 05 Oct 2026 09:01:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.516325
• Title: LRCC: Generalizing Low-Rank Compression with Conditional Computation
• Title（参考訳）: LRCC:条件計算による低域圧縮の一般化
• Abstract要約: LRCC(Low-Rank Conditional Computation)を導入する。 LRCCは、Transformerブロック毎に1つの軽量ルータをトレーニングし、ネストされた低ランクパスの小さなセットの中から選択することで、事前訓練されたモデルにトークン依存を追加する。 言語モデルとゼロショットダウンストリームタスクのためのLlamaおよびQwenモデル上でLRCCを評価する。
• 参考スコア（独自算出の注目度）: 6.054436681330252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-rank compression reduces the cost of pretrained language models by replacing linear transformations with low-rank factorizations. However, conventional methods use a fixed rank allocation during inference, assigning the same amount of compute regardless of the input token. We introduce Low-Rank Conditional Computation (LRCC), which adds token-dependent computation to pretrained models by training one lightweight router per Transformer block to select among a small set of nested low-rank paths. During training, the low-rank factors remain frozen, and only the routers are optimized. We evaluate LRCC on Llama and Qwen models for language modeling and zero-shot downstream tasks. Within the same average active-parameter budget, LRCC improves the predictive performance over static low-rank compression, including a 7.6 percentage-point gain in average downstream accuracy on Llama-2-7B over static methods. At matched batch-size-1 decoding latency, LRCC improves both perplexity and downstream accuracy on Llama-3.2-1B and remains competitive on Llama-2-7B, without specialized kernels. Finally, we assess the usefulness of assigning a token-wise path by analyzing the routers' path choices.
• Abstract（参考訳）: 低ランク圧縮は、線形変換を低ランク因子化に置き換えることで、事前訓練された言語モデルのコストを削減する。 しかし、従来の方法では、入力トークンに関係なく同じ計算量を割り当て、推論中に固定ランクアロケーションを使用する。 我々は,Transformerブロック毎に1つの軽量ルータをトレーニングして,トークン依存の計算を事前訓練モデルに追加し,入れ子付き低ランクパスの小さなセットを選択するLRCC(Low-Rank Conditional Computation)を導入する。 トレーニング中、低ランクの要因は凍結し続け、ルータのみが最適化されている。 言語モデルとゼロショットダウンストリームタスクのためのLlamaおよびQwenモデル上でLRCCを評価する。 同じ平均アクティブパラメータ予算内では、LRCCは静的な低ランク圧縮よりも予測性能が向上し、静的な方法よりもLlama-2-7Bの平均下流精度は7.6ポイント向上した。 バッチサイズ-1デコーディングのレイテンシが一致すると、LRCCはLlama-3.2-1Bのパープレキシティとダウンストリーム精度を改善し、特別なカーネルなしでLlama-2-7Bと競合し続ける。 最後に,ルータの経路選択を解析してトークン単位の経路を割り当てることの有用性を評価する。

関連論文リスト

• Binary Kernel Logistic Regression: a sparsity-inducing formulation and a convergent decomposition training algorithm [0.5680416078423551]
  カーネルロジスティック回帰(カーネルロジスティックレグレッション、英: Kernel Logistic regression、KLR)は、二分法および多クラス分類のための教師付き学習法である。 KLRのスパーシリティに対処する以前の試みには、ベクトルインポートマシン(Vector Import Machine, IVM)と呼ばれる方法がある。 本稿では,Keerthiらによって提案されたトレーニング定式化の拡張を提案する。
  論文  参考訳（メタデータ） (2025-12-22T14:40:30Z)
• Low-Rank Compression of Language Models via Differentiable Rank Selection [22.99526059495007]
  本研究では,勾配に基づく学習手法であるLearning to Low-Rank Compress (LLRC)を提案する。 提案手法は, 圧縮後微調整を必要とせず, 様々な圧縮速度で, 共通センス推論やオープンドメイン質問応答タスクにおいて, 競合するランク付け手法よりも優れる。
  論文  参考訳（メタデータ） (2025-12-14T07:20:57Z)
• To Theoretically Understand Transformer-Based In-Context Learning for Optimizing CSMA [26.87533852488578]
  バイナリ指数バックオフ方式はWiFi 7で広く使われているが、動的チャネル環境下ではスループットが低下している。 最近のモデルベースアプローチは、既知のノード密度と固定されたノード密度の下でのバックオフ戦略を単純に最適化する。 本稿では、チャネルアクセスを最適化するためのトランスフォーマーベースのインコンテキスト学習(ICL)理論を初めて提案する。
  論文  参考訳（メタデータ） (2025-07-31T23:31:23Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation [61.67090981767583]
  本研究では,Mixture-of-Recursions (MoR)を導入した。 MoRはパラメータ効率を達成するために再帰ステップをまたいだ共有レイヤのスタックを再利用し、軽量ルータは適応トークンレベルの思考を可能にする。 また、メモリフットプリントをさらに削減するために、KVペアを最初の再帰から再利用するKV共有変種を提案する。
  論文  参考訳（メタデータ） (2025-07-14T17:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。