論文の概要: CR-Net: Scaling Parameter-Efficient Training with Cross-Layer Low-Rank Structure

• arxiv url: http://arxiv.org/abs/2509.18993v1
• Date: Tue, 23 Sep 2025 13:43:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.863522
• Title: CR-Net: Scaling Parameter-Efficient Training with Cross-Layer Low-Rank Structure
• Title（参考訳）: CR-Net:クロスレイア低ランク構造を用いたスケーリングパラメータ効率トレーニング
• Authors: Boao Kong, Junzhu Liang, Yuxi Liu, Renjia Deng, Kun Yuan,
• Abstract要約: 層間活性化残差が低ランク特性を持つという発見に触発された,CR-Net は革新的なフレームワークである。 CR-Netは最先端の低ランクフレームワークを一貫して上回り、計算資源が少なく、メモリも少ない。
• 参考スコア（独自算出の注目度）: 8.92064131103945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-rank architectures have become increasingly important for efficient large language model (LLM) pre-training, providing substantial reductions in both parameter complexity and memory/computational demands. Despite these advantages, current low-rank methods face three critical shortcomings: (1) compromised model performance, (2) considerable computational overhead, and (3) limited activation memory savings. To address these limitations, we propose Cross-layer Low-Rank residual Network (CR-Net), an innovative parameter-efficient framework inspired by our discovery that inter-layer activation residuals possess low-rank properties. CR-Net implements this insight through a dual-path architecture that efficiently reconstructs layer activations by combining previous-layer outputs with their low-rank differences, thereby maintaining high-rank information with minimal parameters. We further develop a specialized activation recomputation strategy tailored for CR-Net that dramatically reduces memory requirements. Extensive pre-training experiments across model scales from 60M to 7B parameters demonstrate that CR-Net consistently outperforms state-of-the-art low-rank frameworks while requiring fewer computational resources and less memory.
• Abstract（参考訳）: 低ランクアーキテクチャは、効率的な大規模言語モデル(LLM)事前トレーニングにおいてますます重要になってきており、パラメータの複雑さとメモリ/計算要求の両方を大幅に削減している。 これらの利点にもかかわらず、現在の低ランク法では、(1)モデル性能の妥協、(2)かなりの計算オーバーヘッド、(3)アクティベーションメモリの節約という3つの重大な欠点に直面している。 これらの制約に対処するために、我々は、層間活性化残差が低ランク特性を持つという発見に触発された、革新的なパラメータ効率のフレームワークであるクロス層低ランク残差ネットワーク(CR-Net)を提案する。 CR-Netはこの洞察をデュアルパスアーキテクチャによって実装し、前層出力と低ランク差を組み合わせ、最小限のパラメータで高階情報を維持することで、効果的に層活性化を再構築する。 さらに、CR-Netに適したアクティベーション再計算戦略を開発し、メモリ要求を大幅に削減する。 60Mから7Bパラメータのモデルスケールにわたる大規模な事前トレーニング実験は、CR-Netが計算リソースの削減とメモリの削減を必要としながら、最先端の低ランクフレームワークを一貫して上回っていることを示している。

関連論文リスト

• S2A: A Unified Framework for Parameter and Memory Efficient Transfer Learning [8.602744958104969]
  本研究では,微調整時の活性化のメモリフットプリントを低減するため,新しいPETLフレームワークであるStructure to Activation (S2A)を提案する。 具体的には,1)パラメトリックモデル構造におけるアクティベーションモジュールの設計(バイアス,プロンプト,サイドモジュール)からなり,パラメータやアクティベーションメモリの大幅な削減を実現している。 提案手法は既存のPETL技術よりも優れており,GPUメモリフットプリントの4倍の削減を実現しているだけでなく,可変パラメータの少ない精度で競合性能を示す。
  論文  参考訳（メタデータ） (2025-03-11T08:10:03Z)
• Accelerating Linear Recurrent Neural Networks for the Edge with Unstructured Sparsity [39.483346492111515]
  線形リカレントニューラルネットワークは、推論中に一定のメモリ使用量と時間毎の時間を含む強力な長距離シーケンスモデリングを可能にする。 非構造化空間は、互換性のあるハードウェアプラットフォームによって加速されるときに、計算とメモリの要求を大幅に削減できる魅力的なソリューションを提供する。 非常に疎い線形RNNは、高密度ベースラインよりも高い効率と性能のトレードオフを一貫して達成している。
  論文  参考訳（メタデータ） (2025-02-03T13:09:21Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Residual Local Feature Network for Efficient Super-Resolution [20.62809970985125]
  本研究では,Residual Local Feature Network (RLFN)を提案する。 主なアイデアは、3つの畳み込みレイヤを局所的な特徴学習に使用して、機能の集約を単純化することだ。 さらに,NTIRE 2022の高効率超解像問題において,第1位を獲得した。
  論文  参考訳（メタデータ） (2022-05-16T08:46:34Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。