Fugu-MT 論文翻訳(概要): Memory Constrained Dynamic Subnetwork Update for Transfer Learning

論文の概要: Memory Constrained Dynamic Subnetwork Update for Transfer Learning

arxiv url: http://arxiv.org/abs/2510.20979v1
Date: Thu, 23 Oct 2025 20:16:43 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-28 09:00:15.312905
Title: Memory Constrained Dynamic Subnetwork Update for Transfer Learning
Title（参考訳）: 転送学習のためのメモリ制約動的サブネットワーク更新
Authors: Aël Quélennec, Pavlo Mozharovskyi, Van-Tam Nguyen, Enzo Tartaglione,
Abstract要約: MeDyateは、メモリ制限された動的サブネットワーク適応のための理論的基盤となるフレームワークである。 MeDyateは、極端なメモリ制約の下で最先端のパフォーマンスを達成する。
参考スコア（独自算出の注目度）: 20.05842386680307
License: http://creativecommons.org/licenses/by/4.0/
Abstract: On-device neural network training faces critical memory constraints that limit the adaptation of pre-trained models to downstream tasks. We present MeDyate, a theoretically-grounded framework for memory-constrained dynamic subnetwork adaptation. Our approach introduces two key innovations: LaRa (Layer Ranking), an improved layer importance metric that enables principled layer pre-selection, and a dynamic channel sampling strategy that exploits the temporal stability of channel importance distributions during fine-tuning. MeDyate dynamically resamples channels between epochs according to importance-weighted probabilities, ensuring comprehensive parameter space exploration while respecting strict memory budgets. Extensive evaluation across a large panel of tasks and architectures demonstrates that MeDyate achieves state-of-the-art performance under extreme memory constraints, consistently outperforming existing static and dynamic approaches while maintaining high computational efficiency. Our method represents a significant step towards enabling efficient on-device learning by demonstrating effective fine-tuning with memory budgets as low as a few hundred kB of RAM.
Abstract（参考訳）: オンデバイスニューラルネットワークトレーニングは、トレーニング済みモデルの下流タスクへの適応を制限する、重要なメモリ制約に直面している。本稿では,メモリ制限された動的サブネットワーク適応のための理論的基盤となるMeDyateを提案する。提案手法では,LaRa (Layer Ranking) の2つの重要な改良点を紹介した。LaRa (Layer Ranking) は,基本層選択を可能にする改良されたレイヤ重要度指標と,微調整時のチャネル重要度分布の時間的安定性を利用する動的チャネルサンプリング戦略である。 MeDyateは、重要度の高い確率に応じてエポック間のチャネルを動的に再サンプリングし、厳格なメモリ予算を尊重しながら、包括的なパラメータ空間探索を保証する。タスクとアーキテクチャの大きなパネルにわたる広範囲な評価は、MeDyateが極端なメモリ制約の下で最先端のパフォーマンスを達成し、高い計算効率を維持しながら、既存の静的および動的アプローチを一貫して上回っていることを示している。本手法は,メモリ予算を数百kBのRAMで効果的に微調整することで,デバイス上での効率的な学習を実現するための重要なステップである。

関連論文リスト

Study of Training Dynamics for Memory-Constrained Fine-Tuning [19.283663659539588]
TraDyはディープニューラルネットワークのための新しいトランスファー学習スキームである。さまざまなダウンストリームタスクやアーキテクチャにわたって、最先端のパフォーマンスを実現する。メモリ制限を厳格に維持し、最大99%のアクティベーション間隔、95%の重みデリバティブ間隔、および重みデリバティブ計算のためのFLOPの97%の削減を実現している。
論文参考訳（メタデータ） (2025-10-22T15:21:05Z)
Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
論文参考訳（メタデータ） (2025-10-14T03:03:08Z)
The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
論文参考訳（メタデータ） (2025-10-03T09:02:33Z)
Randomized Matrix Sketching for Neural Network Training and Gradient Monitoring [0.0]
本稿では,ニューラルネットワーク層活性化に対する制御理論的行列スケッチの初回適応について述べる。スケッチされたアクティベーションストレージが、メモリ効率のよいニューラルネットワークのトレーニングと分析にどのように役立つかを示す。
論文参考訳（メタデータ） (2025-10-01T02:49:40Z)
DAF: An Efficient End-to-End Dynamic Activation Framework for on-Device DNN Training [41.09085549544767]
システムレベルの最適化を通じて、スケーラブルで効率的なデバイス上でのトレーニングを可能にする動的アクティベーションフレームワーク(DAF)を導入する。 DAFは、主要なシステムのボトルネックに対処することで、メモリと時間効率の動的量子化トレーニングを実現する。組み込みプラットフォームとモバイルプラットフォームにわたるさまざまなディープラーニングモデルの評価によると、メモリ使用量の削減に22.9倍、スピードアップに32倍の3.2倍となる。
論文参考訳（メタデータ） (2025-07-09T08:59:30Z)
SURGEON: Memory-Adaptive Fully Test-Time Adaptation via Dynamic Activation Sparsity [30.260783715373382]
テスト時間適応(TTA)は、未ラベルのターゲットデータにオンラインで適応することで、ディープモデルの性能を向上させるために出現している。しかし、特にリソース制約のある端末におけるメモリコストは、ほとんどの後方プロパゲーションベースのTTAメソッドの効果的な展開を妨げる。メモリの制約に対処するため,SURGEONを導入する。
論文参考訳（メタデータ） (2025-03-26T09:27:09Z)
Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
論文参考訳（メタデータ） (2024-10-14T03:50:17Z)
SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。初期経路では、中間出力は反冗長動作によって統合される。遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文参考訳（メタデータ） (2024-07-10T10:22:35Z)
Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文参考訳（メタデータ） (2023-10-17T01:05:28Z)
Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文参考訳（メタデータ） (2021-05-03T07:23:39Z)
Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning [4.2903672492917755]
我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
論文参考訳（メタデータ） (2020-07-16T07:41:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。