論文の概要: Beyond Backbone Backpropagation: A Decoupled Strategy for Efficient Transfer Learning

• arxiv url: http://arxiv.org/abs/2607.13043v1
• Date: Sat, 13 Jun 2026 13:46:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-19 21:54:20.409633
• Title: Beyond Backbone Backpropagation: A Decoupled Strategy for Efficient Transfer Learning
• Title（参考訳）: バックボーンのバックプロパゲーションを超えて - 効率的なトランスファー学習のための分離戦略
• Abstract要約: ディープラーニングモデルは最先端の画像分類を実現するが、計算コストとエネルギー需要によるデプロイメントの課題に直面している。 モデルの正規化層を新しいドメインに適応させる軽量なトレーニング戦略を提案する。 提案手法は,限界精度のトレードオフを伴って必要なトレーニング時間を著しく短縮する。
• 参考スコア（独自算出の注目度）: 1.8798171797988195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models achieve state-of-the-art image classification but face deployment challenges due to computational costs and energy demands. We propose a lightweight training strategy that adapts normalization layers of the model to the new domain and decouples feature extraction from classifier optimization, reducing overhead by precomputing features only once. A redesigned classifier head with margin-based weighted loss further minimizes ambiguity without end-to-end backpropagation. Evaluated across four CNN architectures (ResNet18, ResNet50, MobileNet, DenseNet121), three Transformer models (ViT, Swin and DeiT) and three medical datasets (Brain Cancer MRI, BreakHis and PatchCamelyon), our approach significantly reduces the required training time with only a marginal accuracy trade-off, often matching or surpassing baseline performance. This efficiency translates to reducing CO2 by orders of magnitude, offering a practical and environmentally sustainable solution for resource-constrained clinical or prototyping environments.
• Abstract（参考訳）: ディープラーニングモデルは最先端の画像分類を実現するが、計算コストとエネルギー需要によるデプロイメントの課題に直面している。 本稿では,モデルの正規化層を新しい領域に適応させ,分類器最適化から特徴抽出を分離する軽量なトレーニング手法を提案する。 マージンベース重み付き損失を持つ再設計された分類器ヘッドは、エンドツーエンドのバックプロパゲーションを伴わない曖昧さをさらに最小化する。 4つのCNNアーキテクチャ(ResNet18、ResNet50、MobileNet、DenseNet121)、3つのトランスフォーマーモデル(ViT、Swin、DeiT)、3つの医療データセット(Brain Cancer MRI、BreakHis、PatchCamelyon)で評価され、我々のアプローチは、限界精度のトレードオフだけで必要なトレーニング時間を大幅に短縮し、多くの場合、基準ラインのパフォーマンスにマッチまたは超える。 この効率はCO2を桁違いに削減し、資源に制約された臨床またはプロトタイピング環境に対して実用的で持続可能なソリューションを提供する。

関連論文リスト

• Neural Network Optimization Reimagined: Decoupled Techniques for Scratch and Fine-Tuning [49.751529745537546]
  我々はDualOptを提案する。DualOptは、スクラッチからトレーニングに適した最適化技術を分離する新しいアプローチである。 スクラッチからのトレーニングでは、収束と一般化の両面を強化するために設計されたリアルタイムな層ワイド・ウェイト・デポジットを導入する。 我々は、異なる下流タスクの様々な要求に適応して、レイヤ単位の重量減衰を拡張して、レイヤ間のロールバックレベルを動的に調整する。
  論文  参考訳（メタデータ） (2026-04-21T06:27:18Z)
• GIRL: Generative Imagination Reinforcement Learning via Information-Theoretic Hallucination Control [0.0]
  GIRL(Generative Imagination Reinforcement Learning)は、この障害モードに2つの重要なコンポーネントで対処する潜在的世界モデルフレームワークである。 GIRLは、DreamerV3に対するタスク間の遅延ロールアウトドリフトを38～61%削減し、リターンを改善し、長距離タスクでの環境相互作用を少なくする。 蒸留前の変種はオーバーヘッドを減らし、フルモデルに対する計算効率を向上させる。
  論文  参考訳（メタデータ） (2026-04-08T17:14:21Z)
• The Rank and Gradient Lost in Non-stationarity: Sample Weight Decay for Mitigating Plasticity Loss in Reinforcement Learning [62.72522261010872]
  深部強化学習(RL)は、非定常性の性質により、可塑性の喪失に苦しむ。 ネットワーク最適化の理論的観点から, 可塑性損失問題について検討する。 勾配等級を復元する軽量な手法であるサンプル重み決定法を提案する。
  論文  参考訳（メタデータ） (2026-04-02T11:29:46Z)
• CAMP-HiVe: Cyclic Pair Merging based Efficient DNN Pruning with Hessian-Vector Approximation for Resource-Constrained Systems [3.343542849202802]
  CAMP-HiVeは,Hessian Vector近似を用いたサイクリックペアマージベースプルーニングである。 実験により,提案手法が計算要求の大幅な削減を実現することを示す。 既存の最先端のニューラルプルーニング法よりも優れています。
  論文  参考訳（メタデータ） (2025-11-09T07:58:36Z)
• Automated Evolutionary Optimization for Resource-Efficient Neural Network Training [0.3905614402386577]
  我々は、新しい自動機械学習(AutoML)フレームワーク、効率的な学習とロバスト自動化(PETRA)を開発した。 モデルアーキテクチャとトレーニング戦略に進化的最適化を適用する。 PETRAはプルーニング、量子化、損失正規化を含む。
  論文  参考訳（メタデータ） (2025-10-10T17:17:49Z)
• Predictive Coding-based Deep Neural Network Fine-tuning for Computationally Efficient Domain Adaptation [5.013248430919224]
  デバイス上でのドメイン適応を効率的に行うためのハイブリッドトレーニング手法を提案する。 この方法は、バックプロパゲーションを使用してオフラインでトレーニングされたディープニューラルネットワークから始まる。 予測符号化はオンライン適応に使用されており、入力データ分布の変化によって失われた精度を復元することができる。
  論文  参考訳（メタデータ） (2025-09-24T16:03:27Z)
• Auto-Compressing Networks [51.221103189527014]
  本稿では,各層からの長いフィードフォワード接続が従来の短残コネクションに取って代わるアーキテクチャ変種であるAuto-compression Networks (ACNs)を紹介する。 本稿では,ACNが残差ネットワークと比較して高雑音を示すこと,低データ設定における優れた性能を示すこと,破滅的忘れを軽減できることを述べる。 これらの知見は、効率的な神経アーキテクチャを開発するための実践的なアプローチとしてACNを確立している。
  論文  参考訳（メタデータ） (2025-06-11T13:26:09Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Binary Early-Exit Network for Adaptive Inference on Low-Resource Devices [3.591566487849146]
  バイナリニューラルネットワーク(BNN)は、実数値モデルと比較して、極端な圧縮とスピードアップによる問題に対処する。 そこで本研究では,BNNを早期導入戦略で統合して推論を高速化する,シンプルだが効果的な手法を提案する。 このアプローチでは、決定しきい値に基づいて単純なインスタンスを早期に終了させ、異なる中間層に追加される出力層を利用してバイナリモデル全体の実行を回避する。
  論文  参考訳（メタデータ） (2022-06-17T22:11:11Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。