論文の概要: Channel Scaling: A Scale-and-Select Approach for Transfer Learning

• arxiv url: http://arxiv.org/abs/2103.12228v1
• Date: Mon, 22 Mar 2021 23:26:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-24 13:56:19.882282
• Title: Channel Scaling: A Scale-and-Select Approach for Transfer Learning
• Title（参考訳）: Channel Scaling: 伝達学習のためのスケール・アンド・セレクションアプローチ
• Authors: Ken C. L. Wong, Satyananda Kashyap, Mehdi Moradi
• Abstract要約: 予め訓練されたニューラルネットワークを用いた転送学習は、医学画像解析における分類器の訓練のための一般的な戦略である。 本稿では,チャネルスケーリング層を導入して,ネットワークを効率的に構築する手法を提案する。 このフレームワークは、L1正規化とスケーリングウェイトに対するしきい値の閾値を付与することにより、事前訓練されたモデルから不要な特徴チャネルを反復的に除去する。
• 参考スコア（独自算出の注目度）: 2.6304695993930594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning with pre-trained neural networks is a common strategy for training classifiers in medical image analysis. Without proper channel selections, this often results in unnecessarily large models that hinder deployment and explainability. In this paper, we propose a novel approach to efficiently build small and well performing networks by introducing the channel-scaling layers. A channel-scaling layer is attached to each frozen convolutional layer, with the trainable scaling weights inferring the importance of the corresponding feature channels. Unlike the fine-tuning approaches, we maintain the weights of the original channels and large datasets are not required. By imposing L1 regularization and thresholding on the scaling weights, this framework iteratively removes unnecessary feature channels from a pre-trained model. Using an ImageNet pre-trained VGG16 model, we demonstrate the capabilities of the proposed framework on classifying opacity from chest X-ray images. The results show that we can reduce the number of parameters by 95% while delivering a superior performance.
• Abstract（参考訳）: 予め訓練されたニューラルネットワークを用いた転送学習は、医学画像解析における分類器の訓練のための一般的な戦略である。 適切なチャネル選択がなければ、デプロイメントや説明可能性を妨げる必要のない大規模なモデルが発生することが少なくない。 本稿では,チャネルスケーリング層を導入することで,小型で高性能なネットワークを効率的に構築する新しい手法を提案する。 各凍結畳み込み層にはチャネルスケーリング層が取り付けられ、トレーニング可能なスケーリングウェイトは対応する特徴チャネルの重要性を推定する。 微調整のアプローチとは異なり、元のチャネルの重みを維持し、大きなデータセットは不要です。 このフレームワークは、L1正規化とスケーリングウェイトに対するしきい値の閾値を付与することにより、事前訓練されたモデルから不要な特徴チャネルを反復的に除去する。 ImageNetで事前訓練したVGG16モデルを用いて,胸部X線画像から不透明度を分類する手法を提案する。 その結果,優れた性能を実現しつつ,パラメータ数を95%削減できることがわかった。

関連論文リスト

• Enhancing pretraining efficiency for medical image segmentation via transferability metrics [0.0]
  医用画像のセグメンテーションタスクでは、ラベル付きトレーニングデータの不足が大きな課題となっている。 本稿では,事前学習したモデルが対象データをいかに頑健に表現できるかを計測する,対照的な学習に基づく新しい伝達可能性指標を提案する。
  論文  参考訳（メタデータ） (2024-10-24T12:11:52Z)
• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• Scale-Equivariant UNet for Histopathology Image Segmentation [1.213915839836187]
  畳み込みニューラルネットワーク(CNN)は、特定のスケールでそのような画像で訓練されたが、異なるスケールのものに一般化することができない。 本稿では,スケール空間理論に基づく画像分割のためのスケール・エクイバティブUNet(SEUNet)を提案する。
  論文  参考訳（メタデータ） (2023-04-10T14:03:08Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Scale Attention for Learning Deep Face Representation: A Study Against Visual Scale Variation [69.45176408639483]
  我々はスケール空間理論に頼って凸層を再構築する。 我々はSCale AttentioN Conv Neural Network(textbfSCAN-CNN)という新しいスタイルを構築した。 単発方式として、推論はマルチショット融合よりも効率的である。
  論文  参考訳（メタデータ） (2022-09-19T06:35:04Z)
• CHEX: CHannel EXploration for CNN Model Compression [47.3520447163165]
  本稿では,これらの問題を是正するために,CHEXと呼ばれる新しいチャネル探索手法を提案する。 CheXはトレーニングプロセスを通じてチャネルを繰り返しプーンして再成長させ、重要なチャネルを早期にプルーニングするリスクを低減させる。 CHEXは様々なコンピュータビジョンタスクにおいて,多様なCNNアーキテクチャのFLOPを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-03-29T17:52:41Z)
• Scale-invariant scale-channel networks: Deep networks that generalise to previously unseen scales [0.0]
  従来提案されていた2つのスケールチャネルネットワーク設計が,トレーニングセットに存在しないスケールにうまく一般化していないことを示す。 そこで我々は,画像のより大きな部分を分解能を低下させて処理する,新しいタイプのスケールチャネルアーキテクチャを提案する。 提案するFovMaxとFovAvgのネットワークは,1スケールのトレーニングデータを用いたトレーニングにおいても,ほぼ同一のスケール範囲で動作し,また,小さなサンプル状態の大規模変動から学習する際の性能も向上する。
  論文  参考訳（メタデータ） (2021-06-11T14:22:26Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。