論文の概要: Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification

• arxiv url: http://arxiv.org/abs/2007.05869v2
• Date: Sat, 24 Apr 2021 03:21:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 13:18:23.019952
• Title: Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification
• Title（参考訳）: 逆向きに訓練されたディープネット転送の改善:画像分類の図解
• Authors: Francisco Utrera, Evan Kravitz, N. Benjamin Erichson, Rajiv Khanna and Michael W. Mahoney
• Abstract要約: トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
• 参考スコア（独自算出の注目度）: 53.735029033681435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning has emerged as a powerful methodology for adapting pre-trained deep neural networks on image recognition tasks to new domains. This process consists of taking a neural network pre-trained on a large feature-rich source dataset, freezing the early layers that encode essential generic image properties, and then fine-tuning the last few layers in order to capture specific information related to the target situation. This approach is particularly useful when only limited or weakly labeled data are available for the new task. In this work, we demonstrate that adversarially-trained models transfer better than non-adversarially-trained models, especially if only limited data are available for the new domain task. Further, we observe that adversarial training biases the learnt representations to retaining shapes, as opposed to textures, which impacts the transferability of the source models. Finally, through the lens of influence functions, we discover that transferred adversarially-trained models contain more human-identifiable semantic information, which explains -- at least partly -- why adversarially-trained models transfer better.
• Abstract（参考訳）: トランスファーラーニングは、訓練済みのディープニューラルネットワークを新しいドメインへの画像認識タスクに適用するための強力な方法論として登場した。 このプロセスは、大きな機能豊富なソースデータセットで事前トレーニングされたニューラルネットワークを取り、必須のジェネリックイメージプロパティをエンコードする初期のレイヤを凍結し、ターゲット状況に関連する特定の情報をキャプチャするために最後のいくつかのレイヤを微調整する。 このアプローチは、新しいタスクで限定的あるいは弱いラベル付きデータしか利用できない場合に特に有用である。 本研究では,非学習モデルよりも,特に新しいドメインタスクに限られたデータしか利用できない場合に,学習モデルがより良く転送できることを実証する。 さらに, 学習した表現をテクスチャではなく, 形状保持に偏り, 情報源モデルの伝達性に影響を与えることが観察された。 最後に、影響関数のレンズを通して、伝達された敵が訓練したモデルがより人間に識別可能な意味情報を含むことを発見した。

関連論文リスト

• Efficient Visualization of Neural Networks with Generative Models and Adversarial Perturbations [0.0]
  本稿では,既存の手法を改良した生成ネットワークによるディープビジュアライゼーション手法を提案する。 我々のモデルは、使用するネットワーク数を減らし、ジェネレータと識別器のみを必要とすることにより、アーキテクチャを単純化する。 我々のモデルは、事前の訓練知識を少なくし、差別者がガイドとして機能する非敵的訓練プロセスを使用する。
  論文  参考訳（メタデータ） (2024-09-20T14:59:25Z)
• Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
  トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。 最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。 このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T17:32:11Z)
• How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
  転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。 本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。 スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
  論文  参考訳（メタデータ） (2021-11-26T11:58:51Z)
• Understanding invariance via feedforward inversion of discriminatively trained classifiers [30.23199531528357]
  過去の研究では、出力ログに余計な視覚的詳細が残っていることが判明した。 極めて高い忠実度を再現するフィードフォワードインバージョンモデルを開発する。 私たちのアプローチはBigGANをベースにしており、1ホットクラスのラベルの代わりにロジットのコンディショニングを行います。
  論文  参考訳（メタデータ） (2021-03-15T17:56:06Z)
• An analysis of the transfer learning of convolutional neural networks for artistic images [1.9336815376402716]
  巨大な自然画像データセットからのトランスファー学習は、アート分析アプリケーションの中核となっている。 本稿ではまず,ネットワークの内部表現を可視化する手法を用いて,ネットワークが芸術的イメージで何を学んだかを理解するための手がかりを提供する。 特徴空間とパラメータ空間の両方のメトリクスと、最大アクティベーション画像のセットで計算されたメトリクスのおかげで、学習プロセスが導入した変化を定量的に分析する。
  論文  参考訳（メタデータ） (2020-11-05T09:45:32Z)
• Stylized Adversarial Defense [105.88250594033053]
  逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。 我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。 我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
  論文  参考訳（メタデータ） (2020-07-29T08:38:10Z)
• Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
  近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。 本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T08:30:16Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)
• Minimax Lower Bounds for Transfer Learning with Linear and One-hidden Layer Neural Networks [27.44348371795822]
  転送学習の限界を特徴付けるための統計的ミニマックスフレームワークを開発する。 ラベル付きソース数とターゲットデータの関数として,任意のアルゴリズムで達成可能なターゲット一般化誤差に対して,低いバウンドを導出する。
  論文  参考訳（メタデータ） (2020-06-16T22:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。