論文の概要: Technical Report: Combining knowledge from Transfer Learning during training and Wide Resnets

• arxiv url: http://arxiv.org/abs/2206.09697v1
• Date: Mon, 20 Jun 2022 10:40:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 17:46:35.386730
• Title: Technical Report: Combining knowledge from Transfer Learning during training and Wide Resnets
• Title（参考訳）: 技術報告:教育における転校生の知識と広域ネットワークの融合
• Authors: Wolfgang Fuhl
• Abstract要約: 深層ニューラルネットワークのアーキテクチャを最適化するために、Wide ResNetsとTransfer Learningを組み合わせています。 アーキテクチャの最初の改善点は、すべてのレイヤを最後のレイヤの情報ソースとして使用することです。 2つ目の改善は、ブロックのより深いシーケンスではなく、より深いレイヤを使用することだ。
• 参考スコア（独自算出の注目度）: 2.3859169601259342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this report, we combine the idea of Wide ResNets and transfer learning to optimize the architecture of deep neural networks. The first improvement of the architecture is the use of all layers as information source for the last layer. This idea comes from transfer learning, which uses networks pre-trained on other data and extracts different levels of the network as input for the new task. The second improvement is the use of deeper layers instead of deeper sequences of blocks. This idea comes from Wide ResNets. Using both optimizations, both high data augmentation and standard data augmentation can produce better results for different models. Link: https://github.com/wolfgangfuhl/PublicationStuff/tree/master/TechnicalReport1/Supp
• Abstract（参考訳）: 本報告では,ディープニューラルネットワークのアーキテクチャを最適化するために,広範な再ネットとトランスファー学習のアイデアを組み合わせる。 アーキテクチャの最初の改善は、すべてのレイヤを最後のレイヤの情報ソースとして使用することだ。 このアイデアは、他のデータに事前トレーニングされたネットワークを使用して、新しいタスクの入力としてネットワークのさまざまなレベルを抽出するトランスファーラーニングに由来する。 第2の改善点は、ブロックのより深いシーケンスではなく、より深いレイヤを使用することだ。 このアイデアは Wide ResNets に由来する。 高いデータ拡張と標準的なデータ拡張の両方を最適化することで、異なるモデルに対してより良い結果が得られる。 リンク:https://github.com/wolfgangfuhl/PublicationStuff/tree/master/TechnicalReport1/Supp

関連論文リスト

• Stitching for Neuroevolution: Recombining Deep Neural Networks without Breaking Them [0.0]
  神経進化への伝統的なアプローチは、しばしばゼロから始まる。 アーキテクチャと特徴表現が典型的に異なるため、トレーニングされたネットワークの再結合は簡単ではない。 我々は、クロスオーバーポイントで新しいレイヤを導入することで、ネットワークをマージするステアリングを採用しています。
  論文  参考訳（メタデータ） (2024-03-21T08:30:44Z)
• Speeding Up EfficientNet: Selecting Update Blocks of Convolutional Neural Networks using Genetic Algorithm in Transfer Learning [0.0]
  パラメータを更新するための階層のブロックを選択する遺伝的アルゴリズムを考案する。 提案アルゴリズムは, 精度の点で, ベースラインと同等あるいは良質な結果が得られることを示す。 また、各ブロックの有効性を更新ブロックとして測定するブロック重要度と呼ばれる指標も考案した。
  論文  参考訳（メタデータ） (2023-03-01T06:35:29Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
  ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。 分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
  論文  参考訳（メタデータ） (2022-02-10T21:45:49Z)
• Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers [54.47911829539919]
  我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。 本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。 提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
  論文  参考訳（メタデータ） (2021-02-09T08:19:49Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Adjoined Networks: A Training Paradigm with Applications to Network Compression [3.995047443480282]
  本稿では、元のベースネットワークとより小さな圧縮ネットワークの両方を同時にトレーニングする学習パラダイムであるAdjoined Networks(AN)を紹介する。 ベースネットワークとしてResNet-50を使用すると、画像Netデータセット上の1.8Mパラメータと1.6GFLOPで71.8%のトップ-1の精度が達成される。 我々は,ニューラルネットワーク探索を用いて,より小さなネットワークの各レイヤの幅と重みを共同で学習し,ANを増強する訓練パラダイムであるDaniable Adjoined Networks (DAN)を提案する。
  論文  参考訳（メタデータ） (2020-06-10T02:48:16Z)
• Neuroevolutionary Transfer Learning of Deep Recurrent Neural Networks through Network-Aware Adaptation [57.46377517266827]
  本研究はN-ASTL(Network-Aware Adaptive Structure Transfer Learning)を導入する。 N-ASTLは、ソースネットワークのトポロジと重み分布に関する統計情報を利用して、新しい入力ニューロンと出力ニューロンが既存の構造にどのように統合されるかを伝える。 結果は、これまで不可能だった現実世界のデータセットを転送する機能など、従来の最先端よりも改善されていることを示している。
  論文  参考訳（メタデータ） (2020-06-04T06:07:30Z)
• Convolutional Networks with Dense Connectivity [59.30634544498946]
  Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。 各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。 提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
  論文  参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。