論文の概要: Neural Fine-Tuning Search for Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2306.09295v1
• Date: Thu, 15 Jun 2023 17:20:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 13:36:18.358428
• Title: Neural Fine-Tuning Search for Few-Shot Learning
• Title（参考訳）: マイナショット学習のためのニューラルファインチューニング探索
• Authors: Panagiotis Eustratiadis, {\L}ukasz Dudziak, Da Li, Timothy Hospedales
• Abstract要約: 数発の認識では、分類器は、解離した新しいクラスの集合に迅速に適応し、一般化するために必要となる。 近年の研究では、慎重に製作された適応型アーキテクチャによる微調整の有効性が示されている。 ニューラル・アーキテクチャ・サーチ(NAS)のレンズを用いてこの問題を研究する。
• 参考スコア（独自算出の注目度）: 10.194808064624771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In few-shot recognition, a classifier that has been trained on one set of classes is required to rapidly adapt and generalize to a disjoint, novel set of classes. To that end, recent studies have shown the efficacy of fine-tuning with carefully crafted adaptation architectures. However this raises the question of: How can one design the optimal adaptation strategy? In this paper, we study this question through the lens of neural architecture search (NAS). Given a pre-trained neural network, our algorithm discovers the optimal arrangement of adapters, which layers to keep frozen and which to fine-tune. We demonstrate the generality of our NAS method by applying it to both residual networks and vision transformers and report state-of-the-art performance on Meta-Dataset and Meta-Album.
• Abstract（参考訳）: 数発の認識では、一組のクラスで訓練された分類器は、解離した新しいクラスの集合に迅速に適応し一般化するために必要である。 この目的のために、近年の研究では、慎重に製作された適応アーキテクチャによる微調整の有効性が示されている。 最適な適応戦略をどのように設計すればよいのか? 本稿では,この問題をニューラルアーキテクチャサーチ(NAS)のレンズを用いて検討する。 トレーニング済みのニューラルネットワークが与えられた場合、我々のアルゴリズムはアダプタの最適配置を見つけ、どの層が凍結し、どの層が微調整されるかを確認する。 残差ネットワークと視覚変換器の両方に適用することでNAS法の汎用性を実証し,Meta-DatasetとMeta-Albumの最先端性能を報告する。

関連論文リスト

• Neural Metamorphosis [72.88137795439407]
  本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。 NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。 75%の圧縮速度でもフルサイズの性能を維持する。
  論文  参考訳（メタデータ） (2024-10-10T14:49:58Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Adaptive Convolutional Dictionary Network for CT Metal Artifact Reduction [62.691996239590125]
  本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。 我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。 本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
  論文  参考訳（メタデータ） (2022-05-16T06:49:36Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Increasing Depth of Neural Networks for Life-long Learning [2.0305676256390934]
  本稿では,ニューラルネットワークの深度増加に基づく連続学習手法を提案する。 この研究は、ニューラルネットワークの深さを延ばすことが、生涯にわたる学習環境で有益かどうかを探求する。
  論文  参考訳（メタデータ） (2022-02-22T11:21:41Z)
• Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
  ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。 分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
  論文  参考訳（メタデータ） (2022-02-10T21:45:49Z)
• Implementing a foveal-pit inspired filter in a Spiking Convolutional Neural Network: a preliminary study [0.0]
  我々は,網膜卵管刺激によるガウスフィルタとランク順符号化の差異を取り入れたスポーキング畳み込みニューラルネットワーク(SCNN)を提示した。 このモデルは、Nengoライブラリーで実装されているように、スパイキングニューロンで動作するように適応されたバックプロパゲーションアルゴリズムの変種を用いて訓練される。 ネットワークは最大90%の精度で達成され、損失はクロスエントロピー関数を用いて計算される。
  論文  参考訳（メタデータ） (2021-05-29T15:28:30Z)
• Auto-tuning of Deep Neural Networks by Conflicting Layer Removal [0.0]
  トレーニングモデルのテスト精度を低下させる層を識別する新しい手法を提案する。 矛盾する層は、トレーニングの開始時に早期に検出される。 訓練された残存ネットワークのレイヤの約60%が、アーキテクチャから完全に取り除かれることを示しています。
  論文  参考訳（メタデータ） (2021-03-07T11:51:55Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot Learning [76.98364915566292]
  一般的なプラクティスは、まずベースセット上でモデルをトレーニングし、その後、微調整によって新しいクラスに移行することである。 本稿では,基本モデル内の特定の層を凍結あるいは微調整することにより,部分的知識の伝達を提案する。 提案手法の有効性を実証するために, CUB と mini-ImageNet の広範な実験を行った。
  論文  参考訳（メタデータ） (2021-02-08T03:27:05Z)
• Conflicting Bundles: Adapting Architectures Towards the Improved Training of Deep Neural Networks [1.7188280334580195]
  トレーニングされたモデルのテスト精度を低下させるレイヤを特定するために,新しい理論と計量を導入する。 矛盾するトレーニングバンドルを生成するため、パフォーマンスを悪化させるこれらのレイヤを特定します。 これらの結果に基づき、性能低下層を自動的に除去する新しいアルゴリズムが導入された。
  論文  参考訳（メタデータ） (2020-11-05T16:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。