論文の概要: A Flexible Selection Scheme for Minimum-Effort Transfer Learning

• arxiv url: http://arxiv.org/abs/2008.11995v1
• Date: Thu, 27 Aug 2020 08:57:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 08:02:16.386440
• Title: A Flexible Selection Scheme for Minimum-Effort Transfer Learning
• Title（参考訳）: 最小労力変換学習のためのフレキシブル選択方式
• Authors: Amelie Royer and Christoph H. Lampert
• Abstract要約: ファインチューニングは、トレーニング済みの畳み込みネットワークに含まれる知識を活用して、新しい視覚認識タスクを実現する方法として人気がある。 フレキシブルチューニング(flex-tuning)と呼ばれる,ネットワークの個々のユニットをチューニング可能な,新たなファインチューニング方式を導入する。 微調整された個々のユニットは、その単純さにもかかわらず、適応手法として非常に良い結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 27.920304852537534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning is a popular way of exploiting knowledge contained in a pre-trained convolutional network for a new visual recognition task. However, the orthogonal setting of transferring knowledge from a pretrained network to a visually different yet semantically close source is rarely considered: This commonly happens with real-life data, which is not necessarily as clean as the training source (noise, geometric transformations, different modalities, etc.). To tackle such scenarios, we introduce a new, generalized form of fine-tuning, called flex-tuning, in which any individual unit (e.g. layer) of a network can be tuned, and the most promising one is chosen automatically. In order to make the method appealing for practical use, we propose two lightweight and faster selection procedures that prove to be good approximations in practice. We study these selection criteria empirically across a variety of domain shifts and data scarcity scenarios, and show that fine-tuning individual units, despite its simplicity, yields very good results as an adaptation technique. As it turns out, in contrast to common practice, rather than the last fully-connected unit it is best to tune an intermediate or early one in many domain-shift scenarios, which is accurately detected by flex-tuning.
• Abstract（参考訳）: 微調整は、新しい視覚認識タスクのために事前訓練された畳み込みネットワークに含まれる知識を利用する一般的な方法である。 しかし、事前訓練されたネットワークから視覚的に異なるが意味的に密接なソースへ知識を転送する直交的な設定は、ほとんど考慮されない: これは一般的に、実生活データで起こるが、これは必ずしも訓練元(ノイズ、幾何学的変換、異なるモダリティなど)ほどクリーンではない。 このようなシナリオに取り組むために、ネットワークの個々のユニット(例えば層)をチューニングでき、最も有望なユニットが自動的に選択される、flex-tuningと呼ばれる新しい一般的な微調整方式を導入する。 本手法を実用的にアピールするために, 実用上良い近似であることが証明された, 軽量かつ高速な2つの選択手順を提案する。 これらの選択基準は、さまざまなドメインシフトやデータ不足シナリオに対して実証的に検討し、微調整された個々のユニットが単純であるにもかかわらず、適応手法として非常に良い結果をもたらすことを示す。 結局のところ、一般的な実践とは対照的に、最後の完全連結単位ではなく、多くのドメインシフトシナリオにおいて中間または初期単位をチューニングするのが最善である。

関連論文リスト

• Surgical Fine-Tuning Improves Adaptation to Distribution Shifts [114.17184775397067]
  分散シフト下での伝達学習の一般的なアプローチは、事前訓練されたモデルの最後の数層を微調整することである。 本稿は, 階層のサブセットを選択的に微調整する手法が, 一般的に用いられている微調整手法と一致し, 性能が良くないことを示す。
  論文  参考訳（メタデータ） (2022-10-20T17:59:15Z)
• An Effective Baseline for Robustness to Distributional Shift [5.627346969563955]
  ディープラーニングシステムの安全なデプロイには,トレーニング中に見られるものと異なる入力のカテゴリに直面した場合,確実な予測を控えることが重要な要件である。 本論文では, 吸収の原理を用いた分布異常検出の簡便かつ高効率な手法を提案する。
  論文  参考訳（メタデータ） (2021-05-15T00:46:11Z)
• Self-supervised Augmentation Consistency for Adapting Semantic Segmentation [56.91850268635183]
  本稿では,実用的かつ高精度な意味セグメンテーションのためのドメイン適応手法を提案する。 私たちは標準データ拡張技術である$-$フォトメトリックノイズ、フリップとスケーリング$-$を採用し、セマンティック予測の一貫性を保証する。 適応後の最先端セグメンテーション精度を大幅に改善し、バックボーンアーキテクチャと適応シナリオの異なる選択に整合性を持たせる。
  論文  参考訳（メタデータ） (2021-04-30T21:32:40Z)
• All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
  オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。 具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。 知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
  論文  参考訳（メタデータ） (2021-03-02T03:09:03Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)
• Multi-Stage Transfer Learning with an Application to Selection Process [5.933303832684138]
  多段階プロセスでは、決定は順序付けられた段階の順序で行われる。 本研究では,早期に訓練された単純な分類器からの知識を利用するテキスト・マルチ・スタゲ・トランスファー・ラーニング(MSGTL)手法を提案する。 簡単な確率写像を用いて,知識の保存と微調整のトレードオフを制御可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-01T21:27:04Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。