論文の概要: Understanding the Role of Invariance in Transfer Learning

• arxiv url: http://arxiv.org/abs/2407.04325v1
• Date: Fri, 5 Jul 2024 07:53:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 14:09:46.684297
• Title: Understanding the Role of Invariance in Transfer Learning
• Title（参考訳）: トランスファーラーニングにおける不変性の役割の理解
• Authors: Till Speicher, Vedant Nanda, Krishna P. Gummadi,
• Abstract要約: トランスファーラーニングは、異なるタスク間で知識を共有するための強力なテクニックである。 近年の研究では、逆入力摂動のような特定の不変性を持つモデルの表現が、下流タスクにおいてより高い性能を達成することが判明している。
• 参考スコア（独自算出の注目度）: 9.220104991339104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer learning is a powerful technique for knowledge-sharing between different tasks. Recent work has found that the representations of models with certain invariances, such as to adversarial input perturbations, achieve higher performance on downstream tasks. These findings suggest that invariance may be an important property in the context of transfer learning. However, the relationship of invariance with transfer performance is not fully understood yet and a number of questions remain. For instance, how important is invariance compared to other factors of the pretraining task? How transferable is learned invariance? In this work, we systematically investigate the importance of representational invariance for transfer learning, as well as how it interacts with other parameters during pretraining. To do so, we introduce a family of synthetic datasets that allow us to precisely control factors of variation both in training and test data. Using these datasets, we a) show that for learning representations with high transfer performance, invariance to the right transformations is as, or often more, important than most other factors such as the number of training samples, the model architecture and the identity of the pretraining classes, b) show conditions under which invariance can harm the ability to transfer representations and c) explore how transferable invariance is between tasks. The code is available at \url{https://github.com/tillspeicher/representation-invariance-transfer}.
• Abstract（参考訳）: トランスファーラーニングは、異なるタスク間で知識を共有するための強力なテクニックである。 近年の研究では、逆入力摂動のような特定の不変性を持つモデルの表現が、下流タスクにおいてより高い性能を達成することが判明している。 これらの結果から,変分は転帰学習の文脈において重要な特性である可能性が示唆された。 しかし、転送性能と不変性の関係は未だ完全には理解されておらず、多くの疑問が残っている。 例えば、事前学習タスクの他の要因と比較して、不変性はどの程度重要か? いかに非分散を学ぶか? 本研究では,伝達学習における表現不変性の重要性と,事前学習中に他のパラメータとどのように相互作用するかを系統的に検討する。 そのために、私たちは、トレーニングデータとテストデータの両方において、変動の要因を正確に制御できる一連の合成データセットを導入しました。 これらのデータセットを使って a) 伝達性能の高い表現の学習において、適切な変換に対する不変性は、トレーニングサンプルの数、モデルアーキテクチャ、事前学習クラスの同一性など、他のほとんどの要因よりも重要であることを示すこと。 ロ 相違が表現を伝達する能力に悪影響を及ぼすおそれのある条件を示すこと。 c) タスク間の転送可能な不変性について調べる。 コードは \url{https://github.com/tillspeicher/representation-invariance-transfer} で公開されている。

関連論文リスト

• MT-SLVR: Multi-Task Self-Supervised Learning for Transformation In(Variant) Representations [2.94944680995069]
  本稿では,パラメータ効率のよいマルチタスク型自己教師型フレームワーク(MT-SLVR)を提案する。 我々は,様々な音声領域から抽出された数ショットの分類タスクに対するアプローチを評価し,分類性能の向上を実証した。
  論文  参考訳（メタデータ） (2023-05-29T09:10:50Z)
• Amortised Invariance Learning for Contrastive Self-Supervision [11.042648980854485]
  対照的な自己監督のために, 償却不変学習の概念を導入する。 我々のアモーテッド機能は、異なる不変条件で様々な下流タスクを学習する信頼性の高い方法を提供することを示す。 これは、汎用表現学習の分野での新しい地平を開くエキサイティングな視点を提供する。
  論文  参考訳（メタデータ） (2023-02-24T16:15:11Z)
• EquiMod: An Equivariance Module to Improve Self-Supervised Learning [77.34726150561087]
  自己教師付き視覚表現法は教師付き学習性能とのギャップを埋めている。 これらの手法は、データ拡張によって生成された関連する合成入力の埋め込みの類似性を最大化することに依存する。 学習された潜在空間を構成する一般同値加群であるEquiModを導入する。
  論文  参考訳（メタデータ） (2022-11-02T16:25:54Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Do Deep Networks Transfer Invariances Across Classes? [123.84237389985236]
  ニュアンス変換を学習するための生成的アプローチが、クラス間での不変性の伝達にどのように役立つかを示す。 この結果から,不均衡分布や細長い分布に対して分類器が不規則に一般化する理由が示唆された。
  論文  参考訳（メタデータ） (2022-03-18T04:38:18Z)
• Why Do Self-Supervised Models Transfer? Investigating the Impact of Invariance on Downstream Tasks [79.13089902898848]
  自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。 コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
  論文  参考訳（メタデータ） (2021-11-22T18:16:35Z)
• Grounding inductive biases in natural images:invariance stems from variations in data [20.432568247732206]
  本研究では,実際のデータセットであるImageNetの変動要因について検討する。 標準的な拡張は、翻訳とスケールの正確な組み合わせに依存していることを示す。 ImageNetの変動の主な要因は外見に大きく関係していることがわかりました。
  論文  参考訳（メタデータ） (2021-06-09T14:58:57Z)
• What is being transferred in transfer learning? [51.6991244438545]
  事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。 事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
  論文  参考訳（メタデータ） (2020-08-26T17:23:40Z)
• What Should Not Be Contrastive in Contrastive Learning [110.14159883496859]
  本稿では,タスク依存不変性に関する事前知識を必要としない,対照的な学習フレームワークを提案する。 我々のモデルは、異なる埋め込み空間を構築することで、視覚表現の様々な要因や不変要素を捉えることを学習する。 我々は、共有バックボーンを持つマルチヘッドネットワークを使用し、各オーグメンテーションにまたがる情報をキャプチャし、ダウンストリームタスクにおけるすべてのベースラインより優れている。
  論文  参考訳（メタデータ） (2020-08-13T03:02:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。