論文の概要: Equivariant Few-Shot Learning from Pretrained Models

• arxiv url: http://arxiv.org/abs/2305.09900v1
• Date: Wed, 17 May 2023 02:20:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-18 17:41:56.530227
• Title: Equivariant Few-Shot Learning from Pretrained Models
• Title（参考訳）: 事前学習モデルからの等変小ショット学習
• Authors: Sourya Basu, Pulkit Katdare, Prasanna Sattigeri, Vijil Chenthamarakshan, Katherine Driggs-Campbell, Payel Das, Lav R. Varshney
• Abstract要約: 良好な微調整結果にもかかわらず、等式ゼロショットタスクでは等式が不十分であることが判明した。 我々はtextitの重みを使って機能を平均化する$lambda$-textitequitune, $lambda$sを提案する。 これらの重みは、小さなニューラルネットワークを使ってデータから直接学習され、優れたゼロショットと微調整結果をもたらす。
• 参考スコア（独自算出の注目度）: 39.922770930640134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient transfer learning algorithms are key to the success of foundation models on diverse downstream tasks even with limited data. Recent works of \cite{basu2022equi} and \cite{kaba2022equivariance} propose group averaging (\textit{equitune}) and optimization-based methods, respectively, over features from group-transformed inputs to obtain equivariant outputs from non-equivariant neural networks. While \cite{kaba2022equivariance} are only concerned with training from scratch, we find that equitune performs poorly on equivariant zero-shot tasks despite good finetuning results. We hypothesize that this is because pretrained models provide better quality features for certain transformations than others and simply averaging them is deleterious. Hence, we propose $\lambda$-\textit{equitune} that averages the features using \textit{importance weights}, $\lambda$s. These weights are learned directly from the data using a small neural network, leading to excellent zero-shot and finetuned results that outperform equitune. Further, we prove that $\lambda$-equitune is equivariant and a universal approximator of equivariant functions. Additionally, we show that the method of \cite{kaba2022equivariance} used with appropriate loss functions, which we call \textit{equizero}, also gives excellent zero-shot and finetuned performance. Both equitune and equizero are special cases of $\lambda$-equitune. To show the simplicity and generality of our method, we validate on a wide range of diverse applications and models such as 1) image classification using CLIP, 2) deep Q-learning, 3) fairness in natural language generation (NLG), 4) compositional generalization in languages, and 5) image classification using pretrained CNNs such as Resnet and Alexnet.
• Abstract（参考訳）: 効率的な転送学習アルゴリズムは、限られたデータであっても様々な下流タスクの基礎モデルの成功の鍵となる。 最近の研究である \cite{basu2022equi} と \cite{kaba2022equivariance} はそれぞれ群平均化(\textit{equitune})と最適化に基づく手法を提案している。 \cite{kaba2022equivariance} はスクラッチからしか訓練しないが、等式は良好な微調整結果にもかかわらず等変ゼロショットタスクでは不十分である。 これは、事前トレーニングされたモデルが特定の変換に対して、他のモデルよりも優れた品質機能を提供し、単に平均化が削除されるからだ、と仮定しています。 したがって、$\lambda$-\textit{equitune} は \textit{importance weights}, $\lambda$s を使って機能を平均化する。 これらの重みは、小さなニューラルネットワークを使ってデータから直接学習され、ゼロショットと微調整の結果が等級を上回る。 さらに、$\lambda$-equitune が同変であり、同変関数の普遍近似器であることが証明される。 さらに,我々が \textit{equizero} と呼ぶ適切な損失関数とともに用いられる \cite{kaba2022equivariance} の方法は,優れたゼロショットおよび微調整性能をもたらすことを示す。 equitune と equizero はいずれも $\lambda$-equitune の特別な場合である。 提案手法の単純さと汎用性を示すため,多種多様なアプリケーションやモデルに対して検証を行った。 1) CLIP を用いた画像分類 2)深いQ-ラーニング。 3)自然言語生成における公平性(NLG) 4) 言語における構成一般化及び 5) ResnetやAlexnetなどの事前訓練CNNを用いた画像分類。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Adaptive manifold for imbalanced transductive few-shot learning [16.627512688664513]
  適応マニフォールド(Adaptive Manifold)という,不均衡なトランスダクティブ・ショット・ラーニングに対処する新しいアルゴリズムを提案する。 提案手法は,ラベル付きサポート例とラベルなしクエリの基盤となる多様体を利用して,クエリごとのクラス確率分布を予測する。
  論文  参考訳（メタデータ） (2023-04-27T15:42:49Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Equi-Tuning: Group Equivariant Fine-Tuning of Pretrained Models [56.88106830869487]
  我々は、(潜在的に非同変な)事前訓練されたモデルを群同変モデルに変換する新しい微調整法である、同調を導入する。 本稿では、画像分類、合成言語における一般化、自然言語生成における公平性という3つの異なるタスクに対する等価チューニングの応用について述べる。
  論文  参考訳（メタデータ） (2022-10-13T08:45:23Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• MIO : Mutual Information Optimization using Self-Supervised Binary Contrastive Learning [19.5917119072985]
  対が正かどうかを予測するために、比較学習を二項分類問題にモデル化する。 提案手法は,STL-10,CIFAR-10,CIFAR-100などのベンチマークデータセットにおいて,最先端のアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2021-11-24T17:51:29Z)
• eGAN: Unsupervised approach to class imbalance using transfer learning [8.100450025624443]
  クラス不均衡は、多くの機械学習分類タスクに固有の問題である。 予め訓練された画像分類モデルからエンコーダベースのGenerative Adversarial Network(eGAN)への転送学習を活用することにより、これらの不均衡に対処するための監督されていないアプローチを検討する。 CIFAR-10分類タスクにおいて0.69 F1-scoreの結果が1:2500の不均衡比で得られた。
  論文  参考訳（メタデータ） (2021-04-09T02:37:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。