論文の概要: Active Few-Shot Fine-Tuning
- arxiv url: http://arxiv.org/abs/2402.15441v1
- Date: Tue, 13 Feb 2024 09:19:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-03 19:30:39.693324
- Title: Active Few-Shot Fine-Tuning
- Title(参考訳): アクティブショットファインチューニング
- Authors: Jonas H\"ubotter and Bhavya Sukhija and Lenart Treven and Yarden As
and Andreas Krause
- Abstract要約: 古典的能動学習, 帰納的能動学習の一般化の一例として, 数ショットの微調整があげられる。
本稿では,情報に基づくトランスダクティブ学習を短縮したIDLを提案する。
- 参考スコア(独自算出の注目度): 38.07772681738546
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the active few-shot fine-tuning of large neural networks to
downstream tasks. We show that few-shot fine-tuning is an instance of a
generalization of classical active learning, transductive active learning, and
we propose ITL, short for information-based transductive learning, an approach
which samples adaptively to maximize the information gained about specified
downstream tasks. Under general regularity assumptions, we prove that ITL
converges uniformly to the smallest possible uncertainty obtainable from the
accessible data. To the best of our knowledge, we are the first to derive
generalization bounds of this kind, and they may be of independent interest for
active learning. We apply ITL to the few-shot fine-tuning of large neural
networks and show that ITL substantially improves upon the state-of-the-art.
- Abstract(参考訳): 我々は、下流タスクに対する大規模ニューラルネットワークのアクティブな数ショットの微調整について研究する。
本稿では,古典的アクティブラーニング,トランスダクティブ・アクティブラーニングの一般化の一例として,情報に基づくトランスダクティブ・ラーニング(Transductive Learning)の略であるIDLを提案する。
一般の正則性仮定では、IPLはアクセス可能なデータから得られる最小の不確実性に一様に収束する。
我々の知る限りでは、我々はこの種の一般化境界を導出した最初の人物であり、彼らは活発な学習に対して独立した関心を持つかもしれない。
ITLを大規模ニューラルネットワークの微調整に応用することにより、ITLは最先端技術において大幅に改善されることを示す。
関連論文リスト
- Information-based Transductive Active Learning [38.07772681738546]
本稿では,情報に基づくトランスダクティブ学習を短縮したIDLを提案する。
一般の正則性仮定では、IPLはアクセス可能なデータから得られる最小の不確実性に一様に収束する。
論文 参考訳(メタデータ) (2024-02-13T09:22:45Z) - Towards Realistic Unsupervised Fine-tuning with CLIP [108.45391206730402]
我々はUniversal Entropy Optimization(UEO)と呼ばれるシンプルで効率的で効果的な微調整手法を提案する。
UEOはサンプルレベルの信頼を利用して、信頼性の低いインスタンスの条件エントロピーを最小化し、信頼性の低いインスタンスの限界エントロピーを最大化する。
UEOは一般化とアウト・オブ・ディストリビューション検出の両方の観点から,ベースライン法を超越していることを示す。
論文 参考訳(メタデータ) (2023-08-24T16:47:17Z) - Principled and Efficient Transfer Learning of Deep Models via Neural
Collapse [35.365366092030904]
この研究は、神経崩壊(NC)と呼ばれる興味深い現象を通して、伝達学習の謎を掘り下げる
i) 事前学習時のモデル, クラス内変動の崩壊防止(ある程度)は, 入力データの内在的構造をよりよく保存し, モデル伝達性の向上につながること, (ii) 下流タスクの微調整モデルでは, 下流データ上でよりNCの高い特徴を得ることにより, 与えられたタスクの精度が向上すること, などである。
論文 参考訳(メタデータ) (2022-12-23T08:48:34Z) - Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。
MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。
ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-10-20T17:58:30Z) - Improving Meta-Learning Generalization with Activation-Based
Early-Stopping [12.299371455015239]
数ショットの学習のためのメタラーニングアルゴリズムは、少数の例だけで新しいタスクに一般化できるニューラルネットワークを訓練することを目的としている。
早期停止は、新しいタスク分布に最適な一般化に達すると、モデルトレーニングを停止させる。
これは、メタテストセットが異なるターゲットデータセットから来る、数ショットの転送学習設定で問題となる。
論文 参考訳(メタデータ) (2022-08-03T22:55:45Z) - Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。
共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。
さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
論文 参考訳(メタデータ) (2022-07-08T10:25:47Z) - Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative
Priors [59.93972277761501]
我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。
このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
論文 参考訳(メタデータ) (2022-05-20T16:19:30Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳(メタデータ) (2020-10-16T17:45:08Z) - Learning the Travelling Salesperson Problem Requires Rethinking
Generalization [9.176056742068813]
トラベリングセールスパーソン問題(TSP)のようなグラフ最適化問題に対するニューラルネットワークソルバのエンドツーエンドトレーニングは近年,関心が高まっている。
最先端の学習駆動アプローチは、自明に小さなサイズで訓練された場合、古典的な解法と密接に関係するが、実践的な規模で学習ポリシーを大規模に一般化することはできない。
この研究は、トレーニングで見られるものよりも大きいインスタンスへの一般化を促進する、原則化されたバイアス、モデルアーキテクチャ、学習アルゴリズムを特定するために、最近の論文を統一するエンドツーエンドのニューラルネットワークパイプラインを提示している。
論文 参考訳(メタデータ) (2020-06-12T10:14:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。