論文の概要: Information-based Transductive Active Learning
- arxiv url: http://arxiv.org/abs/2402.15898v2
- Date: Tue, 12 Mar 2024 07:37:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 00:34:11.935225
- Title: Information-based Transductive Active Learning
- Title(参考訳): 情報に基づくトランスダクティブアクティブラーニング
- Authors: Jonas H\"ubotter, Bhavya Sukhija, Lenart Treven, Yarden As, Andreas
Krause
- Abstract要約: 本稿では,情報に基づくトランスダクティブ学習を短縮したIDLを提案する。
一般の正則性仮定では、IPLはアクセス可能なデータから得られる最小の不確実性に一様に収束する。
- 参考スコア(独自算出の注目度): 38.07772681738546
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We generalize active learning to address real-world settings where sampling
is restricted to an accessible region of the domain, while prediction targets
may lie outside this region. To this end, we propose ITL, short for
information-based transductive learning, an approach which samples adaptively
to maximize the information gained about specified prediction targets. We show,
under general regularity assumptions, that ITL converges uniformly to the
smallest possible uncertainty obtainable from the accessible data. We
demonstrate ITL in two key applications: Few-shot fine-tuning of large neural
networks and safe Bayesian optimization, and in both cases, ITL significantly
outperforms the state-of-the-art.
- Abstract(参考訳): 我々は,ドメインのアクセス可能な領域にサンプリングが制限される現実世界の設定に対処するために,アクティブラーニングを一般化する。
そこで本研究では,情報に基づくトランスダクティブ学習を短縮したIDLを提案する。
一般の正則性仮定では、IPLはアクセス可能なデータから得られる最小の不確実性に一様に収束する。
我々は,大規模ニューラルネットワークの短時間微調整と安全なベイズ最適化という2つの応用例でitlを実演する。
関連論文リスト
- TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language Models [27.306180426294784]
大規模言語モデル(LLM)を利用した新しい交通予測フレームワークであるTPLLMを紹介する。
本フレームワークでは,Lonal Neural Networks (LoCNNs) に基づくシーケンス埋め込み層と,Graph Contemporalal Networks (GCNs) に基づくグラフ埋め込み層を構築し,シーケンスの特徴と空間的特徴を抽出する。
実世界の2つのデータセットの実験では、フルサンプルと数ショットの予測シナリオの両方で、満足できるパフォーマンスを示している。
論文 参考訳(メタデータ) (2024-03-04T17:08:57Z) - Semi-Supervised U-statistics [22.696630428733204]
ラベルなしデータの豊富さによって強化された半教師付きU統計を導入する。
提案手法は古典的U統計よりも顕著な効率向上を示すことを示す。
我々は,すべての先進国において古典的U統計よりも優れた改良されたアプローチを提案する。
論文 参考訳(メタデータ) (2024-02-29T07:29:27Z) - Active Few-Shot Fine-Tuning [38.07772681738546]
古典的能動学習, 帰納的能動学習の一般化の一例として, 数ショットの微調整があげられる。
本稿では,情報に基づくトランスダクティブ学習を短縮したIDLを提案する。
論文 参考訳(メタデータ) (2024-02-13T09:19:05Z) - DE$^3$-BERT: Distance-Enhanced Early Exiting for BERT based on
Prototypical Networks [43.967626080432275]
BERT(DE$3$-BERT)のための新しい遠隔拡張早期実行フレームワークを提案する。
我々は,古典的エントロピーに基づく地域情報と距離に基づくグローバル情報とを補完するハイブリッドエグジット戦略を実装した。
GLUEベンチマークの実験では、De$3$-BERTが最先端モデルより一貫して優れていることが示されている。
論文 参考訳(メタデータ) (2024-02-03T15:51:17Z) - A Closer Look at the Few-Shot Adaptation of Large Vision-Language Models [19.17722702457403]
現状のArtETLアプローチは、狭義の実験的な設定でのみ強力な性能を示すことを示す。
一般化されたラグランジアン法を適応させることにより,バランス項を最適化したCLAP(CLass-Adaptive linear Probe)の目的を提案する。
論文 参考訳(メタデータ) (2023-12-20T02:58:25Z) - Towards Realistic Unsupervised Fine-tuning with CLIP [108.45391206730402]
我々はUniversal Entropy Optimization(UEO)と呼ばれるシンプルで効率的で効果的な微調整手法を提案する。
UEOはサンプルレベルの信頼を利用して、信頼性の低いインスタンスの条件エントロピーを最小化し、信頼性の低いインスタンスの限界エントロピーを最大化する。
UEOは一般化とアウト・オブ・ディストリビューション検出の両方の観点から,ベースライン法を超越していることを示す。
論文 参考訳(メタデータ) (2023-08-24T16:47:17Z) - Prediction-Oriented Bayesian Active Learning [51.426960808684655]
予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。
EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-04-17T10:59:57Z) - Unified Instance and Knowledge Alignment Pretraining for Aspect-based
Sentiment Analysis [96.53859361560505]
Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。
事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。
我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
論文 参考訳(メタデータ) (2021-10-26T04:03:45Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳(メタデータ) (2020-10-16T17:45:08Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-10-09T15:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。