論文の概要: Bridging Diversity and Uncertainty in Active learning with
Self-Supervised Pre-Training
- arxiv url: http://arxiv.org/abs/2403.03728v1
- Date: Wed, 6 Mar 2024 14:18:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 14:55:44.009075
- Title: Bridging Diversity and Uncertainty in Active learning with
Self-Supervised Pre-Training
- Title(参考訳): 自己監督型事前学習によるアクティブラーニングにおける多様性と不確かさ
- Authors: Paul Doucet, Benjamin Estermann, Till Aczel, Roger Wattenhofer
- Abstract要約: 本研究は,能動学習における多様性に基づく,不確実性に基づくサンプリング戦略の統合について論じる。
我々は,コールドスタート問題を軽減し,さまざまなデータレベルの強いパフォーマンスを維持しつつ,TCMという単純な手法を導入する。
- 参考スコア(独自算出の注目度): 23.573986817769025
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study addresses the integration of diversity-based and uncertainty-based
sampling strategies in active learning, particularly within the context of
self-supervised pre-trained models. We introduce a straightforward heuristic
called TCM that mitigates the cold start problem while maintaining strong
performance across various data levels. By initially applying TypiClust for
diversity sampling and subsequently transitioning to uncertainty sampling with
Margin, our approach effectively combines the strengths of both strategies. Our
experiments demonstrate that TCM consistently outperforms existing methods
across various datasets in both low and high data regimes.
- Abstract(参考訳): 本研究は,特に自己指導型事前学習モデルの文脈において,多様性に基づく,不確実性に基づくサンプリング戦略の統合に対処する。
我々は,様々なデータレベルで高い性能を維持しつつ,コールドスタート問題を緩和するTCMという簡単なヒューリスティックを導入する。
当初はTypiClustを多様性サンプリングに適用し,その後Marginによる不確実性サンプリングに移行することで,両戦略の強みを効果的に組み合わせることができた。
我々の実験は、TCMが低データと高データの両方において、様々なデータセットで既存のメソッドを一貫して上回ることを示した。
関連論文リスト
- Take the Bull by the Horns: Hard Sample-Reweighted Continual Training
Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。
本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。
次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文 参考訳(メタデータ) (2024-02-22T04:10:57Z) - On Task Performance and Model Calibration with Supervised and
Self-Ensembled In-Context Learning [71.44986275228747]
In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。
しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
論文 参考訳(メタデータ) (2023-12-21T11:55:10Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-05T13:42:11Z) - Self-aware and Cross-sample Prototypical Learning for Semi-supervised
Medical Image Segmentation [10.18427897663732]
整合性学習は半教師付き医療画像セグメンテーションにおいて重要な役割を担っている。
これにより、注釈なしデータの豊富さを生かしながら、限られた注釈付きデータの有効利用が可能になる。
一貫性学習における予測の多様性を高めるために,自己認識型・クロスサンプル型学習法(SCP-Net)を提案する。
論文 参考訳(メタデータ) (2023-05-25T16:22:04Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳(メタデータ) (2022-02-25T13:47:09Z) - Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma
Distributions [91.63716984911278]
このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。
実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
論文 参考訳(メタデータ) (2021-11-11T14:28:12Z) - Mitigating Sampling Bias and Improving Robustness in Active Learning [13.994967246046008]
教師付き環境下での能動学習に比較学習の損失を生かして教師付き能動学習を導入する。
多様な特徴表現の情報的データサンプルを選択するアンバイアスなクエリ戦略を提案する。
提案手法は,アクティブな学習環境において,サンプリングバイアスを低減し,最先端の精度を実現し,モデルの校正を行う。
論文 参考訳(メタデータ) (2021-09-13T20:58:40Z) - Deep Active Learning with Augmentation-based Consistency Estimation [23.492616938184092]
本稿では,データ拡張に基づく手法をアクティブな学習シナリオに適用することにより,一般化能力を向上させる手法を提案する。
データの増大に基づく正規化損失については,カットアウト(co)とカットミックス(cm)の戦略を定量的指標として再定義した。
強化型正規化器は,能動学習の訓練段階における性能向上につながる可能性が示唆された。
論文 参考訳(メタデータ) (2020-11-05T05:22:58Z) - Ask-n-Learn: Active Learning via Reliable Gradient Representations for
Image Classification [29.43017692274488]
深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。
Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
論文 参考訳(メタデータ) (2020-09-30T05:19:56Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳(メタデータ) (2020-04-29T02:32:04Z) - Progressive Multi-Stage Learning for Discriminative Tracking [25.94944743206374]
本稿では,頑健な視覚追跡のためのサンプル選択の段階的多段階最適化ポリシを用いた共同識別学習手法を提案する。
提案手法は, 時間重み付き, 検出誘導型セルフペースト学習戦略により, 簡単なサンプル選択を行う。
ベンチマークデータセットの実験では、提案した学習フレームワークの有効性が示されている。
論文 参考訳(メタデータ) (2020-04-01T07:01:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。