Fugu-MT 論文翻訳(概要): Bridging Diversity and Uncertainty in Active learning with Self-Supervised Pre-Training

論文の概要: Bridging Diversity and Uncertainty in Active learning with Self-Supervised Pre-Training

arxiv url: http://arxiv.org/abs/2403.03728v2
Date: Fri, 17 Jan 2025 15:15:15 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-20 13:58:29.979097
Title: Bridging Diversity and Uncertainty in Active learning with Self-Supervised Pre-Training
Title（参考訳）: 自己監督型事前学習によるアクティブラーニングにおける多様性と不確かさ
Authors: Paul Doucet, Benjamin Estermann, Till Aczel, Roger Wattenhofer,
Abstract要約: 本研究は,能動学習における多様性に基づく,不確実性に基づくサンプリング戦略の統合について論じる。我々は,コールドスタート問題を軽減し,さまざまなデータレベルの強いパフォーマンスを維持しつつ,TCMという単純な手法を導入する。
参考スコア（独自算出の注目度）: 21.57943896942296
License:
Abstract: This study addresses the integration of diversity-based and uncertainty-based sampling strategies in active learning, particularly within the context of self-supervised pre-trained models. We introduce a straightforward heuristic called TCM that mitigates the cold start problem while maintaining strong performance across various data levels. By initially applying TypiClust for diversity sampling and subsequently transitioning to uncertainty sampling with Margin, our approach effectively combines the strengths of both strategies. Our experiments demonstrate that TCM consistently outperforms existing methods across various datasets in both low and high data regimes.
Abstract（参考訳）: 本研究では,特に自己指導型事前学習モデルの文脈において,多様性に基づく,不確実性に基づくサンプリング戦略のアクティブラーニングにおける統合について論じる。我々は,様々なデータレベルで高い性能を維持しつつ,コールドスタート問題を緩和する,TCMと呼ばれる簡単なヒューリスティックを導入する。当初はTypiClustをダイバーシティサンプリングに適用し,その後Marginによる不確実性サンプリングに移行することで,両戦略の強みを効果的に組み合わせることができた。我々の実験は、TCMが低データと高データの両方において、様々なデータセットにまたがる既存のメソッドを一貫して上回っていることを示した。

関連論文リスト

Maximally Separated Active Learning [32.98415531556376]
固定等角超球面点をクラスプロトタイプとして利用する能動的学習法を提案する。 5つのベンチマークデータセットにまたがる既存のアクティブラーニング技術よりも高いパフォーマンスを示す。
論文参考訳（メタデータ） (2024-11-26T14:02:43Z)
On-the-fly Modulation for Balanced Multimodal Learning [53.616094855778954]
マルチモーダル学習は、異なるモーダルからの情報を統合することでモデル性能を向上させることが期待されている。広く使われている共同トレーニング戦略は、不均衡で最適化されていないユニモーダル表現につながる。そこで本研究では,OGM(On-the-fly Prediction Modulation)とOGM(On-the-fly Gradient Modulation)の戦略を提案する。
論文参考訳（メタデータ） (2024-10-15T13:15:50Z)
Cross-Modal Few-Shot Learning: a Generative Transfer Learning Framework [58.362064122489166]
本稿では,複数モーダルからインスタンスを識別するクロスモーダルなFew-Shot Learningタスクを提案する。本稿では,1つの段階からなる生成的転帰学習フレームワークを提案する。1つは豊富な一助データに対する学習を伴い,もう1つは新しいデータに適応するための転帰学習に焦点を当てる。以上の結果から,GTLは4つの異なるマルチモーダルデータセット間の最先端手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2024-10-14T16:09:38Z)
MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
論文参考訳（メタデータ） (2024-10-12T07:02:33Z)
On Task Performance and Model Calibration with Supervised and Self-Ensembled In-Context Learning [71.44986275228747]
In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
論文参考訳（メタデータ） (2023-12-21T11:55:10Z)
On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文参考訳（メタデータ） (2022-02-25T13:47:09Z)
Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
論文参考訳（メタデータ） (2021-11-11T14:28:12Z)
Mitigating Sampling Bias and Improving Robustness in Active Learning [13.994967246046008]
教師付き環境下での能動学習に比較学習の損失を生かして教師付き能動学習を導入する。多様な特徴表現の情報的データサンプルを選択するアンバイアスなクエリ戦略を提案する。提案手法は,アクティブな学習環境において,サンプリングバイアスを低減し,最先端の精度を実現し,モデルの校正を行う。
論文参考訳（メタデータ） (2021-09-13T20:58:40Z)
Deep Active Learning with Augmentation-based Consistency Estimation [23.492616938184092]
本稿では,データ拡張に基づく手法をアクティブな学習シナリオに適用することにより,一般化能力を向上させる手法を提案する。データの増大に基づく正規化損失については,カットアウト(co)とカットミックス(cm)の戦略を定量的指標として再定義した。強化型正規化器は,能動学習の訓練段階における性能向上につながる可能性が示唆された。
論文参考訳（メタデータ） (2020-11-05T05:22:58Z)
Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification [29.43017692274488]
深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
論文参考訳（メタデータ） (2020-09-30T05:19:56Z)
Progressive Multi-Stage Learning for Discriminative Tracking [25.94944743206374]
本稿では,頑健な視覚追跡のためのサンプル選択の段階的多段階最適化ポリシを用いた共同識別学習手法を提案する。提案手法は, 時間重み付き, 検出誘導型セルフペースト学習戦略により, 簡単なサンプル選択を行う。ベンチマークデータセットの実験では、提案した学習フレームワークの有効性が示されている。
論文参考訳（メタデータ） (2020-04-01T07:01:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。