論文の概要: Downstream-Pretext Domain Knowledge Traceback for Active Learning

• arxiv url: http://arxiv.org/abs/2407.14720v1
• Date: Sat, 20 Jul 2024 01:34:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 21:14:02.700674
• Title: Downstream-Pretext Domain Knowledge Traceback for Active Learning
• Title（参考訳）: アクティブラーニングのためのダウンストリーム・プレテキスト・ドメイン知識トレースバック
• Authors: Beichen Zhang, Liang Li, Zheng-Jun Zha, Jiebo Luo, Qingming Huang,
• Abstract要約: 本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
• 参考スコア（独自算出の注目度）: 138.02530777915362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active learning (AL) is designed to construct a high-quality labeled dataset by iteratively selecting the most informative samples. Such sampling heavily relies on data representation, while recently pre-training is popular for robust feature learning. However, as pre-training utilizes low-level pretext tasks that lack annotation, directly using pre-trained representation in AL is inadequate for determining the sampling score. To address this problem, we propose a downstream-pretext domain knowledge traceback (DOKT) method that traces the data interactions of downstream knowledge and pre-training guidance for selecting diverse and instructive samples near the decision boundary. DOKT consists of a traceback diversity indicator and a domain-based uncertainty estimator. The diversity indicator constructs two feature spaces based on the pre-training pretext model and the downstream knowledge from annotation, by which it locates the neighbors of unlabeled data from the downstream space in the pretext space to explore the interaction of samples. With this mechanism, DOKT unifies the data relations of low-level and high-level representations to estimate traceback diversity. Next, in the uncertainty estimator, domain mixing is designed to enforce perceptual perturbing to unlabeled samples with similar visual patches in the pretext space. Then the divergence of perturbed samples is measured to estimate the domain uncertainty. As a result, DOKT selects the most diverse and important samples based on these two modules. The experiments conducted on ten datasets show that our model outperforms other state-of-the-art methods and generalizes well to various application scenarios such as semantic segmentation and image captioning.
• Abstract（参考訳）: アクティブラーニング(AL)は、最も情報性の高いサンプルを反復的に選択することで、高品質なラベル付きデータセットを構築するように設計されている。 このようなサンプリングはデータの表現に大きく依存するが、最近の事前学習は堅牢な特徴学習に人気がある。 しかし,事前学習ではアノテーションを欠いた低レベルのプレテキストタスクを利用するため,ALの事前学習表現を直接使用してもサンプリングスコアを決定するには不十分である。 この問題に対処するために、下流知識のデータインタラクションをトレースするダウンストリーム・プレテキスト・ドメイン・ナレッジ・トレーシング(DOKT)手法と、決定境界付近で多種多様なインストラクティブ・サンプルを選択するための事前学習ガイダンスを提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 多様性インジケータは、事前学習した事前テキストモデルとアノテーションからの下流知識に基づいて2つの特徴空間を構築し、プリテキスト空間の下流空間からラベルなしデータの隣人を特定し、サンプルの相互作用を探索する。 この機構により、DOKTは低レベルおよび高レベルの表現のデータ関係を統一し、トレースバックの多様性を推定する。 次に、不確実性推定器において、ドメインミキシングは、プリテキスト空間に類似した視覚的パッチを持つラベルのないサンプルに対して知覚的摂動を強制するように設計されている。 次に、摂動サンプルのばらつきを測定し、領域の不確かさを推定する。 その結果、DOKTはこれらの2つのモジュールに基づいて最も多様で重要なサンプルを選択する。 10個のデータセットで行った実験により、我々のモデルは、他の最先端手法よりも優れており、セマンティックセグメンテーションや画像キャプションといった様々な応用シナリオによく適合していることが示された。

関連論文リスト

• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• High-order Neighborhoods Know More: HyperGraph Learning Meets Source-free Unsupervised Domain Adaptation [34.08681468394247]
  Source-free Unsupervised Domain Adaptationは、未学習のソースモデルと未学習のターゲットモデルにのみアクセスすることで、ターゲットサンプルを分類することを目的としている。 既存の手法は、通常、対象サンプル間のペアワイズ関係を利用して、これらのサンプルを意味的特徴に基づいてクラスタリングすることで、それらの相関関係を見つけようとする。 本研究では、高次近傍関係を利用して、ドメインシフト効果を明示的に考慮した新しいSFDA法を提案する。
  論文  参考訳（メタデータ） (2024-05-11T05:07:43Z)
• Continual Test-time Domain Adaptation via Dynamic Sample Selection [38.82346845855512]
  本稿では,連続テスト時間領域適応(CTDA)のための動的サンプル選択法を提案する。 誤情報を誤用するリスクを低減するため,高品質と低品質の両方のサンプルに共同正負の学習を適用した。 私たちのアプローチは3Dポイントのクラウドドメインでも評価されており、その汎用性とより広範な適用可能性を示している。
  論文  参考訳（メタデータ） (2023-10-05T06:35:21Z)
• Explaining Cross-Domain Recognition with Interpretable Deep Classifier [100.63114424262234]
  解釈可能なDeep(IDC)は、ターゲットサンプルの最も近いソースサンプルを、分類器が決定を下す証拠として学習する。 我々のIDCは、精度の劣化がほとんどなく、最適なリジェクションオプションの分類を効果的に調整する、より説明可能なモデルに導かれる。
  論文  参考訳（メタデータ） (2022-11-15T15:58:56Z)
• Uncertainty in Contrastive Learning: On the Predictability of Downstream Performance [7.411571833582691]
  このような表現の不確実性は、単一のデータポイントに対して有意義な方法で定量化できるかどうかを考察する。 埋め込み空間におけるトレーニングデータの分布を直接推定することにより,この目標を達成することができることを示す。
  論文  参考訳（メタデータ） (2022-07-19T15:44:59Z)
• Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D Object Detection [85.11649974840758]
  3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。 そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
  論文  参考訳（メタデータ） (2021-11-30T18:42:42Z)
• Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis [96.53859361560505]
  Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。 事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。 我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
  論文  参考訳（メタデータ） (2021-10-26T04:03:45Z)
• TraND: Transferable Neighborhood Discovery for Unsupervised Cross-domain Gait Recognition [77.77786072373942]
  本稿では、教師なしクロスドメイン歩行認識のための領域ギャップを橋渡しするTransferable Neighborhood Discovery (TraND) フレームワークを提案する。 我々は、潜在空間におけるラベルなしサンプルの自信ある近傍を自動的に発見するために、エンドツーエンドのトレーニング可能なアプローチを設計する。 提案手法は,CASIA-BとOU-LPの2つの公開データセットに対して,最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-02-09T03:07:07Z)
• Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification [29.43017692274488]
  深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
  論文  参考訳（メタデータ） (2020-09-30T05:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。