論文の概要: ActiveDC: Distribution Calibration for Active Finetuning

• arxiv url: http://arxiv.org/abs/2311.07634v2
• Date: Wed, 15 Nov 2023 09:32:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 11:20:46.566714
• Title: ActiveDC: Distribution Calibration for Active Finetuning
• Title（参考訳）: ActiveDC:Active Finetuningのための配電校正
• Authors: Wenshuai Xu, Zhenhui Hu, Yu Lu, Jinzhou Meng, Qingjie Liu, Yunhong Wang
• Abstract要約: 本研究では,アクティブ微調整タスクのためのActiveDCと呼ばれる新しい手法を提案する。 我々は,無ラベルプールにおける暗黙のカテゴリ情報を利用して,選択したサンプルの分布を校正する。 その結果,ActiveDCは画像分類タスクのベースライン性能を一貫して上回ることがわかった。
• 参考スコア（独自算出の注目度）: 36.12015540267873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The pretraining-finetuning paradigm has gained popularity in various computer vision tasks. In this paradigm, the emergence of active finetuning arises due to the abundance of large-scale data and costly annotation requirements. Active finetuning involves selecting a subset of data from an unlabeled pool for annotation, facilitating subsequent finetuning. However, the use of a limited number of training samples can lead to a biased distribution, potentially resulting in model overfitting. In this paper, we propose a new method called ActiveDC for the active finetuning tasks. Firstly, we select samples for annotation by optimizing the distribution similarity between the subset to be selected and the entire unlabeled pool in continuous space. Secondly, we calibrate the distribution of the selected samples by exploiting implicit category information in the unlabeled pool. The feature visualization provides an intuitive sense of the effectiveness of our approach to distribution calibration. We conducted extensive experiments on three image classification datasets with different sampling ratios. The results indicate that ActiveDC consistently outperforms the baseline performance in all image classification tasks. The improvement is particularly significant when the sampling ratio is low, with performance gains of up to 10%. Our code will be released.
• Abstract（参考訳）: プレトレーニング・ファインタニングのパラダイムは様々なコンピュータビジョンタスクで人気を集めている。 このパラダイムでは、大規模なデータとコストのかかるアノテーションの要求により、アクティブな微調整が出現する。 アクティブな微調整は、アノテーションのためにラベルのないプールからデータのサブセットを選択し、その後の微調整を容易にする。 しかし、限られた数のトレーニングサンプルを使用することでバイアスのある分布が生じ、モデルオーバーフィットにつながる可能性がある。 本稿では,アクティブなファインタニングタスクのためのActiveDCと呼ばれる新しい手法を提案する。 まず、選択すべき部分集合と連続空間における未ラベルプール全体の分布類似性を最適化することにより、アノテーションのためのサンプルを選択する。 次に,ラベルなしプール内の暗黙のカテゴリ情報を利用して,選択したサンプルの分布を校正する。 特徴の可視化は,分散キャリブレーションに対する我々のアプローチの有効性を直感的に把握する。 サンプル比の異なる3つの画像分類データセットについて広範な実験を行った。 その結果,ActiveDCは画像分類タスクのベースライン性能を一貫して上回ることがわかった。 サンプリング比が低く、パフォーマンスが最大10%向上した場合には、特に改善が重要である。 私たちのコードはリリースされます。

関連論文リスト

• Dataset Quantization with Active Learning based Adaptive Sampling [11.157462442942775]
  また, 不均一なサンプル分布であっても, 性能維持が可能であることを示す。 サンプル選択を最適化するために,新しい能動的学習に基づく適応型サンプリング手法を提案する。 提案手法は,最先端のデータセット圧縮手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-09T23:09:18Z)
• Discover Your Neighbors: Advanced Stable Test-Time Adaptation in Dynamic World [8.332531696256666]
  Discover Your Neighbours (DYN)は、動的テスト時間適応(TTA)に特化した最初の後方自由アプローチである。 我々のDYNは階層型インスタンス統計クラスタリング(LISC)とクラスタ対応バッチ正規化(CABN)で構成されています。 DYNのロバスト性と有効性を評価し、動的データストリームパターン下での維持性能を示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-06-08T09:22:32Z)
• Training-Free Unsupervised Prompt for Vision-Language Models [27.13778811871694]
  本研究では,表現能力の保持と類似性に基づく予測確率の残差による強化を図るために,TFUP(Training-Free Unsupervised Prompts)を提案する。 TFUPは、複数の分類データセットのトレーニングベースメソッドを超え、驚くべきパフォーマンスを達成する。 TFUP-Tは,複数のベンチマークにおける教師なしおよび少数ショット適応手法と比較して,最先端の分類性能が向上する。
  論文  参考訳（メタデータ） (2024-04-25T05:07:50Z)
• Boundary Matters: A Bi-Level Active Finetuning Framework [100.45000039215495]
  アクティブファインタニングの概念は、限られた予算内でモデルファインタニングに最も適したサンプルを選択することを目的としている。 従来のアクティブな学習手法は、バッチ選択に固有のバイアスがあるため、この設定で苦労することが多い。 そこで本研究では,アノテーションのサンプルを1ショットで選択するバイレベルアクティブファインタニングフレームワークを提案し,その2段階として,多様性のためのコアサンプル選択と不確実性のための境界サンプル選択を提案する。
  論文  参考訳（メタデータ） (2024-03-15T07:19:15Z)
• VeCAF: Vision-language Collaborative Active Finetuning with Training Objective Awareness [56.87603097348203]
  VeCAFはラベルと自然言語アノテーションを使用して、PVMの微調整のためのパラメトリックデータ選択を行う。 VeCAFは微調整の目的を取り入れて重要なデータポイントを選択し、PVMをより高速な収束に向けて効果的に導く。 ImageNetでは、VeCAFは最大3.3倍のトレーニングバッチを使用して、完全な微調整に比べて目標のパフォーマンスに到達する。
  論文  参考訳（メタデータ） (2024-01-15T17:28:37Z)
• On the Trade-off of Intra-/Inter-class Diversity for Supervised Pre-training [72.8087629914444]
  教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。 トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
  論文  参考訳（メタデータ） (2023-05-20T16:23:50Z)
• Active Finetuning: Exploiting Annotation Budget in the Pretraining-Finetuning Paradigm [132.9949120482274]
  本稿では,事前学習ファインタニングパラダイムにおけるアノテーションのためのサンプルの選択に焦点を当てる。 本研究では,アクティブな微調整タスクのためのActiveFTと呼ばれる新しい手法を提案する。 画像分類とセマンティックセグメンテーションの両方に基づくベースラインよりも優れたActiveFTの先行性能と高効率性を示す。
  論文  参考訳（メタデータ） (2023-03-25T07:17:03Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。