論文の概要: Boundary Matters: A Bi-Level Active Finetuning Framework

• arxiv url: http://arxiv.org/abs/2403.10069v1
• Date: Fri, 15 Mar 2024 07:19:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 18:19:27.857791
• Title: Boundary Matters: A Bi-Level Active Finetuning Framework
• Title（参考訳）: 境界事項: 双方向のアクティブなファインタニングフレームワーク
• Authors: Han Lu, Yichen Xie, Xiaokang Yang, Junchi Yan,
• Abstract要約: アクティブファインタニングの概念は、限られた予算内でモデルファインタニングに最も適したサンプルを選択することを目的としている。 従来のアクティブな学習手法は、バッチ選択に固有のバイアスがあるため、この設定で苦労することが多い。 そこで本研究では,アノテーションのサンプルを1ショットで選択するバイレベルアクティブファインタニングフレームワークを提案し,その2段階として,多様性のためのコアサンプル選択と不確実性のための境界サンプル選択を提案する。
• 参考スコア（独自算出の注目度）: 100.45000039215495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The pretraining-finetuning paradigm has gained widespread adoption in vision tasks and other fields, yet it faces the significant challenge of high sample annotation costs. To mitigate this, the concept of active finetuning has emerged, aiming to select the most appropriate samples for model finetuning within a limited budget. Traditional active learning methods often struggle in this setting due to their inherent bias in batch selection. Furthermore, the recent active finetuning approach has primarily concentrated on aligning the distribution of selected subsets with the overall data pool, focusing solely on diversity. In this paper, we propose a Bi-Level Active Finetuning framework to select the samples for annotation in one shot, which includes two stages: core sample selection for diversity, and boundary sample selection for uncertainty. The process begins with the identification of pseudo-class centers, followed by an innovative denoising method and an iterative strategy for boundary sample selection in the high-dimensional feature space, all without relying on ground-truth labels. Our comprehensive experiments provide both qualitative and quantitative evidence of our method's efficacy, outperforming all the existing baselines.
• Abstract（参考訳）: 事前学習ファインタニングのパラダイムは、視覚タスクやその他の分野に広く採用されているが、高いサンプルアノテーションコストの重大な課題に直面している。 これを軽減するために、限られた予算内でモデル微調整に最も適したサンプルを選択することを目的としたアクティブ微調整の概念が登場した。 従来のアクティブな学習手法は、バッチ選択に固有のバイアスがあるため、この設定で苦労することが多い。 さらに、最近のアクティブな微調整アプローチは、主に多様性にのみ焦点を絞った、選択されたサブセットの分布と全体データプールとの整合に集中しています。 本稿では,1ショットでアノテーションのサンプルを選択するためのバイレベルアクティブ・ファインタニング・フレームワークを提案し,このフレームワークには,多様性のためのコアサンプル選択と不確実性のための境界サンプル選択という2つのステージが含まれる。 このプロセスは擬似クラス中心の同定から始まり、続いて革新的なデノナイジング法と高次元特徴空間における境界サンプル選択の反復的戦略が続く。 我々の総合的な実験は、我々の方法の有効性の質的および定量的な証拠を提供し、既存のベースラインをすべて上回っている。

関連論文リスト

• Hit the Sweet Spot! Span-Level Ensemble for Large Language Models [8.34562564266839]
  本研究では,リアルタイム調整の必要性と正確なアンサンブル決定に必要な情報とを効果的にバランスさせるスパンレベルアンサンブル手法であるSweetSpanを提案する。 まず、各候補モデルを独立して共有プレフィックスに基づいて候補スパンを生成する。 第二に、難易度スコアを計算して、候補モデル間の相互評価を容易にし、不誠実なスコアを抽出してロバストなスパン選択を実現する。
  論文  参考訳（メタデータ） (2024-09-27T09:41:29Z)
• Diversified Batch Selection for Training Acceleration [68.67164304377732]
  オンラインバッチ選択として知られる一般的な研究ラインでは、トレーニングプロセス中の情報サブセットの選択について検討している。 バニラ参照モデルフリーメソッドは、独立してデータをサンプリング的にスコア付けし、選択する。 DivBS(Diversified Batch Selection)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:12:20Z)
• ActiveDC: Distribution Calibration for Active Finetuning [36.64444238742072]
  本研究では,アクティブ微調整タスクのためのActiveDCと呼ばれる新しい手法を提案する。 我々は,無ラベルプールにおける暗黙のカテゴリ情報を利用して,選択したサンプルの分布を校正する。 その結果,ActiveDCは画像分類タスクのベースライン性能を一貫して上回ることがわかった。
  論文  参考訳（メタデータ） (2023-11-13T14:35:18Z)
• Regularizing Second-Order Influences for Continual Learning [39.16131410356833]
  継続的な学習は、それまでの知識を破滅的に忘れることなく、非定常的なデータストリームで学習することを目的としている。 一般的なリプレイベースのメソッドは、見たデータを保持する小さなバッファーでリハーサルすることで、この問題に対処する。 我々は、影響関数に基づいて構築されたフレームワーク内での逐次選択ステップの相互作用を識別する。
  論文  参考訳（メタデータ） (2023-04-20T09:30:35Z)
• Active Finetuning: Exploiting Annotation Budget in the Pretraining-Finetuning Paradigm [132.9949120482274]
  本稿では,事前学習ファインタニングパラダイムにおけるアノテーションのためのサンプルの選択に焦点を当てる。 本研究では,アクティブな微調整タスクのためのActiveFTと呼ばれる新しい手法を提案する。 画像分類とセマンティックセグメンテーションの両方に基づくベースラインよりも優れたActiveFTの先行性能と高効率性を示す。
  論文  参考訳（メタデータ） (2023-03-25T07:17:03Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。