論文の概要: Beyond Active Learning: Leveraging the Full Potential of Human Interaction via Auto-Labeling, Human Correction, and Human Verification

• arxiv url: http://arxiv.org/abs/2306.01277v1
• Date: Fri, 2 Jun 2023 05:40:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 16:45:10.219864
• Title: Beyond Active Learning: Leveraging the Full Potential of Human Interaction via Auto-Labeling, Human Correction, and Human Verification
• Title（参考訳）: アクティブラーニングを超えて: オートラベリング、人間補正、人間検証によるヒューマンインタラクションの完全な可能性を活用する
• Authors: Nathan Beck, Krishnateja Killamsetty, Suraj Kothawade, Rishabh Iyer
• Abstract要約: Active Learning(AL)は、データインスタンスをインタラクティブかつ適応的にラベル付けする、ヒューマン・イン・ザ・ループのフレームワークである。 CLARIFIERは人間との対話をより効果的に活用できる対話型学習フレームワークである。
• 参考スコア（独自算出の注目度）: 3.58439716487063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active Learning (AL) is a human-in-the-loop framework to interactively and adaptively label data instances, thereby enabling significant gains in model performance compared to random sampling. AL approaches function by selecting the hardest instances to label, often relying on notions of diversity and uncertainty. However, we believe that these current paradigms of AL do not leverage the full potential of human interaction granted by automated label suggestions. Indeed, we show that for many classification tasks and datasets, most people verifying if an automatically suggested label is correct take $3\times$ to $4\times$ less time than they do changing an incorrect suggestion to the correct label (or labeling from scratch without any suggestion). Utilizing this result, we propose CLARIFIER (aCtive LeARnIng From tIEred haRdness), an Interactive Learning framework that admits more effective use of human interaction by leveraging the reduced cost of verification. By targeting the hard (uncertain) instances with existing AL methods, the intermediate instances with a novel label suggestion scheme using submodular mutual information functions on a per-class basis, and the easy (confident) instances with highest-confidence auto-labeling, CLARIFIER can improve over the performance of existing AL approaches on multiple datasets -- particularly on those that have a large number of classes -- by almost 1.5$\times$ to 2$\times$ in terms of relative labeling cost.
• Abstract（参考訳）: Active Learning(AL)は、データインスタンスを対話的かつ適応的にラベル付けするヒューマン・イン・ザ・ループ・フレームワークである。 alはラベル付けする最も難しいインスタンスを選択することで機能し、しばしば多様性と不確実性の概念に依存する。 しかし、alの現在のパラダイムは、自動ラベル提案によって与えられる人間のインタラクションの可能性を最大限に活用していないと信じている。 実際、多くの分類タスクやデータセットにおいて、自動的に提案されたラベルが正しいかどうかを検証しているほとんどの人は、正しいラベルに間違った提案を変更する(あるいは提案なしにゼロからラベルを付ける)よりも、$3\times$から$4\times$を下げる。 この結果を利用して,検証コストの低減を活かし,より効果的にヒューマンインタラクションを活用できる対話型学習フレームワークであるclarifier (active learning from tiered hardness)を提案する。 By targeting the hard (uncertain) instances with existing AL methods, the intermediate instances with a novel label suggestion scheme using submodular mutual information functions on a per-class basis, and the easy (confident) instances with highest-confidence auto-labeling, CLARIFIER can improve over the performance of existing AL approaches on multiple datasets -- particularly on those that have a large number of classes -- by almost 1.5$\times$ to 2$\times$ in terms of relative labeling cost.

関連論文リスト

• Federated Learning with Only Positive Labels by Exploring Label Correlations [78.59613150221597]
  フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。 本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。 ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
  論文  参考訳（メタデータ） (2024-04-24T02:22:50Z)
• Improving Classifier Robustness through Active Generation of Pairwise Counterfactuals [22.916599410472102]
  本稿では,カウンターファクト・ジェネレーティブ・モデルを用いて多種多様なカウンターファクト・モデルを生成する新しいフレームワークを提案する。 少量の人間注釈付き対実データ(10%)で、学習ラベルを用いた対実データ拡張データセットを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-05-22T23:19:01Z)
• Eliciting and Learning with Soft Labels from Every Annotator [31.10635260890126]
  個々のアノテータからソフトラベルを効率よく抽出することに注力する。 ラベルによる学習は,従来の手法と同等のモデル性能を達成できることを実証する。
  論文  参考訳（メタデータ） (2022-07-02T12:03:00Z)
• One Positive Label is Sufficient: Single-Positive Multi-Label Learning with Label Enhancement [71.9401831465908]
  本研究では,SPMLL (Single- positive multi-label learning) について検討した。 ラベルエンハンスメントを用いた単陽性MultIラベル学習という新しい手法を提案する。 ベンチマークデータセットの実験により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-06-01T14:26:30Z)
• A Lagrangian Duality Approach to Active Learning [119.36233726867992]
  トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。 制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。 数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
  論文  参考訳（メタデータ） (2022-02-08T19:18:49Z)
• Cost-Accuracy Aware Adaptive Labeling for Active Learning [9.761953860259942]
  多くの実環境において、異なるラベルには異なるラベルのコストがあり、異なるラベルの精度が得られる。 本稿では, インスタンス, ラベル付け者と対応するコストを選択し, ラベル付け精度を向上するための新しいアルゴリズムを提案する。 提案アルゴリズムは,5つのUCIおよび実際のクラウドソーシングデータセット上での最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-05-24T17:21:00Z)
• Group-aware Label Transfer for Domain Adaptive Person Re-identification [179.816105255584]
  Unsupervised Adaptive Domain (UDA) Person Re-identification (ReID) は、ラベル付きソースドメインデータセットで訓練されたモデルを、さらなるアノテーションなしでターゲットドメインデータセットに適応することを目的としている。 最も成功したUDA-ReIDアプローチは、クラスタリングに基づく擬似ラベル予測と表現学習を組み合わせて、2つのステップを交互に実行する。 疑似ラベル予測と表現学習のオンラインインタラクションと相互促進を可能にするグループ認識ラベル転送(GLT)アルゴリズムを提案します。
  論文  参考訳（メタデータ） (2021-03-23T07:57:39Z)
• Active Domain Adaptation via Clustering Uncertainty-weighted Embeddings [57.24806659432956]
  ディープニューラルネットワークを新しいターゲットドメインに一般化することは、彼らの現実世界のユーティリティにとって非常に重要だ。 アクティブドメイン適応(Active DA)と呼ばれるドメインシフト下でのアクティブラーニング(AL)の問題について検討する。 本稿では,モデルの下で不確かで特徴空間が多様であるラベルのターゲットインスタンスを特定するために,不確実なクラスタリングを行うActive DAの新しいラベル取得戦略であるClustering Uncertainty-weighted Embeddings (CLUE)を提案する。
  論文  参考訳（メタデータ） (2020-10-16T23:37:44Z)
• Interaction Matching for Long-Tail Multi-Label Classification [57.262792333593644]
  既存のマルチラベル分類モデルにおいて,制約に対処するためのエレガントで効果的なアプローチを提案する。 ソフトなn-gram相互作用マッチングを実行することで、ラベルと自然言語記述をマッチングする。
  論文  参考訳（メタデータ） (2020-05-18T15:27:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。