論文の概要: Active Learning by Acquiring Contrastive Examples

• arxiv url: http://arxiv.org/abs/2109.03764v1
• Date: Wed, 8 Sep 2021 16:40:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-09 16:36:53.539923
• Title: Active Learning by Acquiring Contrastive Examples
• Title（参考訳）: 対照例獲得によるアクティブラーニング
• Authors: Katerina Margatina, Giorgos Vernikos, Lo\"ic Barrault, Nikolaos Aletras
• Abstract要約: 本稿では,テキストコントラストの例,すなわちモデル特徴空間に類似したデータポイントを選択することを選択可能な取得関数を提案する。 提案手法を,4つの自然言語理解タスクと7つのデータセットにおける多種多様な獲得関数と比較した。
• 参考スコア（独自算出の注目度）: 8.266097781813656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Common acquisition functions for active learning use either uncertainty or diversity sampling, aiming to select difficult and diverse data points from the pool of unlabeled data, respectively. In this work, leveraging the best of both worlds, we propose an acquisition function that opts for selecting \textit{contrastive examples}, i.e. data points that are similar in the model feature space and yet the model outputs maximally different predictive likelihoods. We compare our approach, CAL (Contrastive Active Learning), with a diverse set of acquisition functions in four natural language understanding tasks and seven datasets. Our experiments show that CAL performs consistently better or equal than the best performing baseline across all tasks, on both in-domain and out-of-domain data. We also conduct an extensive ablation study of our method and we further analyze all actively acquired datasets showing that CAL achieves a better trade-off between uncertainty and diversity compared to other strategies.
• Abstract（参考訳）: アクティブラーニングのための共通取得関数は、不確実性または多様性サンプリングを使用して、ラベルなしデータのプールからそれぞれ困難で多様なデータポイントを選択することを目的としている。 本研究では,両世界の最善を生かして,\textit{contrastive examples} の選択を選択できる獲得関数を提案する。 モデルの特徴空間で類似するデータポイントは、モデルが最大に異なる予測可能性を出力する。 提案手法であるCAL(Contrastive Active Learning)を,4つの自然言語理解タスクと7つのデータセットにおける多様な獲得関数群と比較した。 実験の結果、CALはドメイン内データとドメイン外データの両方で、すべてのタスクで最高のパフォーマンスのベースラインよりも一貫して、あるいは等しく動作することがわかった。 我々はまた,本手法の広範囲にわたるアブレーション研究を行い,CALが他の戦略に比べて不確実性と多様性のトレードオフを良好に達成していることを示す,活発に取得されたすべてのデータセットを分析した。

関連論文リスト

• Active Prompt Learning with Vision-Language Model Priors [9.173468790066956]
  視覚言語モデルの事前学習画像とテキストエンコーダを利用するクラス誘導クラスタリングを提案する。 適応型クラスワイドしきい値に基づく予算削減型選択クエリを提案する。
  論文  参考訳（メタデータ） (2024-11-23T02:34:33Z)
• Diversify and Conquer: Diversity-Centric Data Selection with Iterative Refinement [8.509688686402438]
  命令データ上での大規模言語モデルの微調整は、事前訓練された知識の強化と命令追従能力の向上に不可欠である。 この作業は問題に対処する: 効果的なトレーニングのために、データの最適なサブセットをどうやって決定できるのか? 提案手法では,k平均クラスタリングを用いて,選択したサブセットが全データセットを効果的に表現できるようにする。
  論文  参考訳（メタデータ） (2024-09-17T17:25:31Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• A Lagrangian Duality Approach to Active Learning [119.36233726867992]
  トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。 制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。 数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
  論文  参考訳（メタデータ） (2022-02-08T19:18:49Z)
• Assessing Data Efficiency in Task-Oriented Semantic Parsing [54.87705549021248]
  我々は、ある品質バーを達成するのに、ドメイン内の「ターゲット」データがどれだけ必要であるかを近似した4段階のプロトコルを導入する。 我々は,タスク指向セマンティック解析の実践者に対して,その柔軟性と適用性を示す実世界の2つのケーススタディに適用する。
  論文  参考訳（メタデータ） (2021-07-10T02:43:16Z)
• One-Round Active Learning [13.25385227263705]
  1ラウンドのアクティブラーニングは、ラベル付け後の最高のユーティリティを達成するラベル付きデータポイントのサブセットを選択することを目的としている。 データユーティリティ関数の概念に基づく一括能動学習のための汎用フレームワークであるDULOを提案する。 以上の結果から,既存のアクティブな学習手法が複数ラウンドで成功する一方で,DULOは1ラウンドで常に優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2021-04-23T23:59:50Z)
• Sampling Approach Matters: Active Learning for Robotic Language Acquisition [42.69529080098759]
  本稿では,複雑性の異なる3つの基礎言語問題に適用した能動的学習手法について検討する。 特徴選択や分類モデルといった設計上の決定とともに,その基礎となる課題の特徴がどのような結果をもたらすかを報告する。
  論文  参考訳（メタデータ） (2020-11-16T15:18:10Z)
• A Markov Decision Process Approach to Active Meta Learning [24.50189361694407]
  教師付き学習では、データが特定のタスクに関連付けられていると仮定して、与えられたデータセットに1つの統計モデルを適用する。 メタラーニングでは、データは多数のタスクと関連付けられており、同時に全てのタスクでうまく機能するモデルを模索する。
  論文  参考訳（メタデータ） (2020-09-10T15:45:34Z)
• Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
  データ管理の統合コンポーネントにおける公平性について検討する。 本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T20:20:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。