論文の概要: Uncertainty-based Query Strategies for Active Learning with Transformers

• arxiv url: http://arxiv.org/abs/2107.05687v1
• Date: Mon, 12 Jul 2021 18:56:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-14 14:56:19.047099
• Title: Uncertainty-based Query Strategies for Active Learning with Transformers
• Title（参考訳）: 変圧器を用いた能動学習のための不確実性に基づくクエリ戦略
• Authors: Christopher Schr\"oder, Andreas Niekler, Martin Potthast
• Abstract要約: 本稿では,従来よりも性能が優れていた不確実性に基づくクエリ戦略を再検討するが,特に微調整変換器の文脈に適している。 学習曲線下において,最大14.4ポイントの大幅な改善が達成され,また,1つのベンチマークを除いて,最先端の精度が得られた。
• 参考スコア（独自算出の注目度）: 15.195183539437217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active learning is the iterative construction of a classification model through targeted labeling, enabling significant labeling cost savings. As most research on active learning has been carried out before transformer-based language models ("transformers") became popular, despite its practical importance, comparably few papers have investigated how transformers can be combined with active learning to date. This can be attributed to the fact that using state-of-the-art query strategies for transformers induces a prohibitive runtime overhead, which effectively cancels out, or even outweighs aforementioned cost savings. In this paper, we revisit uncertainty-based query strategies, which had been largely outperformed before, but are particularly suited in the context of fine-tuning transformers. In an extensive evaluation on five widely used text classification benchmarks, we show that considerable improvements of up to 14.4 percentage points in area under the learning curve are achieved, as well as a final accuracy close to the state of the art for all but one benchmark, using only between 0.4% and 15% of the training data.
• Abstract（参考訳）: アクティブラーニング(active learning)は、ターゲットラベリングを通じた分類モデルの反復的な構築であり、大幅なラベリングコスト削減を可能にする。 多くのアクティブラーニングの研究がトランスフォーマーベースの言語モデル(トランスフォーマー)が普及する前に行われてきたが、実際的な重要性にもかかわらず、トランスフォーマーとアクティブラーニングを組み合わせる方法に関する論文はほとんどない。 これは、トランスフォーマーに最先端のクエリ戦略を使用することで、実行時のオーバーヘッドが抑えられ、効果的にキャンセルされるか、あるいは前述のコスト削減を上回っているという事実に起因することができる。 本稿では,従来よりも優れていた不確実性に基づくクエリ戦略を再検討するが,特に微調整型トランスフォーマーの文脈に適している。 広く使われている5つのテキスト分類ベンチマークの広範な評価において、学習曲線下の領域における最大14.4パーセンテージの大幅な改善と、トレーニングデータの0.4%から15%しか使用していない1つのベンチマークを除いて、芸術の水準に近い最終的な精度が達成されていることを示した。

関連論文リスト

• One-Layer Transformer Provably Learns One-Nearest Neighbor In Context [48.4979348643494]
  本研究では、1層変圧器が1層近傍の規則を学習する能力について検討する。 単一のソフトマックスアテンション層は、ワンアレスト隣人のように振る舞うことをうまく学ぶことができる。
  論文  参考訳（メタデータ） (2024-11-16T16:12:42Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Self-Training for Sample-Efficient Active Learning for Text Classification with Pre-Trained Language Models [3.546617486894182]
  我々は,4つのテキスト分類ベンチマークで評価した,新しい効果的な自己学習戦略であるHASTを紹介する。 その結果、4つのデータセットのうち3つに対して、再現された自己学習手法よりも優れており、以前の実験に匹敵する分類結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-06-13T15:06:11Z)
• TART: Improved Few-shot Text Classification Using Task-Adaptive Reference Transformation [23.02986307143718]
  本稿では,タスク適応参照変換(TART)ネットワークを提案する。 我々のモデルは、20のNewsgroupsデータセット上の1ショットと5ショットの分類において、最先端の手法を7.4%、そして5.4%上回る。
  論文  参考訳（メタデータ） (2023-06-03T18:38:02Z)
• Remote Sensing Change Detection With Transformers Trained from Scratch [62.96911491252686]
  トランスフォーマーベースの変更検出(CD)アプローチでは、大規模なイメージ分類でトレーニングされた事前トレーニングモデルを使用するか、別のCDデータセットで最初の事前トレーニングを頼りにしてから、ターゲットのベンチマークを微調整する。 我々は、4つの公開ベンチマークにおいて、スクラッチからトレーニングされながら最先端のパフォーマンスを実現するトランスフォーマーを用いたエンドツーエンドCDアプローチを開発した。
  論文  参考訳（メタデータ） (2023-04-13T17:57:54Z)
• Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers [57.931830650323]
  本稿では,事前学習および微調整型変圧器によるスケーリングの洞察について述べる。 モデルのサイズだけでなく、モデル形状が下流の微調整に重要であることを示す。 再設計したモデルにより、下流の微調整品質が向上する。
  論文  参考訳（メタデータ） (2021-09-22T12:29:15Z)
• Semantic Perturbations with Normalizing Flows for Improved Generalization [62.998818375912506]
  我々は、非教師付きデータ拡張を定義するために、潜在空間における摂動が利用できることを示す。 トレーニングを通して分類器に適応する潜伏性対向性摂動が最も効果的であることが判明した。
  論文  参考訳（メタデータ） (2021-08-18T03:20:00Z)
• Meta Transition Adaptation for Robust Deep Learning with Noisy Labels [61.8970957519509]
  本研究では,新しいメタ遷移学習戦略を提案する。 具体的には、クリーンなラベル付きメタデータの小さなセットのサウンドガイダンスにより、ノイズ遷移行列と分類器パラメータを相互に改善することができる。 本手法は, 従来技術よりも頑健な性能で, 遷移行列をより正確に抽出することができる。
  論文  参考訳（メタデータ） (2020-06-10T07:27:25Z)
• The Cascade Transformer: an Application for Efficient Answer Sentence Selection [116.09532365093659]
  本稿では,変圧器をベースとしたモデルのカスケード化手法であるカスケード変換器について紹介する。 現状の変圧器モデルと比較すると,提案手法は精度にほとんど影響を与えずに計算量を37%削減する。
  論文  参考訳（メタデータ） (2020-05-05T23:32:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。