論文の概要: "Diversity and Uncertainty in Moderation" are the Key to Data Selection for Multilingual Few-shot Transfer

• arxiv url: http://arxiv.org/abs/2206.15010v1
• Date: Thu, 30 Jun 2022 04:22:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-01 14:03:27.640185
• Title: "Diversity and Uncertainty in Moderation" are the Key to Data Selection for Multilingual Few-shot Transfer
• Title（参考訳）: 多言語ファウショット転送におけるデータ選択の鍵となる「モデレーションにおける多様性と不確かさ」
• Authors: Shanu Kumar, Sandipan Dandapat, Monojit Choudhury
• Abstract要約: 本稿では,アノテーションのためのデータ選択手法について検討する。 提案手法は,$n$-gram言語モデルを用いたデータエントロピー,予測エントロピー,勾配埋め込みなどの複数の尺度に依存する。 実験により、勾配と損失埋め込みに基づく戦略は、ランダムなデータ選択ベースラインを一貫して上回ることが示された。
• 参考スコア（独自算出の注目度）: 13.268758633770595
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Few-shot transfer often shows substantial gain over zero-shot transfer~\cite{lauscher2020zero}, which is a practically useful trade-off between fully supervised and unsupervised learning approaches for multilingual pretrained model-based systems. This paper explores various strategies for selecting data for annotation that can result in a better few-shot transfer. The proposed approaches rely on multiple measures such as data entropy using $n$-gram language model, predictive entropy, and gradient embedding. We propose a loss embedding method for sequence labeling tasks, which induces diversity and uncertainty sampling similar to gradient embedding. The proposed data selection strategies are evaluated and compared for POS tagging, NER, and NLI tasks for up to 20 languages. Our experiments show that the gradient and loss embedding-based strategies consistently outperform random data selection baselines, with gains varying with the initial performance of the zero-shot transfer. Furthermore, the proposed method shows similar trends in improvement even when the model is fine-tuned using a lower proportion of the original task-specific labeled training data for zero-shot transfer.
• Abstract（参考訳）: これは、多言語事前訓練モデルベースシステムに対する完全に教師付き学習アプローチと教師なし学習アプローチのトレードオフとして実用的に有用なものである。 本稿では,アノテーションのためのデータ選択のための様々な戦略について検討する。 提案手法は,$n$-gram言語モデルを用いたデータエントロピー,予測エントロピー,勾配埋め込みといった複数の尺度に依存する。 本稿では,勾配埋め込みと同様の多様性と不確実性サンプリングを誘導するシーケンスラベリングタスクの損失埋め込み法を提案する。 提案したデータ選択戦略は、最大20言語でのPOSタグ、NER、NLIタスクに対して評価・比較される。 実験の結果, グラデーションと損失埋め込みに基づく戦略は, ゼロショット転送の初期性能に違いがあり, ランダムデータ選択ベースラインより一貫して優れていることがわかった。 さらに,提案手法は,ゼロショット転送のための本来のタスク固有ラベル付きトレーニングデータの低い割合を用いて,モデルが微調整された場合でも,同様の改善傾向を示す。

関連論文リスト

• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Argument Mining in Data Scarce Settings: Cross-lingual Transfer and Few-shot Techniques [5.735035463793008]
  また、Argument Miningでは、データ転送の方がモデル転送よりも優れた結果が得られることを示す。 数秒間、タスクの種類(シーケンスの長さと複雑さ)とサンプリングメソッドが重要であることが証明されている。
  論文  参考訳（メタデータ） (2024-07-04T08:59:17Z)
• Transferable Candidate Proposal with Bounded Uncertainty [1.8130068086063336]
  我々は、転送可能なデータ候補を見つけるために、提案候補と呼ばれる新しい実験設計を導入する。 データ選択アルゴリズムが提案され、すなわち、境界不確実性(TBU)を用いた転送可能な候補の提案が提案される。 異なるモデル構成に移行すると、TBU一貫性は既存のアクティブな学習アルゴリズムのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2023-12-07T08:47:28Z)
• Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
  我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。 そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
  論文  参考訳（メタデータ） (2023-04-04T03:48:56Z)
• Squeezing Backbone Feature Distributions to the Max for Efficient Few-Shot Learning [3.1153758106426603]
  ラベル付きサンプルの少ない使用によって生じる不確実性のため、ほとんどショット分類が難しい問題である。 本稿では,特徴ベクトルをガウス分布に近づけるように処理するトランスファーベース手法を提案する。 また,学習中に未学習のサンプルが利用可能となる多段階的数ショット学習では,達成された性能をさらに向上させる最適なトランスポートインスピレーションアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2021-10-18T16:29:17Z)
• Few-shot Learning via Dependency Maximization and Instance Discriminant Analysis [21.8311401851523]
  そこで本研究では,カテゴリ毎にラベル付きデータが極めて少ない新しいオブジェクトの認識をモデルが学習する,数ショットの学習問題について検討する。 本稿では,少数ショット処理に伴うラベルなしデータを利用して,少数ショット性能を向上させるための簡単な手法を提案する。
  論文  参考訳（メタデータ） (2021-09-07T02:19:01Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Minimax Active Learning [61.729667575374606]
  アクティブラーニングは、人間のアノテーションによってラベル付けされる最も代表的なサンプルをクエリすることによって、ラベル効率の高いアルゴリズムを開発することを目指している。 現在のアクティブラーニング技術は、最も不確実なサンプルを選択するためにモデルの不確実性に頼るか、クラスタリングを使うか、最も多様なラベルのないサンプルを選択するために再構築する。 我々は,不確実性と多様性を両立させる半教師付きミニマックスエントロピーに基づく能動学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-12-18T19:03:40Z)
• Unsupervised Cross-lingual Adaptation for Sequence Tagging and Beyond [58.80417796087894]
  多言語事前訓練言語モデル(mPTLM)による言語間適応は、主にゼロショットアプローチと翻訳に基づくアプローチの2行からなる。 本稿では、ゼロショットアプローチと翻訳に基づくアプローチを統合し、適応性能を向上させるための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-23T13:47:01Z)
• Leveraging the Feature Distribution in Transfer-based Few-Shot Learning [2.922007656878633]
  ラベル付きサンプルの少ない使用によって生じる不確実性のため、ほとんどショット分類が難しい問題である。 本稿では,(1)特徴ベクトルをガウス分布に近づけるように前処理し,2)最適輸送インスパイアされたアルゴリズムを用いて,この前処理を活用する。 提案手法は,様々なデータセット,バックボーンアーキテクチャ,少数ショット設定を用いて,最先端の精度を実現することができる。
  論文  参考訳（メタデータ） (2020-06-06T07:32:08Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。