論文の概要: To Label or Not to Label: Hybrid Active Learning for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2403.09259v1
• Date: Thu, 14 Mar 2024 10:33:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-15 20:57:06.614482
• Title: To Label or Not to Label: Hybrid Active Learning for Neural Machine Translation
• Title（参考訳）: To Label or Not to Label: ニューラルネットワーク翻訳のためのハイブリッドアクティブラーニング
• Authors: Abdul Hameed Azeemi, Ihsan Ayyub Qazi, Agha Ali Raza,
• Abstract要約: アクティブラーニング(AL)技術は、アノテーションのためのラベルなしデータから、より小さな代表サブセットを選択することで、ニューラルネットワーク翻訳(NMT)モデルのラベリングコストを低減する。 文選択のための不確実性と多様性を組み合わせたNMTにおけるドメイン適応のためのハイブリッドAL戦略であるHUDSを提案する。
• 参考スコア（独自算出の注目度）: 6.816044132563518
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active learning (AL) techniques reduce labeling costs for training neural machine translation (NMT) models by selecting smaller representative subsets from unlabeled data for annotation. Diversity sampling techniques select heterogeneous instances, while uncertainty sampling methods select instances with the highest model uncertainty. Both approaches have limitations - diversity methods may extract varied but trivial examples, while uncertainty sampling can yield repetitive, uninformative instances. To bridge this gap, we propose HUDS, a hybrid AL strategy for domain adaptation in NMT that combines uncertainty and diversity for sentence selection. HUDS computes uncertainty scores for unlabeled sentences and subsequently stratifies them. It then clusters sentence embeddings within each stratum using k-MEANS and computes diversity scores by distance to the centroid. A weighted hybrid score that combines uncertainty and diversity is then used to select the top instances for annotation in each AL iteration. Experiments on multi-domain German-English datasets demonstrate the better performance of HUDS over other strong AL baselines. We analyze the sentence selection with HUDS and show that it prioritizes diverse instances having high model uncertainty for annotation in early AL iterations.
• Abstract（参考訳）: アクティブラーニング(AL)技術は、アノテーションのためのラベルなしデータから、より小さな代表サブセットを選択することで、ニューラルネットワーク翻訳(NMT)モデルのラベリングコストを低減する。 多様性サンプリング手法は不均一なインスタンスを選択するが、不確実なサンプリング手法は最も高いモデル不確実性を持つインスタンスを選択する。 多様性法は様々なが自明な例を抽出し、不確実なサンプリングは反復的で非形式的な例を生み出す。 このギャップを埋めるために,NMTにおけるドメイン適応のためのハイブリッドAL戦略であるHUDSを提案する。 HUDSは、ラベルのない文に対する不確実性スコアを計算し、その後、それらを階層化する。 その後、k-MEANSを用いて各層に文章の埋め込みを集約し、セントロイドまでの距離で多様性のスコアを計算する。 不確実性と多様性を組み合わせた重み付きハイブリッドスコアを使用して、ALイテレーション毎にアノテーションのトップインスタンスを選択する。 マルチドメインのドイツ語-英語データセットの実験は、他の強力なALベースラインよりもHUDSの方が優れた性能を示している。 HUDSを用いて文選択を解析し、初期のALイテレーションにおいて、アノテーションに対して高いモデル不確実性を有する多様なインスタンスを優先することを示す。

関連論文リスト

• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Multi-Label Adaptive Batch Selection by Highlighting Hard and Imbalanced Samples [9.360376286221943]
  本稿では,多ラベル深層学習モデルに適した適応バッチ選択アルゴリズムを提案する。 提案手法は, ランダムなバッチ選択よりも高速に収束し, 性能が向上する。
  論文  参考訳（メタデータ） (2024-03-27T02:00:18Z)
• Dirichlet-Based Prediction Calibration for Learning with Noisy Labels [40.78497779769083]
  雑音ラベルによる学習はディープニューラルネットワーク(DNN)の一般化性能を著しく損なう 既存のアプローチでは、損失補正やサンプル選択手法によってこの問題に対処している。 そこで我々は,textitDirichlet-based Prediction (DPC) 法を解法として提案する。
  論文  参考訳（メタデータ） (2024-01-13T12:33:04Z)
• Leveraging Ensemble Diversity for Robust Self-Training in the Presence of Sample Selection Bias [5.698050337128548]
  半教師付き学習において、自己学習はよく知られたアプローチである。モデルが自信を持ってラベル付きデータに擬似ラベルを反復的に割り当て、ラベル付き例として扱う。 ニューラルネットワークの場合、ソフトマックス予測確率はしばしば信頼度尺度として使用されるが、誤った予測であっても過度に信頼されていることが知られている。 本稿では,線形分類器のアンサンブルの予測多様性に基づいて,$mathcalT$-similarityと呼ばれる新しい信頼度尺度を提案する。
  論文  参考訳（メタデータ） (2023-10-23T11:30:06Z)
• Learning to Imagine: Diversify Memory for Incremental Learning using Unlabeled Data [69.30452751012568]
  本研究では,多様な特徴を適応的に生成することで,経験を多様化する学習可能な特徴生成装置を開発する。 生成したサンプルを前例とセマンティックに整合させるために,意味的コントラスト学習を導入する。 提案手法は, 余分な推論コストを伴わず, 2つのベンチマークで最先端の手法より優れている。
  論文  参考訳（メタデータ） (2022-04-19T15:15:18Z)
• Active Learning by Feature Mixing [52.16150629234465]
  本稿では,ALFA-Mixと呼ばれるバッチ能動学習手法を提案する。 予測の不整合を求めることにより,不整合な特徴を持つインスタンスを同定する。 これらの予測の不整合は、モデルが未認識のインスタンスで認識できない特徴を発見するのに役立ちます。
  論文  参考訳（メタデータ） (2022-03-14T12:20:54Z)
• Gated recurrent units and temporal convolutional network for multilabel classification [122.84638446560663]
  本研究は,マルチラベル分類を管理するための新しいアンサンブル手法を提案する。 提案手法のコアは,Adamグラデーション最適化アプローチの変種で訓練された,ゲート再帰単位と時間畳み込みニューラルネットワークの組み合わせである。
  論文  参考訳（メタデータ） (2021-10-09T00:00:16Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Minimax Active Learning [61.729667575374606]
  アクティブラーニングは、人間のアノテーションによってラベル付けされる最も代表的なサンプルをクエリすることによって、ラベル効率の高いアルゴリズムを開発することを目指している。 現在のアクティブラーニング技術は、最も不確実なサンプルを選択するためにモデルの不確実性に頼るか、クラスタリングを使うか、最も多様なラベルのないサンプルを選択するために再構築する。 我々は,不確実性と多様性を両立させる半教師付きミニマックスエントロピーに基づく能動学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-12-18T19:03:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。