論文の概要: Argument Mining in Data Scarce Settings: Cross-lingual Transfer and Few-shot Techniques
- arxiv url: http://arxiv.org/abs/2407.03748v1
- Date: Thu, 4 Jul 2024 08:59:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 18:42:12.613491
- Title: Argument Mining in Data Scarce Settings: Cross-lingual Transfer and Few-shot Techniques
- Title（参考訳）: データスカース設定におけるargument Mining: 言語間移動とFew-shot技術
- Authors: Anar Yeginbergen, Maite Oronoz, Rodrigo Agerri,
- Abstract要約: また、Argument Miningでは、データ転送の方がモデル転送よりも優れた結果が得られることを示す。
数秒間、タスクの種類(シーケンスの長さと複雑さ)とサンプリングメソッドが重要であることが証明されている。
- 参考スコア（独自算出の注目度）: 5.735035463793008
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent research on sequence labelling has been exploring different strategies to mitigate the lack of manually annotated data for the large majority of the world languages. Among others, the most successful approaches have been based on (i) the cross-lingual transfer capabilities of multilingual pre-trained language models (model-transfer), (ii) data translation and label projection (data-transfer) and (iii), prompt-based learning by reusing the mask objective to exploit the few-shot capabilities of pre-trained language models (few-shot). Previous work seems to conclude that model-transfer outperforms data-transfer methods and that few-shot techniques based on prompting are superior to updating the model's weights via fine-tuning. In this paper, we empirically demonstrate that, for Argument Mining, a sequence labelling task which requires the detection of long and complex discourse structures, previous insights on cross-lingual transfer or few-shot learning do not apply. Contrary to previous work, we show that for Argument Mining data transfer obtains better results than model-transfer and that fine-tuning outperforms few-shot methods. Regarding the former, the domain of the dataset used for data-transfer seems to be a deciding factor, while, for few-shot, the type of task (length and complexity of the sequence spans) and sampling method prove to be crucial.
- Abstract（参考訳）: シークエンスラベリングに関する最近の研究は、世界のほとんどの言語において手動で注釈付きデータの欠如を緩和するための様々な戦略を模索している。
中でも最も成功したアプローチは
(i)多言語事前学習言語モデル(モデル-トランスファー)の言語間伝達機能
二 データ翻訳及びラベル投影(データ転送)及び
(iii) 事前訓練された言語モデル(フェーショット)の少数ショット機能を利用するためにマスク目的を再利用した即時学習(フェーショット)。
従来の研究では、モデルトランスファーはデータトランスファー法より優れており、プロンプトに基づく少数ショット技術は微調整によりモデルの重みを更新するよりも優れていると結論付けられていた。
本稿では、Argument Miningにおいて、長く複雑な談話構造の検出を必要とするシーケンスラベリングタスクについて、従来の言語間移動や少数ショット学習に関する洞察が適用されないことを実証的に示す。
従来の研究とは対照的に、Argument Miningデータ転送はモデル転送よりも優れた結果を得ることができ、微調整は数ショット法より優れていることを示す。
前者については、データ転送に使用されるデータセットのドメインが決定要因であるように思われるが、数秒間、タスクの種類(シーケンスの長さと複雑さ)とサンプリングメソッドが重要であることが証明されている。
関連論文リスト
- Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。
そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-07-09T04:52:31Z) - Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。
我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。
また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
論文 参考訳（メタデータ） (2023-01-22T18:22:55Z) - Model and Data Transfer for Cross-Lingual Sequence Labelling in
Zero-Resource Settings [10.871587311621974]
我々は、ゼロショット設定に適用された高容量多言語言語モデルが、データベースのクロスランガルトランスファーアプローチより一貫して優れていることを実験的に実証した。
この結果の詳細な分析は、言語使用における重要な違いによる可能性があることを示唆している。
また,高容量多言語言語モデルが利用できない場合,データに基づく多言語間移動アプローチが競争力のある選択肢であることも示唆した。
論文 参考訳（メタデータ） (2022-10-23T05:37:35Z) - "Diversity and Uncertainty in Moderation" are the Key to Data Selection
for Multilingual Few-shot Transfer [13.268758633770595]
本稿では,アノテーションのためのデータ選択手法について検討する。
提案手法は,$n$-gram言語モデルを用いたデータエントロピー,予測エントロピー,勾配埋め込みなどの複数の尺度に依存する。
実験により、勾配と損失埋め込みに基づく戦略は、ランダムなデータ選択ベースラインを一貫して上回ることが示された。
論文 参考訳（メタデータ） (2022-06-30T04:22:27Z) - IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and
Languages [87.5457337866383]
画像認識言語理解評価ベンチマークについて紹介する。
IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。
翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
論文 参考訳（メタデータ） (2022-01-27T18:53:22Z) - Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language
Model [58.27176041092891]
最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。
本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。
提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
論文 参考訳（メタデータ） (2020-11-23T16:00:42Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - Unsupervised Cross-lingual Adaptation for Sequence Tagging and Beyond [58.80417796087894]
多言語事前訓練言語モデル(mPTLM)による言語間適応は、主にゼロショットアプローチと翻訳に基づくアプローチの2行からなる。
本稿では、ゼロショットアプローチと翻訳に基づくアプローチを統合し、適応性能を向上させるための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-23T13:47:01Z) - Investigating Transferability in Pretrained Language Models [8.83046338075119]
本稿では,各事前学習層が伝達タスク性能に与える影響を簡易なアブレーション手法で判定する。
この手法により、BERTでは、下流GLUEタスクにおける高いプローブ性能を持つレイヤは、それらのタスクに対して高い精度で必要でも十分でもないことが分かる。
論文 参考訳（メタデータ） (2020-04-30T17:23:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。