論文の概要: JARVix at SemEval-2022 Task 2: It Takes One to Know One? Idiomaticity
Detection using Zero and One Shot Learning
- arxiv url: http://arxiv.org/abs/2202.02394v1
- Date: Fri, 4 Feb 2022 21:17:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 13:42:49.486346
- Title: JARVix at SemEval-2022 Task 2: It Takes One to Know One? Idiomaticity
Detection using Zero and One Shot Learning
- Title（参考訳）: JARVix at SemEval-2022 Task 2: 知っておくべきことは何か?
ゼロ・ワンショット学習による慣用性検出
- Authors: Ashwin Pathak, Raj Shah, Vaibhav Kumar, Yash Jakhotiya
- Abstract要約: 本稿では,二項分類を用いた慣用的表現の検出に焦点をあてる。
我々は、英語とポルトガル語でMWEのリテラルと慣用的な使用法からなるデータセットを使用する。
両設定で複数の大規模言語モデルを訓練し、ゼロショット設定では0.73のF1スコア(マクロ)、ワンショット設定では0.85のF1スコア(マクロ)を達成する。
- 参考スコア（独自算出の注目度）: 7.453634424442979
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models have been successful in a wide variety of Natural
Language Processing tasks by capturing the compositionality of the text
representations. In spite of their great success, these vector representations
fail to capture meaning of idiomatic multi-word expressions (MWEs). In this
paper, we focus on the detection of idiomatic expressions by using binary
classification. We use a dataset consisting of the literal and idiomatic usage
of MWEs in English and Portuguese. Thereafter, we perform the classification in
two different settings: zero shot and one shot, to determine if a given
sentence contains an idiom or not. N shot classification for this task is
defined by N number of common idioms between the training and testing sets. In
this paper, we train multiple Large Language Models in both the settings and
achieve an F1 score (macro) of 0.73 for the zero shot setting and an F1 score
(macro) of 0.85 for the one shot setting. An implementation of our work can be
found at
https://github.com/ashwinpathak20/Idiomaticity_Detection_Using_Few_Shot_Learning .
- Abstract（参考訳）: 大規模言語モデルは、テキスト表現の構成性をキャプチャすることで、様々な自然言語処理タスクで成功している。
その大きな成功にもかかわらず、これらのベクトル表現は慣用的多語表現(mwes)の意味を捉えられなかった。
本稿では,二項分類を用いた慣用的表現の検出に焦点をあてる。
私たちは英語とポルトガル語のmwesのリテラルと慣用的な使用からなるデータセットを使用します。
その後、ゼロショットとワンショットの2つの異なる設定で分類を行い、与えられた文がイディオムを含むか否かを判定する。
このタスクのNショット分類は、トレーニングセットとテストセットの間の共通イディオムの数によって定義される。
本稿では,複数の大規模言語モデルを両設定で訓練し,ゼロショット設定で0.73のf1スコア(macro),ワンショット設定で0.85のf1スコア(macro)を達成する。
私たちの作業の実装はhttps://github.com/ashwinpathak20/Idiomaticity_Detection_Using_Few_Shot_Learning で確認できます。
関連論文リスト
- Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。
より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。
これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文 参考訳（メタデータ） (2024-03-26T12:47:39Z) - DeMuX: Data-efficient Multilingual Learning [57.37123046817781]
DEMUXは、大量の重複しない多言語データからラベルを付けるための正確なデータポイントを規定するフレームワークである。
エンドツーエンドのフレームワークは言語に依存しず、モデル表現を記述し、多言語的ターゲット設定をサポートしています。
論文 参考訳（メタデータ） (2023-11-10T20:09:08Z) - Revisiting the Role of Language Priors in Vision-Language Models [90.0317841097143]
視覚言語モデル(VLM)は、微調整なしで、ゼロショット方式で様々な視覚的理解タスクに適用される。
我々は、画像から次の単語を生成するために訓練された$textitgenerative VLMs$について研究する。
画像テキスト検索の図解的タスクにおけるゼロショット性能を,8つの人気のある視覚言語ベンチマークで検証する。
論文 参考訳（メタデータ） (2023-06-02T19:19:43Z) - Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。
我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。
また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
論文 参考訳（メタデータ） (2023-01-22T18:22:55Z) - Exploring the Limits of Natural Language Inference Based Setup for
Few-Shot Intent Detection [13.971616443394474]
汎用的なFewショットインテント検出は、より現実的だが難しいセットアップである。
自然言語推論に基づくシンプルで効果的な手法を用いる。
提案手法は,1ショットと5ショットのインテント検出タスクにおいて,最先端の処理結果を実現する。
論文 参考訳（メタデータ） (2021-12-14T14:47:23Z) - Language Identification with a Reciprocal Rank Classifier [1.4467794332678539]
ドメインの変更やトレーニングデータの欠如に頑健な軽量で効果的な言語識別子を提案する。
2つの22言語データセットでこれをテストし、ウィキペディアのトレーニングセットからTwitterのテストセットへのゼロエフォートドメイン適応を実証する。
論文 参考訳（メタデータ） (2021-09-20T22:10:07Z) - AStitchInLanguageModels: Dataset and Methods for the Exploration of
Idiomaticity in Pre-Trained Language Models [7.386862225828819]
本研究は、MWEを含む自然発生文のデータセットを、細かな意味の集合に手作業で分類する。
我々は,このデータセットを,idiomを含む文の表現生成における言語モデルの有効性と,idiomを用いた言語モデルの有効性を検証するために,2つのタスクで使用する。
論文 参考訳（メタデータ） (2021-09-09T16:53:17Z) - FewCLUE: A Chinese Few-shot Learning Evaluation Benchmark [8.158067688043554]
この研究は、中国初の総合的な小サンプル評価ベンチマークである中国語 Few-shot Learning Evaluation Benchmark (FewCLUE) を紹介した。
1つのタスクに最大2万のサンプルを追加するラベルなしのトレーニングが提供され、ラベルなしのサンプルを使用する方法を改善することができる。
次に、最先端の複数ショット学習手法を実装し、その性能をFewCLUEベンチマークの微調整およびゼロショット学習方式と比較する。
論文 参考訳（メタデータ） (2021-07-15T17:51:25Z) - Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。
AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。
実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
論文 参考訳（メタデータ） (2020-10-15T18:34:13Z) - Cross-Lingual Transfer Learning for Complex Word Identification [0.3437656066916039]
複合単語識別(CWI)は、テキスト中の難解な単語を検出することに焦点を当てたタスクである。
我々のアプローチでは、自然言語処理(NLP)タスクのための最先端のソリューションとともに、ゼロショット、ワンショット、および少数ショットの学習技術を使用します。
本研究の目的は,多言語環境下で複雑な単語の特徴を学習できることを示すことである。
論文 参考訳（メタデータ） (2020-10-02T17:09:47Z) - NLP-CIC at SemEval-2020 Task 9: Analysing sentiment in code-switching
language using a simple deep-learning classifier [63.137661897716555]
コードスイッチングは、2つ以上の言語が同じメッセージで使用される現象である。
標準的な畳み込みニューラルネットワークモデルを用いて、スペイン語と英語の混在するツイートの感情を予測する。
論文 参考訳（メタデータ） (2020-09-07T19:57:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。