論文の概要: A Benchmark Study of Contrastive Learning for Arabic Social Meaning
- arxiv url: http://arxiv.org/abs/2210.12314v1
- Date: Sat, 22 Oct 2022 00:36:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 15:50:44.811379
- Title: A Benchmark Study of Contrastive Learning for Arabic Social Meaning
- Title(参考訳): アラビア語社会意味のコントラスト学習に関するベンチマーク研究
- Authors: Md Tawkat Islam Khondaker, El Moatez Billah Nagoudi, AbdelRahim
Elmadany, Muhammad Abdul-Mageed, Laks V.S. Lakshmanan
- Abstract要約: 本稿では,アラビア語社会意味タスクの多岐にわたるコントラスト学習手法のベンチマーク研究を行う。
CL法は,ほとんどのタスクにおいてバニラファインタニングよりも優れていることを示す。
また、CLはデータ効率が良く、この効率を定量化できることを示す。
- 参考スコア(独自算出の注目度): 14.00448138862085
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning (CL) brought significant progress to various NLP tasks.
Despite this progress, CL has not been applied to Arabic NLP to date. Nor is it
clear how much benefits it could bring to particular classes of tasks such as
those involved in Arabic social meaning (e.g., sentiment analysis, dialect
identification, hate speech detection). In this work, we present a
comprehensive benchmark study of state-of-the-art supervised CL methods on a
wide array of Arabic social meaning tasks. Through extensive empirical
analyses, we show that CL methods outperform vanilla finetuning on most tasks
we consider. We also show that CL can be data efficient and quantify this
efficiency. Overall, our work allows us to demonstrate the promise of CL
methods, including in low-resource settings.
- Abstract(参考訳): コントラスト学習(CL)は様々なNLPタスクに多大な進歩をもたらした。
この進歩にもかかわらず、CLはアラビア語のNLPには適用されていない。
また、アラビア語の社会的意味(感情分析、方言の識別、ヘイトスピーチの検出など)に関わるタスクの特定のクラスにどの程度の恩恵をもたらすかは明確ではない。
本研究では,アラビア語の社会的意味タスクを多岐に及んだ最先端のCL手法に関する総合的なベンチマーク研究を行う。
広範に経験的分析を行った結果,CL法はバニラ微調整よりも優れていることがわかった。
また、CLはデータ効率が良く、この効率を定量化できることを示す。
全体として、低リソース設定を含むCLメソッドの可能性を実証することができます。
関連論文リスト
- DEEP-ICL: Definition-Enriched Experts for Language Model In-Context
Learning [61.85871109164743]
大規模言語モデル(LLM)におけるパラメータの多さは、コンテキスト内学習(ICL)の能力を促進すると長い間考えられてきた。
ICL のための新しいタスク定義拡張 ExPert Ensembling Method である DEEP-ICL を紹介する。
ICLの改善はモデルのサイズに直接依存するのではなく、基本的にはタスク定義やタスク誘導学習の理解に起因している、と我々は主張する。
論文 参考訳(メタデータ) (2024-03-07T05:26:41Z) - Analyzing and Adapting Large Language Models for Few-Shot Multilingual
NLU: Are We There Yet? [82.02076369811402]
教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。
提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。
そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
論文 参考訳(メタデータ) (2024-03-04T10:48:13Z) - Take One Step at a Time to Know Incremental Utility of Demonstration: An
Analysis on Reranking for Few-Shot In-Context Learning [26.89773208427933]
In-Context Learning (ICL)は大規模言語モデル(LLM)の創発的能力である
従来の研究では、ラベルとしてLLMの出力を使用することが、デモを選択するためのトレーニングモデルに有効であることが示されている。
本稿では,LLMの出力確率に着目して,異なるユーティリティ関数の解析を行う。
論文 参考訳(メタデータ) (2023-11-16T07:03:54Z) - Investigating the Learning Behaviour of In-context Learning: A
Comparison with Supervised Learning [67.25698169440818]
大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な能力を示している。
我々は、ICLと教師あり学習(SL)を通して、同じ実演例で同じLLMを訓練し、ラベル摂動下での性能を調査する。
まず、特に大規模言語モデルにおいて、ゴールドラベルがダウンストリーム・イン・コンテクストのパフォーマンスに大きな影響を与えることを発見した。
第2に、SLと比較すると、ICLはSLよりもラベル摂動に敏感で、モデルサイズが大きくなるにつれて徐々にSLに匹敵する性能が得られることが実証的に示される。
論文 参考訳(メタデータ) (2023-07-28T09:03:19Z) - In-Context Learning Learns Label Relationships but Is Not Conventional
Learning [60.891931501449726]
大規模言語モデルの文脈内学習(ICL)能力について、現時点では合意が得られていない。
ICLがラベル情報をどのように活用するかという新たな洞察を提供し、機能と制限の両方を明らかにします。
実験の結果, ICLの予測はコンテキスト内ラベルにほぼ常に依存しており, ICLはコンテキスト内における真に新しいタスクを学習できることがわかった。
論文 参考訳(メタデータ) (2023-07-23T16:54:41Z) - A Survey on In-context Learning [56.40261564926631]
In-context Learning (ICL)は自然言語処理のための新しいパラダイムである
まず、ICLの形式的定義を示し、関連する研究との相関を明らかにする。
そこで我々は,訓練戦略,実証設計戦略,関連する分析など,高度な手法を整理し,議論する。
論文 参考訳(メタデータ) (2022-12-31T15:57:09Z) - Using Representation Expressiveness and Learnability to Evaluate
Self-Supervised Learning Methods [61.49061000562676]
本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。
CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。
CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
論文 参考訳(メタデータ) (2022-06-02T19:05:13Z) - Label Anchored Contrastive Learning for Language Understanding [17.28721753405111]
言語理解のための新しいラベル付きコントラスト学習手法(LaCon)を提案する。
当社のアプローチでは、特別なネットワークアーキテクチャや追加のデータ拡張は必要ありません。
LaConはGLUEとCLUEベンチマークの一般的なデータセットを最大4.1%改善する。
論文 参考訳(メタデータ) (2022-04-26T15:33:01Z) - Continual Lifelong Learning in Natural Language Processing: A Survey [3.9103337761169943]
連続学習(continual learning, cl)は,情報システムが時間を越えた連続的なデータストリームから学ぶことを可能にする。
既存のディープラーニングアーキテクチャでは、以前獲得した知識をほとんど忘れずに新しいタスクを学習することは困難である。
我々は様々なnlpタスクのレンズを通してclの問題を検討する。
論文 参考訳(メタデータ) (2020-12-17T18:44:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。