論文の概要: Transformer-Based Contextualized Language Models Joint with Neural Networks for Natural Language Inference in Vietnamese

• arxiv url: http://arxiv.org/abs/2411.13407v1
• Date: Wed, 20 Nov 2024 15:46:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:12:36.029037
• Title: Transformer-Based Contextualized Language Models Joint with Neural Networks for Natural Language Inference in Vietnamese
• Title（参考訳）: ベトナムにおける自然言語推論のためのニューラルネットワークを用いたトランスフォーマーに基づく文脈言語モデル
• Authors: Dat Van-Thanh Nguyen, Tin Van Huynh, Kiet Van Nguyen, Ngan Luu-Thuy Nguyen,
• Abstract要約: 文脈型言語モデル(CLM)とニューラルネットワークの様々な組み合わせを用いて実験を行う。 CLMとニューラルネットワークのジョイントアプローチはシンプルだが,高品質な性能を実現することができる。
• 参考スコア（独自算出の注目度）: 1.7457686843484872
• License:
• Abstract: Natural Language Inference (NLI) is a task within Natural Language Processing (NLP) that holds value for various AI applications. However, there have been limited studies on Natural Language Inference in Vietnamese that explore the concept of joint models. Therefore, we conducted experiments using various combinations of contextualized language models (CLM) and neural networks. We use CLM to create contextualized work presentations and use Neural Networks for classification. Furthermore, we have evaluated the strengths and weaknesses of each joint model and identified the model failure points in the Vietnamese context. The highest F1 score in this experiment, up to 82.78\% in the benchmark dataset (ViNLI). By conducting experiments with various models, the most considerable size of the CLM is XLM-R (355M). That combination has consistently demonstrated superior performance compared to fine-tuning strong pre-trained language models like PhoBERT (+6.58\%), mBERT (+19.08\%), and XLM-R (+0.94\%) in terms of F1-score. This article aims to introduce a novel approach or model that attains improved performance for Vietnamese NLI. Overall, we find that the joint approach of CLM and neural networks is simple yet capable of achieving high-quality performance, which makes it suitable for applications that require efficient resource utilization.
• Abstract（参考訳）: 自然言語推論(英: Natural Language Inference、NLI)は、自然言語処理(英: Natural Language Processing、NLP)におけるタスクであり、様々なAIアプリケーションの価値を保持する。 しかし、ベトナムでは、ジョイントモデルの概念を探求する自然言語推論について限定的な研究がなされている。 そこで我々は,文脈型言語モデル(CLM)とニューラルネットワークの組み合わせを用いて実験を行った。 我々は、CLMを使ってコンテキスト化された作業プレゼンテーションを作成し、ニューラルネットワークを使って分類する。 さらに,各関節モデルの長所と短所を評価し,ベトナムの文脈におけるモデル故障点を同定した。 この実験で最も高いF1スコアは、ベンチマークデータセット(ViNLI)の82.78\%である。 様々なモデルで実験を行うことで、CLMの最も大きなサイズはXLM-R (355M)である。 この組み合わせは、F1スコアの点でPhoBERT (+6.58\%)、mBERT (+19.08\%)、XLM-R (+0.94\%)のような微調整済みの強い言語モデルと比較して、一貫して優れた性能を示している。 本稿ではベトナムのNLIの性能向上を実現する新しいアプローチやモデルを導入することを目的とする。 全体として、CLMとニューラルネットワークのジョイントアプローチは単純であるが、高品質な性能を実現することができるため、効率的な資源利用を必要とするアプリケーションに適している。

関連論文リスト

• ViANLI: Adversarial Natural Language Inference for Vietnamese [1.907126872483548]
  敵NLIデータセットをNLP研究コミュニティに導入し,その名称をViANLIとした。 このデータセットには、10K以上の前提-仮説ペアが含まれている。 テストセットで最も強力なモデルの精度は48.4%にしか達しなかった。
  論文  参考訳（メタデータ） (2024-06-25T16:58:19Z)
• Evaluating Large Language Models Using Contrast Sets: An Experimental Approach [0.0]
  本研究では,スタンフォード自然言語推論データセットのコントラストセットを生成する革新的な手法を提案する。 我々の戦略は、動詞、副詞、形容詞をその同義語と自動置換して、文の本来の意味を保存することである。 本手法は,モデルの性能が真の言語理解に基づくのか,それとも単にパターン認識に基づくのかを評価することを目的とする。
  論文  参考訳（メタデータ） (2024-04-02T02:03:28Z)
• Few-shot clinical entity recognition in English, French and Spanish: masked language models outperform generative model prompting [4.832840259029653]
  大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて好まれるソリューションとなっている。 本研究は, 数発のNERに対して, 即発的な工学的手法を用いて, 生成性LLMを評価することを目的とする。 我々は、英語、フランス語、スペイン語をカバーする14のNERデータセットを微調整し、プロンプトを用いた13の自己回帰モデルと16のマスキングモデルを比較した。 プロンプトベースの自己回帰モデルは一般的なNERの競合F1を達成するが、マスクモデルに基づくより軽いbiLSTM-CRFタグにより臨床領域内では優れる。
  論文  参考訳（メタデータ） (2024-02-20T08:20:49Z)
• Automatic Model Selection with Large Language Models for Reasoning [33.93807127935167]
  Chain-of-Thought (CoT) と Program-Aided Language Models (PAL) は2つの異なる推論方法を表す。 本稿では,大言語モデルを用いて両世界の長所を結合するモデル選択手法を提案する。 提案手法は,8つの推論データセット間で有意な性能向上を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:57:59Z)
• An Open Dataset and Model for Language Identification [84.15194457400253]
  マクロ平均F1スコア0.93、偽陽性率0.033を201言語で達成するLIDモデルを提案する。 モデルとデータセットの両方を研究コミュニティに公開しています。
  論文  参考訳（メタデータ） (2023-05-23T08:43:42Z)
• Improving Code Generation by Training with Natural Language Feedback [69.52985513422381]
  自然言語フィードバックから学習するアルゴリズムを訓練時に形式化し、それをILF(Language Feedback)と呼ぶ。 ILFはトレーニング中に少量の人間によるフィードバックしか必要とせず、テスト時に同じフィードバックを必要としないため、ユーザフレンドリでサンプル効率がよい。 Instly Basic Python Problems (MBPP)ベンチマークでは、ICFを使用してCodegen-Mono 6.1Bモデルのpass@1レートを38%改善しています。
  論文  参考訳（メタデータ） (2023-03-28T16:15:31Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• WANLI: Worker and AI Collaboration for Natural Language Inference Dataset Creation [101.00109827301235]
  我々は人間と機械の協調に基づくデータセット作成のための新しいパラダイムを導入する。 我々は、データセット地図を用いて、挑戦的な推論パターンを示すサンプルを自動的に識別し、GPT-3に同様のパターンで新しい例を作成するよう指示する。 結果として得られたデータセットであるWANLIは、108,357の自然言語推論(NLI)の例からなり、ユニークな経験的強度を示す。
  論文  参考訳（メタデータ） (2022-01-16T03:13:49Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)
• A Simple and Efficient Ensemble Classifier Combining Multiple Neural Network Models on Social Media Datasets in Vietnamese [2.7528170226206443]
  本研究の目的は、ベトナムの3つのベンチマークデータセットから、ソーシャルメディア上のベトナム語のテキストを分類することである。 この研究では、CNN、LSTM、およびそれらの変種を含む高度なディープラーニングモデルを使用し、最適化されている。 私たちのアンサンブルモデルは、3つのデータセットで最高のパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2020-09-28T04:28:48Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。