論文の概要: SML: a new Semantic Embedding Alignment Transformer for efficient
cross-lingual Natural Language Inference
- arxiv url: http://arxiv.org/abs/2103.09635v2
- Date: Thu, 18 Mar 2021 19:28:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-22 09:17:44.426338
- Title: SML: a new Semantic Embedding Alignment Transformer for efficient
cross-lingual Natural Language Inference
- Title（参考訳）: SML: 効率的な言語間自然言語推論のための新しい意味埋め込み変換器
- Authors: Javier Huertas-Tato and Alejandro Mart\'in and David Camacho
- Abstract要約: トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。
nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。
本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer を提案する。
- 参考スコア（独自算出の注目度）: 71.57324258813674
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability of Transformers to perform with precision a variety of tasks such
as question answering, Natural Language Inference (NLI) or summarising, have
enable them to be ranked as one of the best paradigms to address this kind of
tasks at present. NLI is one of the best scenarios to test these architectures,
due to the knowledge required to understand complex sentences and established a
relation between a hypothesis and a premise. Nevertheless, these models suffer
from incapacity to generalise to other domains or difficulties to face
multilingual scenarios. The leading pathway in the literature to address these
issues involve designing and training extremely large architectures, which
leads to unpredictable behaviours and to establish barriers which impede broad
access and fine tuning. In this paper, we propose a new architecture, siamese
multilingual transformer (SML), to efficiently align multilingual embeddings
for Natural Language Inference. SML leverages siamese pre-trained multi-lingual
transformers with frozen weights where the two input sentences attend each
other to later be combined through a matrix alignment method. The experimental
results carried out in this paper evidence that SML allows to reduce
drastically the number of trainable parameters while still achieving
state-of-the-art performance.
- Abstract（参考訳）: トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。
nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。
しかし、これらのモデルは、他の領域に一般化したり、多言語シナリオに直面することの困難さに苦しむ。
これらの問題に対処する文献における主要な経路は、非常に大きなアーキテクチャの設計とトレーニングであり、予測不可能な振る舞いをもたらし、幅広いアクセスと微調整を妨げる障壁を確立することである。
本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer (sml) を提案する。
SMLは2つの入力文が互いに参加して後に行列アライメント法によって結合されるような凍結重み付きシアム事前訓練された多言語トランスフォーマーを利用する。
本研究で実施した実験結果によると、SMLは、最先端性能を保ちながら、トレーニング可能なパラメータを劇的に減らすことができる。
関連論文リスト
- LANDeRMT: Detecting and Routing Language-Aware Neurons for Selectively Finetuning LLMs to Machine Translation [43.26446958873554]
大規模言語モデル(LLM)は,バイリンガルの監督が限られているにもかかわらず,多言語翻訳において有望な結果を示している。
大規模言語モデル(LLM)の最近の進歩は,バイリンガルの監督が限定された場合でも,多言語翻訳において有望な結果を示している。
LandeRMT は LLM を textbfMachine textbfTranslation に選択的に微調整するフレームワークである。
論文 参考訳（メタデータ） (2024-09-29T02:39:42Z) - Prefix Text as a Yarn: Eliciting Non-English Alignment in Foundation Language Model [50.339632513018934]
教師付き微調整(SFT)は、基礎大言語モデル(LLM)の出力を特定の嗜好に合わせるための単純なアプローチである。
我々はこの仮説を言語間タスクの範囲内で批判的に検証する。
タスク関連トークンを最小化するPreTTYという新しいトレーニングフリーアライメント手法を提案する。
論文 参考訳（メタデータ） (2024-04-25T17:19:36Z) - Evaluating Shortest Edit Script Methods for Contextual Lemmatization [6.0158981171030685]
現代の文脈補綴器は、単語の形式を補題に変換するために、しばしば自動的に誘導された短い編集スクリプト(SES)に依存している。
これまでの研究では,SESが最終補修性能にどのような影響を及ぼすかは調査されていない。
ケーシング操作と編集操作を別々に計算することは、全体として有益であるが、高機能な形態を持つ言語には、より明確に有用であることを示す。
論文 参考訳（メタデータ） (2024-03-25T17:28:24Z) - Deep Natural Language Feature Learning for Interpretable Prediction [1.6114012813668932]
本稿では,メインの複雑なタスクを仲介しやすいサブタスクの集合に分解する手法を提案する。
本手法では,これらの質問に対する回答からなるベクトルで各例を表現できる。
我々は,学生のオープンエンド数学試験に対する回答の不整合性の検出と,気候変動と農業学に関する科学的論文の体系的な文献レビューのための要約のスクリーニングという,2つのまったく異なるタスクにこの手法を適用した。
論文 参考訳（メタデータ） (2023-11-09T21:43:27Z) - Exploring Dimensionality Reduction Techniques in Multilingual
Transformers [64.78260098263489]
本稿では,多言語シームス変圧器の性能に及ぼす次元還元法の影響を包括的に考察する。
これは、それぞれ91.58% pm 2.59%$と54.65% pm 32.20%$の次元を平均で減少させることが可能であることを示している。
論文 参考訳（メタデータ） (2022-04-18T17:20:55Z) - Mixed Attention Transformer for LeveragingWord-Level Knowledge to Neural
Cross-Lingual Information Retrieval [15.902630454568811]
本稿では,辞書や翻訳表などの外部単語レベルの知識を取り入れた,MAT(Mixed Attention Transformer)を提案する。
翻訳知識をアテンションマトリックスに符号化することにより、MATを用いたモデルは、入力シーケンス内の相互翻訳された単語にフォーカスすることができる。
論文 参考訳（メタデータ） (2021-09-07T00:33:14Z) - Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。
シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。
提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
論文 参考訳（メタデータ） (2021-07-27T06:51:13Z) - VECO: Variable and Flexible Cross-lingual Pre-training for Language
Understanding and Generation [77.82373082024934]
我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。
独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。
提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
論文 参考訳（メタデータ） (2020-10-30T03:41:38Z) - Deep Transformers with Latent Depth [42.33955275626127]
Transformerモデルは、多くのシーケンスモデリングタスクにおいて最先端のパフォーマンスを達成した。
本稿では,層選択の後方分布を学習することで,どの層を使うかを自動的に学習する確率的フレームワークを提案する。
多言語機械翻訳のための1つの共有トランスフォーマーネットワークを学習する新しい手法を提案する。
論文 参考訳（メタデータ） (2020-09-28T07:13:23Z) - Is Supervised Syntactic Parsing Beneficial for Language Understanding?
An Empirical Investigation [71.70562795158625]
従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。
近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。
本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
論文 参考訳（メタデータ） (2020-08-15T21:03:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。