論文の概要: Generating Continuations in Multilingual Idiomatic Contexts
- arxiv url: http://arxiv.org/abs/2310.20195v2
- Date: Sat, 4 Nov 2023 04:15:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 19:33:44.420059
- Title: Generating Continuations in Multilingual Idiomatic Contexts
- Title（参考訳）: 多言語慣用文脈における連続生成
- Authors: Rhitabrat Pokharel, Ameeta Agrawal
- Abstract要約: 非合成図形テキストを含むニュアンス言語理解における生成言語モデル(LM)の能力を検証する。
3つの異なるトレーニング設定の下で、2つの異なる言語(英語とポルトガル語)でデータセットを使用して実験を行う。
以上の結果から,本モデルでは慣用的文脈よりも文脈の連続性をわずかに向上し,マージンが極端に小さいことが示唆された。
- 参考スコア（独自算出の注目度）: 2.0849578298972835
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ability to process idiomatic or literal multiword expressions is a
crucial aspect of understanding and generating any language. The task of
generating contextually relevant continuations for narratives containing
idiomatic (or literal) expressions can allow us to test the ability of
generative language models (LMs) in understanding nuanced language containing
non-compositional figurative text. We conduct a series of experiments using
datasets in two distinct languages (English and Portuguese) under three
different training settings (zero-shot, few-shot, and fine-tuned). Our results
suggest that the models are only slightly better at generating continuations
for literal contexts than idiomatic contexts, with exceedingly small margins.
Furthermore, the models studied in this work perform equally well across both
languages, indicating the robustness of generative models in performing this
task.
- Abstract（参考訳）: 慣用的あるいはリテラルな多語表現を処理する能力は、あらゆる言語を理解し、生成する上で重要な側面である。
慣用的(あるいはリテラル)表現を含むナラティブの文脈的関連のある継続を生成するタスクは、非定形的テキストを含むニュアンス言語を理解する際に、生成言語モデル(lms)の能力をテストすることができる。
2つの異なる言語(英語とポルトガル語)のデータセットを使って、3つの異なるトレーニング設定(ゼロショット、少数ショット、微調整)で一連の実験を行いました。
以上の結果から,本モデルでは慣用的文脈よりも連続生成がわずかに優れていることが示唆された。
さらに、本研究で研究されたモデルは両言語で同等に機能し、このタスクの実行における生成モデルの堅牢性を示している。
関連論文リスト
- Beyond Contrastive Learning: A Variational Generative Model for
Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。
我々のモデルは、$N$言語で並列データを操作する。
本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文 参考訳（メタデータ） (2022-12-21T02:41:40Z) - Multilingual Transformer Encoders: a Word-Level Task-Agnostic Evaluation [0.6882042556551609]
一部のTransformerベースのモデルは、言語間変換学習を実行することができる。
このようなモデルによって構築された文脈化表現のアライメントを評価するための単語レベルタスク非依存手法を提案する。
論文 参考訳（メタデータ） (2022-07-19T05:23:18Z) - AStitchInLanguageModels: Dataset and Methods for the Exploration of
Idiomaticity in Pre-Trained Language Models [7.386862225828819]
本研究は、MWEを含む自然発生文のデータセットを、細かな意味の集合に手作業で分類する。
我々は,このデータセットを,idiomを含む文の表現生成における言語モデルの有効性と,idiomを用いた言語モデルの有効性を検証するために,2つのタスクで使用する。
論文 参考訳（メタデータ） (2021-09-09T16:53:17Z) - Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。
これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
論文 参考訳（メタデータ） (2021-06-16T18:13:55Z) - Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。
この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
論文 参考訳（メタデータ） (2021-03-24T16:20:02Z) - VECO: Variable and Flexible Cross-lingual Pre-training for Language
Understanding and Generation [77.82373082024934]
我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。
独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。
提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
論文 参考訳（メタデータ） (2020-10-30T03:41:38Z) - Exemplar-Controllable Paraphrasing and Translation using Bitext [57.92051459102902]
私たちは、バイリンガルテキスト(bitext)からのみ学ぶことができるように、以前の作業からモデルを適用する。
提案した1つのモデルでは、両言語で制御されたパラフレーズ生成と、両言語で制御された機械翻訳の4つのタスクを実行することができる。
論文 参考訳（メタデータ） (2020-10-12T17:02:50Z) - Cross-lingual Spoken Language Understanding with Regularized
Representation Alignment [71.53159402053392]
外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。
言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2020-09-30T08:56:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。