論文の概要: Multilingual Text Representation

• arxiv url: http://arxiv.org/abs/2309.00949v1
• Date: Sat, 2 Sep 2023 14:21:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 00:06:33.556399
• Title: Multilingual Text Representation
• Title（参考訳）: 多言語テキスト表現
• Authors: Fahim Faisal
• Abstract要約: 現代のNLPのブレークスルーには、100以上の言語でタスクを実行できる大規模な多言語モデルが含まれている。 最先端の言語モデルは、単語の単純な1ホット表現から始まり、長い道のりを歩んだ。 我々は、言語民主化の潜在能力が、既知の限界を超えてどのように得られるかについて論じる。
• 参考スコア（独自算出の注目度）: 3.4447129363520337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern NLP breakthrough includes large multilingual models capable of performing tasks across more than 100 languages. State-of-the-art language models came a long way, starting from the simple one-hot representation of words capable of performing tasks like natural language understanding, common-sense reasoning, or question-answering, thus capturing both the syntax and semantics of texts. At the same time, language models are expanding beyond our known language boundary, even competitively performing over very low-resource dialects of endangered languages. However, there are still problems to solve to ensure an equitable representation of texts through a unified modeling space across language and speakers. In this survey, we shed light on this iterative progression of multilingual text representation and discuss the driving factors that ultimately led to the current state-of-the-art. Subsequently, we discuss how the full potential of language democratization could be obtained, reaching beyond the known limits and what is the scope of improvement in that space.
• Abstract（参考訳）: 現代のNLPのブレークスルーには、100以上の言語でタスクを実行できる大規模な多言語モデルが含まれている。 最先端の言語モデルは、自然言語理解、コモンセンス推論、質問応答といったタスクを実行できる単語の単純でホットな表現から始まり、テキストの構文とセマンティクスの両方を捉えた長い道のりを歩んだ。 同時に、言語モデルは既知の言語境界を越えて拡張され、絶滅危惧言語の非常に低リソースな方言でも競合的に実行されています。 しかし、言語と話者間の統一モデリング空間を通じてテキストの公平な表現を保証するためには、まだ解決すべき問題が残っている。 本研究は,多言語テキスト表現の反復的進展を浮き彫りにし,その結果として現在に至る要因について考察した。 次に,言語民主化の可能性を最大限に活用し,既知の限界を超える可能性と,その領域における改善のスコープについて論じる。

関連論文リスト

• Teaching a Multilingual Large Language Model to Understand Multilingual Speech via Multi-Instructional Training [29.47243668154796]
  BLOOMZMMSは多言語LLMと多言語音声エンコーダを統合する新しいモデルである。 本稿では,言語知識のテキストから音声モダリティへの伝達性を示す。 ゼロショット評価の結果は、複数のタスクにまたがるアプローチの堅牢性を確認します。
  論文  参考訳（メタデータ） (2024-04-16T21:45:59Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Multilingual Multi-Figurative Language Detection [14.799109368073548]
  比喩的言語理解は多言語環境では 非常に過小評価されています 我々は,多言語多言語言語モデリングを導入し,文レベル図形言語検出のためのベンチマークを提供する。 テンプレートに基づく即時学習に基づく図形言語検出のためのフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-05-31T18:52:41Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• Expanding Pretrained Models to Thousands More Languages via Lexicon-based Adaptation [133.7313847857935]
  我々の研究は、NLPメソッドが現在の技術で不足している何千もの言語にどのように適応できるかを強調した。 3つのタスクにまたがる19の非表現言語に対して、我々の手法は、それぞれ追加のモノリンガルテキストによる最大5点と15点の改善をもたらす。
  論文  参考訳（メタデータ） (2022-03-17T16:48:22Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
  事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。 これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
  論文  参考訳（メタデータ） (2021-06-16T18:13:55Z)
• Generalising Multilingual Concept-to-Text NLG with Language Agnostic Delexicalisation [0.40611352512781856]
  概念からテキストへの自然言語生成は、自然言語で入力の意味を表現するタスクである。 多言語事前学習型埋め込みを用いた新しいデレクサライズ手法であるLanguage Agnostic Delexicalizationを提案する。 5つのデータセットと5つの言語で実験した結果、多言語モデルは概念対テキストで単言語モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-05-07T17:48:53Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。