論文の概要: A Comprehensive Understanding of Code-mixed Language Semantics using Hierarchical Transformer

• arxiv url: http://arxiv.org/abs/2204.12753v1
• Date: Wed, 27 Apr 2022 07:50:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-28 13:33:09.518003
• Title: A Comprehensive Understanding of Code-mixed Language Semantics using Hierarchical Transformer
• Title（参考訳）: 階層型トランスフォーマーを用いたコード混合言語セマンティクスの包括的理解
• Authors: Ayan Sengupta, Tharun Suresh, Md Shad Akhtar, and Tanmoy Chakraborty
• Abstract要約: コード混合言語のセマンティクスを学習するための階層型トランスフォーマーベースアーキテクチャ(HIT)を提案する。 提案手法を17のデータセット上で6つのインド語と9つのNLPタスクで評価した。
• 参考スコア（独自算出の注目度）: 28.3684494647968
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Being a popular mode of text-based communication in multilingual communities, code-mixing in online social media has became an important subject to study. Learning the semantics and morphology of code-mixed language remains a key challenge, due to scarcity of data and unavailability of robust and language-invariant representation learning technique. Any morphologically-rich language can benefit from character, subword, and word-level embeddings, aiding in learning meaningful correlations. In this paper, we explore a hierarchical transformer-based architecture (HIT) to learn the semantics of code-mixed languages. HIT consists of multi-headed self-attention and outer product attention components to simultaneously comprehend the semantic and syntactic structures of code-mixed texts. We evaluate the proposed method across 6 Indian languages (Bengali, Gujarati, Hindi, Tamil, Telugu and Malayalam) and Spanish for 9 NLP tasks on 17 datasets. The HIT model outperforms state-of-the-art code-mixed representation learning and multilingual language models in all tasks. We further demonstrate the generalizability of the HIT architecture using masked language modeling-based pre-training, zero-shot learning, and transfer learning approaches. Our empirical results show that the pre-training objectives significantly improve the performance on downstream tasks.
• Abstract（参考訳）: 多言語コミュニティにおけるテキストベースのコミュニケーションの一般的な方法として、オンラインソーシャルメディアにおけるコードミキシングが研究の対象となっている。 コード混合言語のセマンティクスと形態を学ぶことは、データの不足とロバストで言語不変な表現学習技術の活用不可能のため、依然として重要な課題である。 形態的に豊かな言語は、文字、サブワード、単語レベルの埋め込みの恩恵を受けることができる。 本稿では,コード混合言語のセマンティクスを学習するための階層型トランスフォーマーアーキテクチャ(HIT)について検討する。 HITは、コード混在テキストのセマンティック構造と構文構造を同時に理解するために、多面的自己注意と外部製品注意コンポーネントで構成されている。 提案手法は,インドの6言語(ベンガル語,グジャラート語,ヒンディー語,タミル語,テルグ語,マラヤラム語)とスペイン語で,9つのNLPタスクを17データセットで評価した。 ヒットモデルは、すべてのタスクで最先端のコード混合表現学習と多言語言語モデルを上回る。 さらに,マスク型言語モデリングに基づく事前学習,ゼロショット学習,トランスファー学習手法を用いて,ヒットアーキテクチャの一般化可能性を示す。 実験の結果,事前学習目標が下流タスクの性能を大幅に向上させることが示された。

関連論文リスト

• Prompt Engineering Using GPT for Word-Level Code-Mixed Language Identification in Low-Resource Dravidian Languages [0.0]
  インドのような多言語社会では、テキストはしばしばコードミキシングを示し、異なる言語レベルで現地の言語と英語をブレンドする。 本稿では,Dravidian言語における単語レベルのLI課題への対処を目的とした,共有タスクのプロンプトベース手法を提案する。 本研究では,GPT-3.5 Turboを用いて,大言語モデルが単語を正しいカテゴリに分類できるかどうかを検証した。
  論文  参考訳（メタデータ） (2024-11-06T16:20:37Z)
• Leveraging Language Identification to Enhance Code-Mixed Text Classification [0.7340017786387767]
  既存のディープラーニングモデルは、コード混合テキストの暗黙の言語情報を活用できない。 本研究の目的は,低リソースのCode-Mixed Hindi- Englishデータセット上でのBERTモデルの性能向上である。
  論文  参考訳（メタデータ） (2023-06-08T06:43:10Z)
• Multi-level Contrastive Learning for Cross-lingual Spoken Language Understanding [90.87454350016121]
  コントラスト学習のための難解なサンプルを, あらゆるレベルで生成するコードスイッチング手法を開発した。 言語間知識伝達にラベルセマンティクスを利用するラベル認識ジョイントモデルを開発した。
  論文  参考訳（メタデータ） (2022-05-07T13:44:28Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)
• Cross-Lingual Adaptation for Type Inference [29.234418962960905]
  弱い型付き言語間で深層学習に基づく型推論を行うための言語間適応フレームワークPLATOを提案する。 強く型付けされた言語からのデータを活用することで、PLATOは、バックボーンのクロスプログラミング言語モデルの難易度を改善する。
  論文  参考訳（メタデータ） (2021-07-01T00:20:24Z)
• Reinforced Iterative Knowledge Distillation for Cross-Lingual Named Entity Recognition [54.92161571089808]
  言語間NERは、知識をリッチリソース言語から低リソース言語に転送する。 既存の言語間NERメソッドは、ターゲット言語でリッチなラベル付けされていないデータをうまく利用しない。 半教師付き学習と強化学習のアイデアに基づく新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2021-06-01T05:46:22Z)
• HIT: A Hierarchically Fused Deep Attention Network for Robust Code-mixed Language Representation [18.136640008855117]
  コード混合テキストの堅牢な表現学習法であるHITを提案する。 HITは階層的なトランスフォーマーベースのフレームワークで、単語間の意味的関係をキャプチャする。 ヨーロッパ語(スペイン語)とインド語(ヒンディー語、ベンガル語、タミル語、テルグ語、マラヤラム語)に対するHITの評価は、様々な最先端システムに対する大幅な性能向上を示唆している。
  論文  参考訳（メタデータ） (2021-05-30T18:53:33Z)
• Multilingual Transfer Learning for Code-Switched Language and Speech Neural Modeling [12.497781134446898]
  本稿では,言語非依存なマルチタスク学習手法を提案することにより,言語理論のデータ不足と限界に対処する。 まず,メタラーニングに基づくメタトランスファー学習を提案する。そこでは,高音源単言語音声データから,コードスイッチング領域への情報抽出を行う。 第2に,他の言語で学習した有用な知識を得ることにより,コードスイッチングデータを効果的に表現するための,多言語メタエム手法を提案する。 第3に,言語モデルへの伝達学習戦略として構文情報を統合するために,マルチタスク学習を導入する。
  論文  参考訳（メタデータ） (2021-04-13T14:49:26Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• Multi-SimLex: A Large-Scale Evaluation of Multilingual and Cross-Lingual Lexical Semantic Similarity [67.36239720463657]
  Multi-SimLexは、12の異なる言語のデータセットをカバーする大規模な語彙リソースと評価ベンチマークである。 各言語データセットは、意味的類似性の語彙的関係に注釈付けされ、1,888のセマンティック・アライメント・コンセプト・ペアを含む。 言語間の概念の整合性のため、66の言語間セマンティック類似性データセットを提供する。
  論文  参考訳（メタデータ） (2020-03-10T17:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。