論文の概要: Graph Neural Network Enhanced Language Models for Efficient Multilingual Text Classification

• arxiv url: http://arxiv.org/abs/2203.02912v1
• Date: Sun, 6 Mar 2022 09:05:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-09 07:35:31.096347
• Title: Graph Neural Network Enhanced Language Models for Efficient Multilingual Text Classification
• Title（参考訳）: 効率的な多言語テキスト分類のためのグラフニューラルネットワーク拡張言語モデル
• Authors: Samujjwal Ghosh, Subhadeep Maji, Maunendra Sankar Desarkar
• Abstract要約: 本稿では,モノ,クロス,マルチ言語シナリオ下で動作可能な多言語災害関連テキスト分類システムを提案する。 我々のエンドツーエンドのトレーニング可能なフレームワークは、コーパスに代えてグラフニューラルネットワークの汎用性を組み合わせたものです。 我々は、モノ、クロス、マルチ言語分類シナリオにおいて、合計9つの英語、非英語、モノリンガルデータセットについて、我々のフレームワークを評価した。
• 参考スコア（独自算出の注目度）: 8.147244878591014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online social media works as a source of various valuable and actionable information during disasters. These information might be available in multiple languages due to the nature of user generated content. An effective system to automatically identify and categorize these actionable information should be capable to handle multiple languages and under limited supervision. However, existing works mostly focus on English language only with the assumption that sufficient labeled data is available. To overcome these challenges, we propose a multilingual disaster related text classification system which is capable to work under \{mono, cross and multi\} lingual scenarios and under limited supervision. Our end-to-end trainable framework combines the versatility of graph neural networks, by applying over the corpus, with the power of transformer based large language models, over examples, with the help of cross-attention between the two. We evaluate our framework over total nine English, Non-English and monolingual datasets in \{mono, cross and multi\} lingual classification scenarios. Our framework outperforms state-of-the-art models in disaster domain and multilingual BERT baseline in terms of Weighted F$_1$ score. We also show the generalizability of the proposed model under limited supervision.
• Abstract（参考訳）: オンラインソーシャルメディアは災害時の貴重な情報や行動可能な情報の源泉として機能する。 これらの情報は、ユーザ生成コンテンツの性質のため、複数の言語で利用することができる。 これらの実行可能な情報を自動で識別し分類する効果的なシステムは、複数の言語を扱い、限定的な監督下に置かれるべきである。 しかし、既存の研究は主に、十分なラベル付きデータが利用できるという前提で、英語に焦点を当てている。 これらの課題を克服するために,多言語災害関連テキスト分類システムを提案する。 我々のエンドツーエンドのトレーニング可能なフレームワークは、コーパスにトランスフォーマーベースの大規模言語モデルのパワーを応用することで、グラフニューラルネットワークの汎用性を組み合わせ、両者間のクロスアテンションの助けとなる。 我々は,全9つの英語,非英語,モノリンガルのデータセットを,{mono,cross, multi\}の言語分類シナリオで評価した。 我々のフレームワークは、重み付きF$_1$スコアで、災害領域と多言語BERTベースラインにおける最先端モデルよりも優れています。 また,提案モデルの一般化を限定的な監督下で示す。

関連論文リスト

• Towards Building an End-to-End Multilingual Automatic Lyrics Transcription Model [14.39119862985503]
  利用可能なデータセットを用いた多言語ALTシステムの構築を目指している。 英語のALTに有効であることが証明されたアーキテクチャにヒントを得て,これらの手法を多言語シナリオに適用する。 単言語モデルと比較して,多言語モデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-06-25T15:02:32Z)
• ColBERT-XM: A Modular Multi-Vector Representation Model for Zero-Shot Multilingual Information Retrieval [10.664434993386523]
  現在のアプローチは、非英語言語における高品質なラベル付きデータの欠如を回避している。 本稿では,単一の高リソース言語のリッチデータから学習するモジュール型高密度検索モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-23T02:21:24Z)
• Mitigating Data Imbalance and Representation Degeneration in Multilingual Machine Translation [103.90963418039473]
  Bi-ACLは、MNMTモデルの性能を向上させるために、ターゲット側モノリンガルデータとバイリンガル辞書のみを使用するフレームワークである。 Bi-ACLは、長い尾の言語でも、高リソースの言語でも、より効果的であることを示す。
  論文  参考訳（メタデータ） (2023-05-22T07:31:08Z)
• Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
  言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。 CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-31T18:11:21Z)
• xGQA: Cross-Lingual Visual Question Answering [100.35229218735938]
  xGQAは視覚的質問応答タスクのための新しい多言語評価ベンチマークである。 確立された英語GQAデータセットを7言語に拡張する。 本稿では,マルチモーダルトランスフォーマーモデルに適応するアダプタベースの新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:58:21Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Scalable Cross-lingual Document Similarity through Language-specific Concept Hierarchies [0.0]
  本稿では,並列あるいは同等のコーパスを必要としない教師なし文書類似性アルゴリズムを提案する。 このアルゴリズムは、文書から自動的に作成されたトピックを多言語ラベルでアノテートします。 JCR-Acquis corporaの英語、スペイン語、フランス語版で実施された実験は、同様のコンテンツによる文書の分類と分類に関する有望な結果を明らかにします。
  論文  参考訳（メタデータ） (2020-12-15T10:42:40Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)
• Structure-Level Knowledge Distillation For Multilingual Sequence Labeling [73.40368222437912]
  本稿では,複数の単言語モデルの構造的知識を統一多言語モデル(学生)に蒸留することにより,単言語モデルと統一多言語モデルとのギャップを低減することを提案する。 25のデータセットを用いた4つの多言語タスクの実験により、我々のアプローチはいくつかの強いベースラインを上回り、ベースラインモデルと教師モデルの両方よりも強力なゼロショット一般化性を有することが示された。
  論文  参考訳（メタデータ） (2020-04-08T07:14:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。