論文の概要: Cross-lingual Text Classification with Heterogeneous Graph Neural Network

• arxiv url: http://arxiv.org/abs/2105.11246v1
• Date: Mon, 24 May 2021 12:45:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 15:20:37.914034
• Title: Cross-lingual Text Classification with Heterogeneous Graph Neural Network
• Title（参考訳）: 異種グラフニューラルネットワークを用いた言語間テキスト分類
• Authors: Ziyun Wang, Xuan Liu, Peiji Yang, Shixing Liu, Zhisheng Wang
• Abstract要約: 言語間テキスト分類は、ソース言語上の分類器を訓練し、その知識を対象言語に伝達することを目的としている。 近年の多言語事前学習言語モデル (mPLM) は言語間分類タスクにおいて顕著な結果をもたらす。 言語間テキスト分類のための言語内および言語間における異種情報を統合するための,単純かつ効果的な手法を提案する。
• 参考スコア（独自算出の注目度）: 2.6936806968297913
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Cross-lingual text classification aims at training a classifier on the source language and transferring the knowledge to target languages, which is very useful for low-resource languages. Recent multilingual pretrained language models (mPLM) achieve impressive results in cross-lingual classification tasks, but rarely consider factors beyond semantic similarity, causing performance degradation between some language pairs. In this paper we propose a simple yet effective method to incorporate heterogeneous information within and across languages for cross-lingual text classification using graph convolutional networks (GCN). In particular, we construct a heterogeneous graph by treating documents and words as nodes, and linking nodes with different relations, which include part-of-speech roles, semantic similarity, and document translations. Extensive experiments show that our graph-based method significantly outperforms state-of-the-art models on all tasks, and also achieves consistent performance gain over baselines in low-resource settings where external tools like translators are unavailable.
• Abstract（参考訳）: 言語間のテキスト分類は、ソース言語上の分類器を訓練し、その知識をターゲット言語に伝達することを目的としている。 最近の多言語事前訓練言語モデル (mPLM) は言語間分類タスクにおいて顕著な結果をもたらすが、意味的類似性を超えた要因を考えることは稀であり、いくつかの言語ペア間での性能劣化を引き起こす。 本稿では,グラフ畳み込みネットワーク (GCN) を用いた言語間テキスト分類のための,言語内および言語間における異種情報の統合方法を提案する。 特に、文書や単語をノードとして扱うことで異質なグラフを構築し、音声の役割や意味的類似性、文書翻訳など、異なる関係を持つノードをリンクする。 広範な実験により,我々のグラフベース手法は,すべてのタスクにおいて最先端モデルを大幅に上回っており,トランスレータなどの外部ツールが使用できない低リソース環境において,ベースラインよりも一貫したパフォーマンス向上を実現していることが示された。

関連論文リスト

• Evaluating and explaining training strategies for zero-shot cross-lingual news sentiment analysis [8.770572911942635]
  いくつかの低リソース言語で新しい評価データセットを導入する。 我々は、機械翻訳の使用を含む、様々なアプローチを実験する。 言語間の相似性は言語間移動の成功を予測するのに十分ではないことを示す。
  論文  参考訳（メタデータ） (2024-09-30T07:59:41Z)
• GradSim: Gradient-Based Language Grouping for Effective Multilingual Training [13.730907708289331]
  勾配類似度に基づく言語グループ化手法GradSimを提案する。 3つの多言語ベンチマークデータセットに対する実験により、最大のパフォーマンス向上につながることが示された。 言語的特徴の他に、データセットのトピックは言語グループ化において重要な役割を果たす。
  論文  参考訳（メタデータ） (2023-10-23T18:13:37Z)
• T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text Classification [50.675552118811]
  言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。 本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:33:22Z)
• Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
  我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。 以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
  論文  参考訳（メタデータ） (2022-05-23T16:47:37Z)
• To Augment or Not to Augment? A Comparative Study on Text Augmentation Techniques for Low-Resource NLP [0.0]
  本稿では,構文の変更を行うテキスト拡張手法の3つのカテゴリについて検討する。 音声のタグ付けや依存性解析,セマンティックロールのラベル付けなどにおいて,多種多様な言語ファミリに対して比較を行った。 以上の結果から,mBERTに基づくベースラインの強化により,より高機能化が可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-18T10:52:48Z)
• Improving Zero-Shot Multi-Lingual Entity Linking [14.502266106371433]
  我々は、複数の言語における同言語知識ベースへの参照をリンクするように、1つのモデルが訓練される多言語エンティティリンクを考える。 テキストの多言語トランスフォーマー表現を利用して,多言語設定に容易に適用可能なニューラルネットワークローダアーキテクチャを提案する。 このアプローチを使用することで、いくつかのデータセットでのリコールが改善され、しばしば言語内のパフォーマンスにマッチする。
  論文  参考訳（メタデータ） (2021-04-16T12:50:07Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text Classification [52.69730591919885]
  本稿では,ラベル保存型入力摂動の最大損失を最小限に抑える半教師付き対向学習法を提案する。 多様な言語群に対する文書分類と意図分類において,有効性が著しく向上するのを観察する。
  論文  参考訳（メタデータ） (2020-07-29T19:38:35Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。