論文の概要: MT4CrossOIE: Multi-stage Tuning for Cross-lingual Open Information Extraction

• arxiv url: http://arxiv.org/abs/2308.06552v2
• Date: Wed, 20 Sep 2023 14:37:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-21 18:35:04.258893
• Title: MT4CrossOIE: Multi-stage Tuning for Cross-lingual Open Information Extraction
• Title（参考訳）: mt4crossoie: 言語間情報抽出のための多段チューニング
• Authors: Tongliang Li, Zixiang Wang, Linzheng Chai, Jian Yang, Jiaqi Bai, Yuwei Yin, Jiaheng Liu, Hongcheng Guo, Liqun Yang, Hebboul Zine el-abidine, Zhoujun Li
• Abstract要約: 言語横断的オープン情報抽出は,複数の言語にまたがる原文から構造化された情報を抽出することを目的としている。 以前の作業では、異なる言語を扱うために、共通言語間の事前訓練モデルを使用していたが、言語固有の表現の可能性を過小評価している。 MT4CrossIEという,言語間オープン情報抽出の効率化を目的とした,効果的な多段階チューニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 38.88339164947934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-lingual open information extraction aims to extract structured information from raw text across multiple languages. Previous work uses a shared cross-lingual pre-trained model to handle the different languages but underuses the potential of the language-specific representation. In this paper, we propose an effective multi-stage tuning framework called MT4CrossIE, designed for enhancing cross-lingual open information extraction by injecting language-specific knowledge into the shared model. Specifically, the cross-lingual pre-trained model is first tuned in a shared semantic space (e.g., embedding matrix) in the fixed encoder and then other components are optimized in the second stage. After enough training, we freeze the pre-trained model and tune the multiple extra low-rank language-specific modules using mixture-of-LoRAs for model-based cross-lingual transfer. In addition, we leverage two-stage prompting to encourage the large language model (LLM) to annotate the multi-lingual raw data for data-based cross-lingual transfer. The model is trained with multi-lingual objectives on our proposed dataset OpenIE4++ by combing the model-based and data-based transfer techniques. Experimental results on various benchmarks emphasize the importance of aggregating multiple plug-in-and-play language-specific modules and demonstrate the effectiveness of MT4CrossIE in cross-lingual OIE\footnote{\url{https://github.com/CSJianYang/Multilingual-Multimodal-NLP}}.
• Abstract（参考訳）: 言語間オープン情報抽出は,複数言語にわたる原文から構造化された情報を抽出することを目的としている。 以前の作業では、異なる言語を扱うために、共通言語間の事前訓練モデルを使用していたが、言語固有の表現の可能性を過小評価している。 本稿では,言語固有の知識を共有モデルに注入することにより,言語間情報抽出の促進を目的とした,mt4crossieと呼ばれる効果的なマルチステージチューニングフレームワークを提案する。 具体的には、言語間事前学習モデルは、まず固定エンコーダ内の共有意味空間(例えば埋め込み行列)で調整され、次に第2段階で他のコンポーネントが最適化される。 十分なトレーニングの後、事前学習されたモデルを凍結し、モデルベースの言語間移動のための混合LoRAを用いて複数の低ランク言語固有のモジュールをチューニングする。 さらに,2段階のプロンプトを利用して,多言語生データをデータベース言語間転送にアノテートすることを大言語モデル(llm)に促す。 このモデルは,提案したデータセットOpenIE4++上で,モデルベースおよびデータベース転送技術を組み合わせて,多言語で学習する。 様々なベンチマークの実験結果は、複数のプラグインとプレイ言語固有のモジュールを集約することの重要性を強調し、OIE\footnote{\url{https://github.com/CSJianYang/Multilingual-Multimodal-NLP}}におけるMT4CrossIEの有効性を示した。

関連論文リスト

• Distilling Efficient Language-Specific Models for Cross-Lingual Transfer [75.32131584449786]
  多言語変換器(MMT)は多言語間変換学習に広く用いられている。 MMTの言語カバレッジは、モデルサイズ、推論時間、エネルギ、ハードウェアコストの点で、必要以上にコストがかかる。 本稿では,MMTから圧縮された言語固有のモデルを抽出し,言語間移動のための元のMTのキャパシティを保持することを提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:31:52Z)
• Multilingual Multimodal Learning with Machine Translated Text [27.7207234512674]
  英語のマルチモーダルデータの機械翻訳が、容易に利用できる多言語データの欠如を抑えるための効果的なプロキシとなるかどうかを考察する。 得られたデータセットからそのような翻訳を自動的に除去する2つの指標を提案する。 In experiment on five task across 20 languages in the IGLUE benchmark, we show that translated data can provide a useful signal for multilingual multimodal learning。
  論文  参考訳（メタデータ） (2022-10-24T11:41:20Z)
• Cross-View Language Modeling: Towards Unified Cross-Lingual Cross-Modal Pre-training [21.017471684853987]
  言語間およびモーダル間の事前学習を統一する,シンプルで効果的な事前学習フレームワークであるクロスビュー言語モデリングを導入する。 我々のアプローチは、言語横断とモーダル横断の事前学習が、同じオブジェクトの2つの異なるビューを共通の意味空間に整合させることで同じ目標を共有するという重要な観察によって動機付けられている。 CLMは、ゼロショットのクロスランガル転送により、代表的英語ビジョン言語モデルの翻訳テスト性能を上回る最初のマルチランガル・マルチモーダル事前訓練モデルである。
  論文  参考訳（メタデータ） (2022-06-01T16:45:24Z)
• Cross-Lingual Text Classification with Multilingual Distillation and Zero-Shot-Aware Training [21.934439663979663]
  多言語事前学習言語モデル(MPLM)に基づくマルチブランチ多言語言語モデル(MBLM) 教師学習フレームワークを用いた高性能単言語モデルからの知識の伝達に基づく方法 2つの言語横断型分類タスクの結果から,MPLMの教師付きデータのみを用いることで,教師付き性能とゼロショット性能が向上することが示された。
  論文  参考訳（メタデータ） (2022-02-28T09:51:32Z)
• A Multilingual Bag-of-Entities Model for Zero-Shot Cross-Lingual Text Classification [16.684856745734944]
  ゼロショット言語間テキスト分類の性能を向上する多言語バッグ・オブ・エンティリティモデルを提案する。 同じ概念を表す複数の言語のエンティティは、ユニークな識別子で定義される。 したがって、リソース豊富な言語のエンティティ機能に基づいて訓練されたモデルは、他の言語に直接適用することができる。
  論文  参考訳（メタデータ） (2021-10-15T01:10:50Z)
• Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking [84.50302759362698]
  我々は、事前訓練された多言語モデルの中間微調整により、伝達学習プロセスを強化する。 我々は、パラレルおよび会話型の映画字幕データセットを使用して、言語間中間タスクを設計する。 パラレルなMultiWoZデータセットとMultilingual WoZデータセットの精度を20%向上させる。
  論文  参考訳（メタデータ） (2021-09-28T11:22:38Z)
• UC2: Universal Cross-lingual Cross-modal Vision-and-Language Pre-training [52.852163987208826]
  UC2は、言語間クロスモーダル表現学習のための最初の機械翻訳拡張フレームワークである。 Masked Region-token Modeling (MRTM) と Visual Translation Language Modeling (VTLM) の2つの新しいプリトレーニングタスクを提案する。 提案手法は,英語タスクにおける単言語学習モデルと同等の性能を維持しつつ,多種多様な非英語ベンチマークで新たな最先端を実現する。
  論文  参考訳（メタデータ） (2021-04-01T08:30:53Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。