論文の概要: AlignXIE: Improving Multilingual Information Extraction by Cross-Lingual Alignment

• arxiv url: http://arxiv.org/abs/2411.04794v1
• Date: Thu, 07 Nov 2024 15:36:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:40:23.816674
• Title: AlignXIE: Improving Multilingual Information Extraction by Cross-Lingual Alignment
• Title（参考訳）: AlignXIE: 言語間アライメントによる多言語情報抽出の改善
• Authors: Yuxin Zuo, Wenxuan Jiang, Wenxuan Liu, Zixuan Li, Long Bai, Hanbin Wang, Yutao Zeng, Xiaolong Jin, Jiafeng Guo, Xueqi Cheng,
• Abstract要約: AlignXIEは、様々な言語、特に非英語のIEをコード生成タスクとして定式化している。 翻訳されたインスタンス予測タスクを通じてIEの言語間アライメントフェーズを組み込む。 ChatGPTを$30.17%、SoTAを$20.03%上回ることで、言語横断IEの優れた機能を実現している。
• 参考スコア（独自算出の注目度）: 62.69772800910482
• License:
• Abstract: Empirical evidence suggests that LLMs exhibit spontaneous cross-lingual alignment. Our findings suggest that although LLMs also demonstrate promising cross-lingual alignment in Information Extraction, there remains significant imbalance across languages, revealing an underlying deficiency in the IE alignment. To address this issue, we propose AlignXIE, a powerful code-based LLM that significantly enhances cross-lingual IE alignment through two strategies. Firstly, AlignXIE formulates IE across different languages, especially non-English ones, as code generation tasks, standardizing the representation of various schemas using Python classes to ensure consistency of the same ontology in different languages and align the schema. Secondly, it incorporates an IE cross-lingual alignment phase through a translated instance prediction task proposed in this paper to align the extraction process, utilizing ParallelNER, an IE bilingual parallel dataset with 257,190 samples, generated by our proposed LLM-based automatic pipeline for IE parallel data construction, with manual annotation to ensure quality. Ultimately, we obtain AlignXIE through multilingual IE instruction tuning. Although without training in 9 unseen languages, AlignXIE surpasses ChatGPT by $30.17\%$ and SoTA by $20.03\%$, thereby demonstrating superior cross-lingual IE capabilities. Comprehensive evaluations on 63 IE benchmarks in Chinese and English under various settings, demonstrate that AlignXIE significantly enhances cross-lingual and multilingual IE through boosting the IE alignment.
• Abstract（参考訳）: 実証的な証拠は、LLMが自然に言語間アライメントを示すことを示唆している。 以上の結果から,LLMは情報抽出において有望な言語間アライメントを示すが,言語間では大きな不均衡がみられ,IEアライメントの根底にある欠陥が明らかとなった。 この問題に対処するため、我々は2つの戦略を通じて言語間IEアライメントを大幅に強化する強力なコードベースのLLMであるAlignXIEを提案する。 まず、AlignXIEは異なる言語、特に非英語のIEをコード生成タスクとして定式化し、Pythonクラスを使用して様々なスキーマの表現を標準化し、異なる言語における同じオントロジーの整合性を確保し、スキーマを整列させる。 第2に,本論文では,IE並列データ構築のためのLLMベースの自動パイプラインから生成した257,190個のサンプルを持つIEバイリンガル並列データセットであるParallelNERを用いて,抽出プロセスの整合性を確保するために,翻訳されたインスタンス予測タスクを通じてIEクロスリンガルアライメントフェーズを組み込んだ。 最終的に、多言語IE命令チューニングによりAlignXIEを得る。 9つの未確認言語でトレーニングを受けることなく、AlignXIEはChatGPTを$30.17\%、SoTAを$20.03\%で上回り、IEの優れた言語間通信能力を発揮する。 中国語と英語の63のIEベンチマークに関する総合的な評価は、AlignXIEがIEアライメントを強化することによって、言語横断IEと多言語IEを大幅に強化することを示している。

関連論文リスト

• Extrapolating Large Language Models to Non-English by Aligning Languages [109.09051737966178]
  既存の大きな言語モデルは、異なる言語間で異なる能力を示す。 本稿では,言語間のセマンティックアライメントを構築することで,英語以外の言語に事前学習したLLMを強化する。
  論文  参考訳（メタデータ） (2023-08-09T13:32:06Z)
• CodeIE: Large Code Generation Models are Better Few-Shot Information Extractors [92.17328076003628]
  大規模コーパスで事前訓練された大規模言語モデル(LLM)は、多くのNLPタスクにおいて、驚くべき数ショットの学習能力を示している。 本稿では、自然言語の代わりに構造化された出力をコード形式で再キャストすることを提案する。
  論文  参考訳（メタデータ） (2023-05-09T18:40:31Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。