論文の概要: Adapters for Enhanced Modeling of Multilingual Knowledge and Text

• arxiv url: http://arxiv.org/abs/2210.13617v1
• Date: Mon, 24 Oct 2022 21:33:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 13:10:02.026552
• Title: Adapters for Enhanced Modeling of Multilingual Knowledge and Text
• Title（参考訳）: 多言語知識とテキストのモデリング強化のためのアダプタ
• Authors: Yifan Hou, Wenxiang Jiao, Meizhen Liu, Zhaopeng Tu, Carl Allen, Mrinmaya Sachan
• Abstract要約: 言語モデルは多言語言語モデル(MLLM)に拡張された。 知識グラフは、注意深いキュレーションを必要とし、少数の高リソース言語でのみ利用可能である、明示的な三重形式で事実を含む。 我々は,MLLMを多言語知識グラフ(MLKG)からの知識で拡張し,言語や知識グラフのタスクに多くの言語で取り組むことを提案する。
• 参考スコア（独自算出の注目度）: 54.02078328453149
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models appear to learn facts from the large text corpora they are trained on. Such facts are encoded implicitly within their many parameters, making it difficult to verify or manipulate what knowledge has been learned. Language models have recently been extended to multilingual language models (MLLMs), enabling knowledge to be learned across hundreds of languages. Meanwhile, knowledge graphs contain facts in an explicit triple format, which require careful and costly curation and are only available in a few high-resource languages, restricting their research and application. To address these issues, we propose to enhance MLLMs with knowledge from multilingual knowledge graphs (MLKGs) so as to tackle language and knowledge graph tasks across many languages, including low-resource ones. Specifically, we introduce a lightweight adapter set to enhance MLLMs with cross-lingual entity alignment and facts from MLKGs for many languages. Experiments on common benchmarks show that such enhancement benefits both MLLMs and MLKGs, achieving: (1) comparable or improved performance for knowledge graph completion and entity alignment relative to baselines, especially for low-resource languages (for which knowledge graphs are unavailable); and (2) improved MLLM performance on language understanding tasks that require multilingual factual knowledge; all while maintaining performance on other general language tasks.
• Abstract（参考訳）: 大きな言語モデルは、訓練された大きなテキストコーパスから事実を学ぶように見える。 このような事実は多くのパラメータに暗黙的にエンコードされるため、学習した知識の検証や操作が困難になる。 言語モデルは、最近MLLM(Multilingual Language Model)に拡張され、何百もの言語で知識を学ぶことができるようになった。 一方、知識グラフは事実を明示的な三重形式に含み、注意とコストのかかるキュレーションを必要とし、いくつかの高リソース言語でのみ利用可能であり、研究と応用を制限している。 これらの課題に対処するため,MLLMを多言語知識グラフ(MLKG)からの知識で拡張し,低リソース言語を含む多くの言語における言語および知識グラフタスクに取り組むことを提案する。 具体的には,言語間エンティティアライメントとMLKGからのファクトを多言語で実現する軽量なアダプタセットを提案する。 共通ベンチマークによる実験では、このような拡張はmllmとmlkgの両方に有益であり、(1)知識グラフ補完と、特に低リソース言語(知識グラフが使用できない言語)に対するエンティティアライメントに対する比較または改善、(2)多言語事実知識を必要とする言語理解タスクにおけるmllmの性能向上、そして、すべて他の汎用言語タスクのパフォーマンスを維持しながら達成されている。

関連論文リスト

• Adapting Multilingual LLMs to Low-Resource Languages with Knowledge Graphs via Adapters [3.7273829129985305]
  本稿では,言語から多言語大モデル(LLM)へのグラフ知識の統合について検討する。 我々は、感情分析(SA)および名前付きエンティティ認識(NER)における低リソース言語(LRL)の性能向上のために、言語固有のアダプタを使用している。 構造化グラフ知識が,SA および NER における LRL の多言語 LLM の性能に与える影響を評価する。
  論文  参考訳（メタデータ） (2024-07-01T15:56:24Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• MLaKE: Multilingual Knowledge Editing Benchmark for Large Language Models [65.10456412127405]
  MLaKEは5言語にわたる知識編集手法の適応性のベンチマークである。 MLaKEは、ウィキペディアから言語にまたがるファクトチェーンを集約し、フリーフォームとマルチチョイスの両方で質問を生成する。 MLaKEにおける既存手法の多言語知識編集の一般化能力を評価する。
  論文  参考訳（メタデータ） (2024-04-07T15:23:28Z)
• Tracing the Roots of Facts in Multilingual Language Models: Independent, Shared, and Transferred Knowledge [16.923674220979]
  本研究では,多言語言語モデル(ML-LM)が事実知識をどのように獲得し,表現するかを検討する。 ML-LMにおける事実の獲得と表現の3つのパターンを識別する。 本研究は,言語間における一貫した事実知識の維持という課題を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-03-08T10:09:57Z)
• Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
  大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。 彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
  論文  参考訳（メタデータ） (2024-02-19T15:07:32Z)
• Knowledge Based Multilingual Language Model [44.70205282863062]
  知識に基づく多言語言語モデル(KMLM)を事前学習するための新しいフレームワークを提案する。 我々は、ウィキデータ知識グラフを用いて、大量のコード切替合成文と推論に基づく多言語学習データを生成する。 生成したデータの文内構造と文間構造に基づいて,知識学習を容易にするための事前学習タスクを設計する。
  論文  参考訳（メタデータ） (2021-11-22T02:56:04Z)
• Prix-LM: Pretraining for Multilingual Knowledge Base Construction [59.02868906044296]
  複数言語による知識構築と完成のための統合フレームワークである Prix-LM を提案する。 既存の多言語KBから抽出したモノリンガルトリプルとクロスリンガルリンクの2種類の知識を利用する。 複数の言語におけるリンク予測、言語間リンク、バイリンガル語彙誘導など、標準的なエンティティ関連タスクの実験は、その効果を実証している。
  論文  参考訳（メタデータ） (2021-10-16T02:08:46Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。