論文の概要: Language Models' Factuality Depends on the Language of Inquiry

• arxiv url: http://arxiv.org/abs/2502.17955v1
• Date: Tue, 25 Feb 2025 08:27:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:23:22.852764
• Title: Language Models' Factuality Depends on the Language of Inquiry
• Title（参考訳）: 言語モデルのファクチュアリティは問合せ言語に依存する
• Authors: Tushar Aggarwal, Kumar Tanmay, Ayush Agrawal, Kumar Ayush, Hamid Palangi, Paul Pu Liang,
• Abstract要約: 13言語にまたがる1万の国関連事実のベンチマークを導入する。 本稿では,Factual Recall Score, Knowledge Transferability Score, Cross-Lingual Factual Knowledge Transferability Scoreの3つの新しい指標を提案する。 我々の結果は、今日の最先端のLMの根本的な弱点を明らかにします。
• 参考スコア（独自算出の注目度）: 36.466186024957075
• License:
• Abstract: Multilingual language models (LMs) are expected to recall factual knowledge consistently across languages, yet they often fail to transfer knowledge between languages even when they possess the correct information in one of the languages. For example, we find that an LM may correctly identify Rashed Al Shashai as being from Saudi Arabia when asked in Arabic, but consistently fails to do so when asked in English or Swahili. To systematically investigate this limitation, we introduce a benchmark of 10,000 country-related facts across 13 languages and propose three novel metrics: Factual Recall Score, Knowledge Transferability Score, and Cross-Lingual Factual Knowledge Transferability Score-to quantify factual recall and knowledge transferability in LMs across different languages. Our results reveal fundamental weaknesses in today's state-of-the-art LMs, particularly in cross-lingual generalization where models fail to transfer knowledge effectively across different languages, leading to inconsistent performance sensitive to the language used. Our findings emphasize the need for LMs to recognize language-specific factual reliability and leverage the most trustworthy information across languages. We release our benchmark and evaluation framework to drive future research in multilingual knowledge transfer.
• Abstract（参考訳）: 多言語言語モデル(LM)は、言語間で事実的知識を一貫して呼び起こすことが期待されているが、言語の1つに正しい情報を持っている場合でも、言語間での知識の伝達に失敗することが多い。 例えば、ラシュ・アル・シャシャイ(英語版)はアラビア語で尋ねられたときサウジアラビア出身であると正しく識別できるが、英語やスワヒリ語で尋ねられたときは常にそうはならない。 この制限を体系的に検討するため、13言語にまたがる1万の国関連の事実のベンチマークを導入し、異なる言語にまたがるLMにおけるファクチュアルリコールスコア、ナレッジトランスファービリティスコア、およびクロスリンガル・ファクチュアル・ファクチュアル・ナレッジトランスファービリティスコアの3つの新しい指標を提案する。 特に言語間一般化では、モデルが異なる言語間で知識を効果的に伝達できないため、使用する言語に敏感な不整合性能をもたらす。 本研究は,言語固有の事実の信頼性を認識し,言語間で最も信頼できる情報を活用するためのLMの必要性を強調した。 我々は,多言語知識伝達の今後の研究を推進するためのベンチマークと評価フレームワークをリリースする。

関連論文リスト

• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Tracing the Roots of Facts in Multilingual Language Models: Independent, Shared, and Transferred Knowledge [16.923674220979]
  本研究では,多言語言語モデル(ML-LM)が事実知識をどのように獲得し,表現するかを検討する。 ML-LMにおける事実の獲得と表現の3つのパターンを識別する。 本研究は,言語間における一貫した事実知識の維持という課題を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-03-08T10:09:57Z)
• Language Representation Projection: Can We Transfer Factual Knowledge across Languages in Multilingual Language Models? [48.88328580373103]
  パラメータフリーの$textbfL$anguage $textbfR$epresentation $textbfP$rojection Module (LRP2)を提案する。 第1のモジュールは非英語の表現を英語のような同値に変換し、第2のモジュールは英語のような表現を対応する非英語の表現に戻す。 mLAMAデータセットによる実験結果から,LRP2は事実知識検索の精度を大幅に向上し,多種多様な非英語言語間の知識伝達を容易にすることが示された。
  論文  参考訳（メタデータ） (2023-11-07T08:16:16Z)
• Cross-Lingual Consistency of Factual Knowledge in Multilingual Language Models [2.6626950367610402]
  本研究では,多言語PLMにおける事実知識の言語間整合性(CLC)について検討する。 本稿では,言語間の知識一貫性を精度から独立して評価するために,ランク付けに基づく一貫性尺度(RankC)を提案する。
  論文  参考訳（メタデータ） (2023-10-16T13:19:17Z)
• Cross-Lingual Knowledge Editing in Large Language Models [73.12622532088564]
  知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。 ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。 まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。
  論文  参考訳（メタデータ） (2023-09-16T11:07:52Z)
• Adapters for Enhanced Modeling of Multilingual Knowledge and Text [54.02078328453149]
  言語モデルは多言語言語モデル(MLLM)に拡張された。 知識グラフは、注意深いキュレーションを必要とし、少数の高リソース言語でのみ利用可能である、明示的な三重形式で事実を含む。 我々は,MLLMを多言語知識グラフ(MLKG)からの知識で拡張し,言語や知識グラフのタスクに多くの言語で取り組むことを提案する。
  論文  参考訳（メタデータ） (2022-10-24T21:33:42Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。