論文の概要: On the Entity-Level Alignment in Crosslingual Consistency
- arxiv url: http://arxiv.org/abs/2510.10280v1
- Date: Sat, 11 Oct 2025 16:26:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 18:06:29.873169
- Title: On the Entity-Level Alignment in Crosslingual Consistency
- Title(参考訳): 言語横断性におけるエンティティレベルアライメントについて
- Authors: Yihong Liu, Mingyang Wang, François Yvon, Hinrich Schütze,
- Abstract要約: SubSubとSubInjは、主題の英語翻訳を言語間のプロンプトに統合し、実際のリコール精度と一貫性を大きく向上させた。
これらの介入はモデルの内部ピボット言語処理を通じて概念空間における実体表現のアライメントを強化する。
- 参考スコア(独自算出の注目度): 62.33186691736433
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multilingual large language models (LLMs) are expected to recall factual knowledge consistently across languages. However, the factors that give rise to such crosslingual consistency -- and its frequent failure -- remain poorly understood. In this work, we hypothesize that these inconsistencies may arise from failures in entity alignment, the process of mapping subject and object entities into a shared conceptual space across languages. To test this, we assess alignment through entity-level (subject and object) translation tasks, and find that consistency is strongly correlated with alignment across all studied models, with misalignment of subjects or objects frequently resulting in inconsistencies. Building on this insight, we propose SubSub and SubInj, two effective methods that integrate English translations of subjects into prompts across languages, leading to substantial gains in both factual recall accuracy and consistency. Finally, our mechanistic analysis reveals that these interventions reinforce the entity representation alignment in the conceptual space through model's internal pivot-language processing, offering effective and practical strategies for improving multilingual factual prediction.
- Abstract(参考訳): 多言語大言語モデル(LLM)は、言語間で事実的知識を一貫して呼び起こすことが期待されている。
しかし、このような言語横断的な一貫性と頻繁な失敗をもたらす要因は、まだ理解されていないままです。
本研究では、これらの矛盾は、エンティティアライメントの失敗、主題とオブジェクトエンティティを言語間で共有された概念空間にマッピングするプロセスから生じる可能性があると仮定する。
これをテストするために、エンティティレベル(オブジェクトとオブジェクト)の翻訳タスクによるアライメントを評価し、一貫性がすべての研究モデル間のアライメントと強く相関していることを確認し、被験者やオブジェクトの誤アライメントが頻繁に不整合をもたらすことを発見した。
この知見に基づいて、サブサブとサブインジという、主題の英語翻訳を言語間のプロンプトに統合する2つの効果的な手法を提案する。
最後に,これらの介入がモデル内部のピボット言語処理を通じて概念空間における実体表現のアライメントを強化し,多言語的事実予測を改善するための効果的かつ実用的な戦略を提供することを示す。
関連論文リスト
- Are Knowledge and Reference in Multilingual Language Models Cross-Lingually Consistent? [29.155049176669916]
言語間の一貫性は、言語間の伝達性を評価するために考慮すべきである。
コードスイッチングトレーニングと言語間単語アライメントの目的は、最も有望な結果を示す。
論文 参考訳(メタデータ) (2025-07-17T06:55:15Z) - High-Dimensional Interlingual Representations of Large Language Models [65.77317753001954]
大規模言語モデル(LLM)は、多言語データセットに基づいて訓練され、言語間構造の形成を示唆する。
資源レベル, 類型, 地理的地域によって異なる31の多様な言語を探索する。
多言語 LLM は非一貫性な言語間アライメントを示す。
論文 参考訳(メタデータ) (2025-03-14T10:39:27Z) - Evaluating Knowledge-based Cross-lingual Inconsistency in Large Language Models [16.942897938964638]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示している。
彼らの成功にもかかわらず、これらのモデルはしばしば異なる言語で同じ概念を処理する際に大きな矛盾を示す。
本研究は,LLMにおける言語間不整合の存在,これらの不整合が現れる特定の側面,LLMの言語間整合性と多言語機能との相関の3つの主要な疑問に焦点をあてる。
論文 参考訳(メタデータ) (2024-07-01T15:11:37Z) - Are Structural Concepts Universal in Transformer Language Models?
Towards Interpretable Cross-Lingual Generalization [27.368684663279463]
本稿では,言語間の概念対応を明確に整合させ,言語間の一般化を促進する可能性について検討する。
言語構文の側面をテストベッドとして,43言語を解析した結果,高い整合性を示した。
本稿では,メタラーニングに基づく概念空間の整合学習手法を提案する。
論文 参考訳(メタデータ) (2023-10-19T14:50:51Z) - Cross-Align: Modeling Deep Cross-lingual Interactions for Word Alignment [63.0407314271459]
提案したCross-Alignは、5つの言語ペアのうち4つで最先端(SOTA)のパフォーマンスを達成する。
実験の結果,提案したCross-Alignは5つの言語ペアのうち4つで最先端(SOTA)のパフォーマンスを達成することがわかった。
論文 参考訳(メタデータ) (2022-10-09T02:24:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。