論文の概要: Where's Waldo? Query-language Preference under Cross-lingual Knowledge Disparities
- arxiv url: http://arxiv.org/abs/2610.00606v1
- Date: Wed, 30 Sep 2026 19:11:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.726536
- Title: Where's Waldo? Query-language Preference under Cross-lingual Knowledge Disparities
- Title(参考訳): Waldoは何処にあるのか? 言語間知識の相違によるクエリ言語による選好
- Abstract要約: 大規模言語モデルは、言語全体にわたるタスクを求める知識集約的な情報のためのインターフェースとして、ますます機能する。
ウィキペディアで構築された多言語質問回答(QA)ベンチマークであるWaldoを紹介する。
ある言語版が単に関連する事実を欠いている場合、モデルは一般的に他の言語からの証拠を使用する。
- 参考スコア(独自算出の注目度): 22.56705357506155
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models increasingly serve as interfaces for knowledge-intensive information seeking tasks across languages by synthesizing multilingual evidence. Prior work has shown that they often exhibit query-language preference -- the tendency to favor sources written in the language of the query -- but has largely examined this behavior in settings where equivalent knowledge is available across languages. However, this bias becomes consequential when sources in different languages provide incomplete or inconsistent accounts of the same fact, since the information users receive then depends on the sources a model selects to use. To characterize query-language preference under such cross-lingual knowledge disparities, we introduce Waldo, a multilingual Question-Answering (QA) benchmark constructed from Wikipedia. Waldo contains 12K QA pairs targeting knowledge gaps, where a fact is available in one language but absent in another, and knowledge conflicts, where language editions provide conflicting versions of the same fact. Evaluating eight models across five languages, we find that when one language edition merely lacks the relevant fact, models generally use evidence from the other language regardless of the query language. Under conflicting accounts, however, model responses strongly align with the document in the query language, causing semantically equivalent queries to elicit different accounts depending on the user's language. Finally, we explore two different approaches that could mitigate this preference under knowledge conflicts: a mechanistic intervention that ablates attention heads associated with query-language preference, and LoRA-based training, which reduces the preference gap by up to 61.5%.
- Abstract(参考訳): 大規模言語モデルは、多言語的証拠を合成することによって、言語全体にわたるタスクを求める知識集約的な情報のインターフェースとして機能するようになっている。
以前の研究では、クエリ言語で書かれたソースを好む傾向にある、クエリ言語の好みを示すことが多かったが、言語間で同等の知識が利用できるような環境で、この振る舞いを概ね検討している。
しかし、このバイアスは、異なる言語のソースが同じ事実の不完全または一貫性のないアカウントを提供する場合、それは、ユーザが受け取る情報がモデルが使用するソースに依存するためである。
このような言語間知識格差下でのクエリ言語嗜好を特徴付けるため、ウィキペディアで構築された多言語質問回答(QA)ベンチマークであるWaldoを紹介した。
Waldoには、知識ギャップをターゲットとした12KのQAペアがあり、ひとつの言語で事実が利用可能だが、別の言語では欠落している。
5言語にまたがる8つのモデルを評価すると、1つの言語版が単に関連する事実を欠いている場合、モデルは通常、クエリ言語に関係なく、他の言語からのエビデンスを使用する。
しかし、矛盾するアカウントの下では、モデル応答はクエリ言語のドキュメントと強く一致し、意味的に等価なクエリがユーザーの言語によって異なるアカウントを引き出す。
最後に、知識衝突下でこの嗜好を緩和できる2つの異なるアプローチを探求する。クエリ言語嗜好に関連する注意を喚起する機械的介入と、LoRAベースのトレーニングにより、嗜好ギャップを最大61.5%削減する。
関連論文リスト
- Building Multilingual Bridges: Data Mixing as the Pillar of Generalization for In-Language Reasoning [75.46846056993418]
推論言語モデルは、それらが引き起こされる言語に関係なく、主に英語で理にかなっている。
これは、英語を話さないユーザにとってアクセス不能であり、元の質問の意図を失うリスクがあり、ターゲット言語でより容易に表現される知識を忘れてしまう。
本研究では,L2推論を推進し,ユーザのプロンプトの言語でモデルが一貫した推論を行えるようにし,プロンプトと応答の間に言語内ブリッジを構築する。
論文 参考訳(メタデータ) (2026-09-09T16:56:25Z) - Location Not Found: Exposing Implicit Local and Global Biases in Multilingual LLMs [35.2977350485249]
この研究は、局所的曖昧な質問に答えることによって、モデルの言語内および言語内バイアスを定量化することを目的としている。
12言語で2,156の質問を含むテストセットであるLocQAを提案する。
我々は、英語以外の言語でモデルが質問される場合であっても、米国地域に関連する回答に対する世界的偏見を示す。
言語内において、複数の局所が同じ言語に関連がある場合、モデルが人口統計確率エンジンとして機能し、より人口の多い局所を優先することを示す。
論文 参考訳(メタデータ) (2026-04-21T09:57:41Z) - Linguistic Nepotism: Trading-off Quality for Language Preference in Multilingual RAG [55.258582772528506]
異なる文書言語の混合が意図しない方法で生成と引用に影響を及ぼすかどうかを検討する。
8つの言語と6つのオープンウェイトモデルにまたがって、クエリが英語である場合、モデルは優先的に英語ソースを引用する。
モデルが言語嗜好のトレードオフ文書関連性を示すことがあり、引用選択が情報のみによって常に駆動されるわけではないことが分かる。
論文 参考訳(メタデータ) (2025-09-17T12:58:18Z) - Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。
しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか?
本研究は,言語横断的タスクにおける最先端LLMの評価である。
論文 参考訳(メタデータ) (2024-06-23T15:15:17Z) - Investigating Information Inconsistency in Multilingual Open-Domain
Question Answering [18.23417521199809]
検索バイアスに着目した多言語開領域質問応答モデルの振る舞いを解析する。
言語間での文書の内容の違いは、文化的な相違や社会的偏見を反映しているのではないかと推測する。
論文 参考訳(メタデータ) (2022-05-25T02:58:54Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳(メタデータ) (2021-04-17T20:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。