論文の概要: Retrieval Disagreement as a Signal: Diagnosing and Steering Multilingual Dense Embedders
- arxiv url: http://arxiv.org/abs/2610.18526v1
- Date: Tue, 13 Oct 2026 15:13:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 20:53:00.032742
- Title: Retrieval Disagreement as a Signal: Diagnosing and Steering Multilingual Dense Embedders
- Title(参考訳): 信号としての検索識別:多言語密度埋め込みの診断とステアリング
- Abstract要約: 異なる言語で質問された同じ質問が、実質的に異なる文書を取得することを示す。
それぞれの言語が独自のランキングを維持していますが、共有インデックスでは、その正しい回答がはるかに下がっています。
- 参考スコア(独自算出の注目度): 48.27549268442032
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Multilingual dense retrievers place all languages in one shared space so that a question finds relevant documents, regardless of which language they are written in. We show that the same question, asked in different languages, retrieves substantially different documents, and this disagreement is not because of weak language understanding. Each language performs well on its own and ranks candidates consistently with the other languages; divergence appears only when languages share an index. We trace the mechanism: each language keeps its own ranking, but in the shared index, its correct answers are pushed far down, buried under non-relevant documents that are either in the query's own language or in English, depending on the model. We introduce disagreement-guided steering: for each language, we contrast the documents that other languages agree on for a question against those that language retrieves idiosyncratically, and take the difference of their representations as a language-specific direction, added to that language's queries at inference. Against baselines of language-mean removal, subspace removal, and per-language rotation, it most strongly reduces same-language crowding while remaining competitive on recall, trading off against mean removal, which better preserves ranking quality.
- Abstract(参考訳): 多言語密集した検索者は、どの言語で書かれたかに関わらず、質問が関連する文書を見つけるように、すべての言語を1つの共有空間に配置する。
異なる言語で質問された同じ質問が、実質的に異なる文書を検索することを示し、この不一致は、言語理解の弱さによるものではない。
各言語は単独でよく機能し、候補を他の言語と一貫してランク付けする。
それぞれの言語が独自のランキングを維持していますが、共有インデックスでは、その正しい回答は、クエリ自身の言語であるか、あるいはモデルによって英語である非関連文書の下に埋められています。
我々は、各言語について、他の言語が一致している文書を、言語が慣用的に検索する文書と対比し、それらの表現の差を言語固有の方向として、推論時にその言語のクエリに追加する。
言語平均の除去、部分空間の除去、言語毎のローテーションのベースラインに反して、リコール時に競争力を維持しながら、平均的な除去と引き換えに、同言語での混雑を強く低減し、ランキング品質をよりよく維持する。
関連論文リスト
- Where's Waldo? Query-language Preference under Cross-lingual Knowledge Disparities [22.56705357506155]
大規模言語モデルは、言語全体にわたるタスクを求める知識集約的な情報のためのインターフェースとして、ますます機能する。
ウィキペディアで構築された多言語質問回答(QA)ベンチマークであるWaldoを紹介する。
ある言語版が単に関連する事実を欠いている場合、モデルは一般的に他の言語からの証拠を使用する。
論文 参考訳(メタデータ) (2026-09-30T19:11:19Z) - LAMAR: An Open Language-Aware Multilingual Alignment Reranker [24.064060212702838]
マルチランガル・リランカはクエリと同じ言語で書かれた文書を常に優先しないことを示す。
意味的関連性と言語コヒーレンスの両方を考慮するために訓練された多言語クロスエンコーダであるLAMARをリリースする。
論文 参考訳(メタデータ) (2026-07-24T07:11:42Z) - MLAIRE: Multilingual Language-Aware Information Retrieval Evaluation Protocal [26.186599286240362]
MLAIREは多言語対応情報検索評価プロトコルである。
クエリ言語嗜好から言語間セマンティック検索を分離する。
標準メトリクスが明らかに異なる振る舞いを示す。
論文 参考訳(メタデータ) (2026-05-08T05:10:05Z) - LANGSAE EDITING: Improving Multilingual Information Retrieval via Post-hoc Language Identity Removal [34.73949500194166]
多言語埋め込みは、セマンティクスと共に言語アイデンティティをエンコードする。
本稿では,プール埋め込みを訓練したポストホックスパースオートエンコーダであるLangSAE EDIINGを提案する。
複数の言語にわたる実験では、ランキング品質と言語間カバレッジが一貫して改善されている。
論文 参考訳(メタデータ) (2026-01-08T09:36:41Z) - Linguistic Nepotism: Trading-off Quality for Language Preference in Multilingual RAG [55.258582772528506]
異なる文書言語の混合が意図しない方法で生成と引用に影響を及ぼすかどうかを検討する。
8つの言語と6つのオープンウェイトモデルにまたがって、クエリが英語である場合、モデルは優先的に英語ソースを引用する。
モデルが言語嗜好のトレードオフ文書関連性を示すことがあり、引用選択が情報のみによって常に駆動されるわけではないことが分かる。
論文 参考訳(メタデータ) (2025-09-17T12:58:18Z) - The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。
学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。
分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
論文 参考訳(メタデータ) (2024-04-11T17:58:05Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳(メタデータ) (2020-04-30T16:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。