論文の概要: MIMO: Multilingual Information Retrieval via Monolingual Objectives
- arxiv url: http://arxiv.org/abs/2605.31171v1
- Date: Fri, 29 May 2026 11:34:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.570766
- Title: MIMO: Multilingual Information Retrieval via Monolingual Objectives
- Title(参考訳): MIMO:モノリンガル目的語による多言語情報検索
- Abstract要約: 既存の埋め込みモデルは、主に多言語検索に最適化されている。
Miloは、ハイパフォーマンスな教師モデルの安定した英語意味空間をアンカーとして使用する2段階のフレームワークである。
Miloは既存の言語間のトレーニングベースラインを一貫して上回っている。
- 参考スコア(独自算出の注目度): 22.085658351797765
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multilingual Information Retrieval (MLIR) reflects real-world search environments in which queries and relevant documents may appear in different languages within a mixed-language corpus. However, existing embedding models are primarily optimized for Multi-Monolingual retrieval and their performance often degrades in MLIR settings. Moreover, directly applying conventional contrastive learning to MLIR can exacerbate language clustering and expose a trade-off between cross-lingual alignment and embedding uniformity. To address these limitations, we propose MIMO: Multilingual Information Retrieval via Monolingual Objectives, a two-stage framework that uses a stable English semantic space from a high-performing teacher model as an anchor. MIMO first initializes the student model's cross-lingual alignment through knowledge distillation, and then jointly optimizes distillation and cross-lingual contrastive learning to improve retrieval discrimination while preserving alignment. Extensive experiments show that MIMO consistently outperforms existing cross-lingual training baselines across various MLIR and Multi-Monolingual benchmarks. MIMO also remains competitive with off-the-shelf models of similar or larger parameter scales. Furthermore, our cross-lingual Alignment-Uniformity analysis clarifies the distinct roles of the two loss components and shows that their combination yields a favorable trade-off between alignment and uniformity.
- Abstract(参考訳): MLIR(Multilingual Information Retrieval)は、クエリと関連するドキュメントが混在するコーパス内の異なる言語に現れる現実世界の検索環境を反映する。
しかし、既存の埋め込みモデルは、主に多言語検索に最適化されており、MLIR設定では性能が劣化することが多い。
さらに、従来のコントラスト学習をMLIRに直接適用することで、言語クラスタリングが悪化し、言語間アライメントと埋め込み均一性のトレードオフを明らかにすることができる。
ハイパフォーマンスな教師モデルから安定な英語意味空間をアンカーとして利用する2段階フレームワークであるMonolingual Objectivesによる多言語情報検索を提案する。
MIMOは、まず、知識蒸留を通して学生モデルの言語間アライメントを初期化し、その後、蒸留と言語間コントラスト学習を共同で最適化し、アライメントを維持しながら、検索識別を改善する。
大規模な実験により、MIMOはMLIRとマルチモノリンガルのベンチマークで既存の言語間トレーニングベースラインを一貫して上回っていることがわかった。
MIMOは、類似またはより大きなパラメータスケールの市販モデルとの競争も継続している。
さらに,2つの損失成分の異なる役割を明らかにし,それらの組み合わせがアライメントと均一性の間に有利なトレードオフをもたらすことを示す。
関連論文リスト
- Disentangled Contrastive Learning for Zero-Shot Multilingual Dense Retrieval [18.12664959335536]
本稿では,多言語高密度検索のための非交叉型コントラスト学習(DCL)手法を提案する。
具体的には、階層的セマンティックアライメントとコントラスト学習の言語不偏に基づく、非絡み合った最適化目標を設計する。
提案手法は、その有効性と一般化能力を示すとともに、いくつかの強いベースラインを一貫して上回ります。
論文 参考訳(メタデータ) (2026-08-03T13:13:15Z) - Multilingual Refusal Alignment for Safer Large Language Models [53.64286756804503]
単言語アライメントが言語横断的に伝達されるか,トレーニング中に言語一貫性が保たれるか,一般的な知識能力とのトレードオフが生じるかを検討する。
RefusEUは、12のヨーロッパ言語をカバーする新しい拒絶アライメントデータセットであり、現在の最先端モデルを評価するための専用のテストセットを含む。
制御された直接選好最適化(DPO)実験は、2つの重要な洞察を提供する: 英語でのみモデルを整列することは、同じハーネスカテゴリであっても、言語間安全を保証するには不十分である。
論文 参考訳(メタデータ) (2026-04-24T09:29:14Z) - Improving Semantic Proximity in Information Retrieval through Cross-Lingual Alignment [26.443216883777882]
言語横断情報検索 (CLIR) が重要な研究分野として浮上している。
ほとんどの多言語検索者は、クエリと同じ言語で書かれた関連文書よりも、無関係の英語文書を優先する傾向にある。
本稿では,言語間アライメント向上を目的とした新たなトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2026-04-07T10:35:52Z) - Multi-lingual Multi-institutional Electronic Health Record based Predictive Model [13.930489950153657]
そこで本研究では,言語的アライメントを持つテキストベースのフレームワークが,数ショットの微調整による伝達学習を効果的に行うことを示す。
これは多言語多国籍ITU EHRデータセットを1つの予測モデルに集約する最初の研究である。
論文 参考訳(メタデータ) (2026-03-11T07:21:27Z) - Multilingual Self-Taught Faithfulness Evaluators [11.200203292660758]
合成多言語要約データからのみ学習するフレームワークである。
我々のフレームワークは、最先端の英語評価器や機械翻訳に基づくアプローチなど、既存のベースラインよりも改善されている。
論文 参考訳(メタデータ) (2025-07-28T12:01:59Z) - High-Dimensional Interlingual Representations of Large Language Models [65.77317753001954]
大規模言語モデル(LLM)は、多言語データセットに基づいて訓練され、言語間構造の形成を示唆する。
資源レベル, 類型, 地理的地域によって異なる31の多様な言語を探索する。
多言語 LLM は非一貫性な言語間アライメントを示す。
論文 参考訳(メタデータ) (2025-03-14T10:39:27Z) - P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P -M
P-MMEvalは、さまざまなデータセットにわたって一貫した言語カバレッジを提供し、並列サンプルを提供する。
我々は、モデルとタスク間の性能を比較するために、代表的多言語モデル系列に関する広範な実験を行う。
論文 参考訳(メタデータ) (2024-11-14T01:29:36Z) - A Multi-level Supervised Contrastive Learning Framework for Low-Resource
Natural Language Inference [54.678516076366506]
自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。
本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-31T05:54:18Z) - On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。
教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。
我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
論文 参考訳(メタデータ) (2021-12-21T08:10:27Z) - Distributionally Robust Multilingual Machine Translation [94.51866646879337]
本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。
この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。
本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
論文 参考訳(メタデータ) (2021-09-09T03:48:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。