Fugu-MT 論文翻訳(概要): Parameter-Efficient Retrievers for Polish and European Languages

論文の概要: Parameter-Efficient Retrievers for Polish and European Languages

arxiv url: http://arxiv.org/abs/2609.12913v2
Date: Wed, 16 Sep 2026 13:00:32 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-20 08:55:53.390337
Title: Parameter-Efficient Retrievers for Polish and European Languages
Title（参考訳）: ポーランド語とヨーロッパ語のためのパラメータ効率の良いレトリバー
Abstract要約: 本稿では,コンパクトかつ効率的なレトリバー開発のための3段階トレーニングパイプラインを提案する。このパイプラインは、言語間のアライメント、関係知識の蒸留、および対照的な微調整を組み合わせたものである。 PolDenseとEuroDenseを開発し、最大8,192個のトークンのコンテキストをサポートする。
参考スコア（独自算出の注目度）: 0.018947288891217693
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Dense retrieval systems increasingly rely on multi-billion-parameter language models, whose memory and computational requirements make large-scale indexing, frequent corpus updates, and low-latency serving costly. We present a three-stage training pipeline for developing compact and efficient retrievers that remain competitive with substantially larger models. The pipeline combines cross-lingual alignment, relational knowledge distillation, and contrastive fine-tuning. It requires no original ground-truth relevance labels, relying exclusively on supervision generated by strong embedding models and rerankers utilised as teachers. Using this pipeline, we develop PolDense and EuroDense, both supporting contexts of up to 8,192 tokens. PolDense is a family of six Polish retrievers ranging from 17M to 1B parameters. EuroDense is a 435M-parameter retriever supporting nine European languages. We conduct an extensive evaluation covering 41 Polish and 150 multilingual retrieval tasks. The results demonstrate strong quality-efficiency trade-offs. PolDense-1B outperforms the evaluated retrievers with up to 9B parameters, while the PolDense family forms the Pareto frontier across model sizes. Among the evaluated models below 1B parameters, EuroDense ranks first in both task-averaged and language-averaged performance and leads in seven of nine languages. We release all models publicly.
Abstract（参考訳）: デンス検索システムは、大規模な索引付け、頻繁なコーパス更新、低レイテンシサービスにメモリと計算の要求があるマルチビリオンパラメータ言語モデルにますます依存している。より大規模なモデルと競合するコンパクトで効率的なレトリバーを開発するための3段階のトレーニングパイプラインを提案する。このパイプラインは、言語間のアライメント、関係知識の蒸留、および対照的な微調整を組み合わせたものである。厳格な埋め込みモデルと教師として活用されたリランカーによって生成される監督にのみ依存している。このパイプラインを使用して、最大8,192トークンのコンテキストをサポートするPolDenseとEuroDenseを開発します。 PolDenseは17Mから1Bまでのポーランドのレトリバーのファミリーである。 EuroDenseはヨーロッパの9つの言語をサポートする435Mパラメーターレトリバーである。我々は、41のポーランド語および150の多言語検索タスクをカバーする広範囲な評価を行う。その結果、高い品質効率のトレードオフが示された。 PolDense-1Bは評価されたレトリバーを最大9Bパラメータで上回り、PolDenseファミリーはモデルサイズでParetoフロンティアを形成する。 1Bパラメータ以下の評価モデルの中で、EuroDenseはタスク平均と言語平均の両方のパフォーマンスで第1位であり、9言語のうち7言語でリードしている。すべてのモデルを公開しています。

関連論文リスト

DenseOn with the LateOn: Fully Open Dense and Late-Interaction Models for Multilingual, Long-Context, and Code Search [2.0669978569487384]
英語の教師が翻訳学習を通して多言語検索にどのように移行するかを示す。我々はまず、34の公開ソースにわたる1.4Bペアから665万の英語コントラスト事前学習ペアを再構築し、キュレートした。検証された英語データを8言語に翻訳し、2.8B対の言語間サンプルを生成する。
論文参考訳（メタデータ） (2026-07-29T17:50:51Z)
Llama-GENBA-10B: A Trilingual Large Language Model for German, English and Bavarian [0.7039577044513267]
Llama-GENBA-10Bは、大きな言語モデルにおける英語中心バイアスに対処する三言語基礎モデルである。 164Bトークン(82B英語、82Bドイツ語、80Mバイエルン語)で継続的に事前訓練されている。
論文参考訳（メタデータ） (2025-09-06T10:12:52Z)
Seed-X: Building Strong Multilingual Translation LLM with 7B Parameters [53.59868121093848]
7Bパラメータサイズを持つオープンソースの言語モデル(LLM)のファミリーであるSeed-Xを紹介する。ベースモデルは、28言語にわたるモノリンガルコンテンツとバイリンガルコンテンツの両方を含む、多種多様な高品質データセットで事前訓練されている。その後、インストラクションモデルは、Chain-of-Thought(CoT)推論によって翻訳され、強化学習(RL)によりさらに強化され、多様な言語対をまたいだより良い一般化が達成される。
論文参考訳（メタデータ） (2025-07-18T03:19:43Z)
Optimized Text Embedding Models and Benchmarks for Amharic Passage Retrieval [49.1574468325115]
トレーニング済みのAmharic BERTとRoBERTaのバックボーンをベースとした,Amharic固有の高密度検索モデルを提案する。提案したRoBERTa-Base-Amharic-Embedモデル(110Mパラメータ)は,MRR@10の相対的な改善を17.6%達成する。 RoBERTa-Medium-Amharic-Embed (42M)のようなよりコンパクトな派生型は13倍以上小さいまま競争力を維持している。
論文参考訳（メタデータ） (2025-05-25T23:06:20Z)
SLAM: Towards Efficient Multilingual Reasoning via Selective Language Alignment [78.4550589538805]
本稿では,多言語性を扱うレイヤを正確に識別し,微調整する,効率的な多言語推論アライメント手法を提案する。実験の結果, SLAM法は7Bおよび13BLLMのパラメータの6.5-8%を含む6層のフィードフォワードサブ層のみをチューニングできることがわかった。
論文参考訳（メタデータ） (2025-01-07T10:29:43Z)
Benchmarks Underestimate the Readiness of Multi-lingual Dialogue Agents [39.92509218078164]
テキスト内学習が多言語TODに取り組むのに十分であることを示す。我々は、中国語、英語、フランス語、韓国語、ヒンディー語、およびコードミキシングされたヒンディー語に12のドメインを持つ多言語TODデータセットX-RiSAWOZのアプローチを検証した。
論文参考訳（メタデータ） (2024-05-28T05:33:13Z)
Benchmarking the Performance of Pre-trained LLMs across Urdu NLP Tasks [0.9786690381850356]
本研究では、22のデータセットと13.8時間の発話をゼロショット環境で使用し、17のタスクにまたがる7つの顕著なLarge Language Model (LLM)を詳細に検討し、その性能を最先端(SOTA)モデルと比較した。この結果から,Llama 3.1-8Bのようなより少ないパラメータを持つモデルでは,GPT-3.5のような言語多様性の低いモデルよりも,よりリッチな言語特化データの方が優れていることが示唆された。
論文参考訳（メタデータ） (2024-05-24T11:30:37Z)
Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
論文参考訳（メタデータ） (2023-10-31T08:09:20Z)
Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文参考訳（メタデータ） (2021-12-20T16:52:35Z)
FPM: A Collection of Large-scale Foundation Pre-trained Language Models [0.0]
私たちは現在の効果的なモデル構造を使用して、現在の最も主流な技術を通じてモデルセットをローンチします。将来的にはこれが基本モデルになると思います。
論文参考訳（メタデータ） (2021-11-09T02:17:15Z)
Harnessing Multilinguality in Unsupervised Machine Translation for Rare Languages [48.28540903568198]
マルチリンガル性は低リソース環境において教師なしシステムの実現に不可欠であることを示す。我々は,5つの低リソース言語(グジャラート語,カザフ語,ネパール語,シンハラ語,トルコ語)について,英語方向と英語方向の単一モデルを提案する。我々は、これらの言語の現在最先端の教師なしベースラインを全て上回り、最大14.4BLEUのゲインを得る。
論文参考訳（メタデータ） (2020-09-23T15:07:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。