論文の概要: Yalda-Embedding: Open Development of a Competitive Persian Retrieval Model

• arxiv url: http://arxiv.org/abs/2610.32933v1
• Date: Fri, 23 Oct 2026 17:30:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.621363
• Title: Yalda-Embedding: Open Development of a Competitive Persian Retrieval Model
• Title（参考訳）: Yalda-Embedding: 競争力のあるペルシャ検索モデルのオープン開発
• Abstract要約: Yalda Embeddingは100万以上のクエリドキュメントペアを使用してQwen3-Embedding-0.6Bから適応されている。 FaMTEBから8つのペルシャ検索タスクにおいて、評価された0.6Bモデルの中では最も高いマクロ平均を達成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite advances in multilingual text representations, effective dense retrieval for Persian remains constrained by the limited availability of language-specific training resources and compact embedding models. We present Yalda Embedding, a 595.8-million-parameter Persian retrieval model adapted from Qwen3-Embedding-0.6B using more than one million query-document pairs. On eight Persian retrieval tasks from FaMTEB, the model achieves the highest macro-average among the evaluated 0.6B models, scoring 0.5488 and outperforming Qwen3-Embedding-0.6B and F2LLM-v2-0.6B on every task. It also approaches Qwen3-Embedding-4B, winning on four tasks, tying on one, and trailing by 0.0075 in macro-average. An incremental ablation study examines contrastive batch size, optimization stabilization, and relational knowledge distillation from F2LLM-v2-8B. Under the one-epoch training setup, contrastive fine-tuning alone yields a modest mean improvement over initialization and regressions on two tasks. The final distilled configuration improves all eight tasks over the non-distilled model, raising the mean from 0.4813 to 0.5488 without increasing inference-time model size. These gains include hard-negative evaluation tasks despite training without explicitly mined or supplied hard negatives. We release model weights, training and evaluation code, the pairwise dataset, and its teacher-embedded counterpart, enabling inspection of data composition and training procedures, independent evaluation, and reuse without repeating expensive teacher inference.
• Abstract（参考訳）: 多言語テキスト表現の進歩にもかかわらず、ペルシャ語に対する効果的な高密度検索は、言語固有のトレーニングリソースとコンパクトな埋め込みモデルが限られた可用性で制限されているままである。 我々は,Qwen3-Embedding-0.6Bを100万以上のクエリドキュメントペアを用いて適用した595.8Mのペルシャ検索モデルYalda Embeddingを提案する。 FaMTEBの8つのペルシャ検索タスクでは、評価された0.6Bモデルの中で最高のマクロ平均を達成し、スコア0.5488、Qwen3-Embedding-0.6B、F2LLM-v2-0.6Bを上回った。 Qwen3-Embedding-4Bに近づき、4つのタスクで勝利し、1つをタイリングし、マクロ平均0.0075を追随した。 漸進的アブレーション法によるF2LLM-v2-8Bのバッチサイズ,最適化安定化,およびリレーショナル知識蒸留について検討した。 ワンエポックなトレーニング設定の下では、コントラスト的な微調整だけでは、初期化よりも控えめな平均的な改善と、2つのタスクの回帰が得られます。 最終的に蒸留された構成は、非蒸留モデルの8つのタスクをすべて改善し、平均値が0.4813から0.5488に上昇するが、推論時間モデルのサイズは増大しない。 これらの利得には、明示的に採掘されたり、供給されたりすることなく、トレーニングにもかかわらず、ハードネガティブな評価タスクが含まれる。 モデル重み、トレーニングおよび評価コード、ペアワイズデータセット、およびその組込み型データセットを公開し、高価な教師推論を繰り返すことなく、データ構成とトレーニング手順の検査、独立した評価、再利用を可能にした。

関連論文リスト

• Trust-Calibrated VLA Policy Post-Training with Evolving Imagination [60.998903003181006]
  既存の改善パラダイムは信頼性と効率性の緊張を露呈する。 本稿では,モデル進化強化学習(MERL, Model-Evolving Reinforcement Learning)を提案する。 摂動型LIBERO-PROタスクでは、MERLは平均79.7%の成功を達成し、マッチしたモデルフリー制御よりも10.9%の高閾値学習速度を向上し、同じプロトコール外部ベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-10-12T10:08:28Z)
• Models for minimalist RAG: B1ade 335M Embedding and 1B Parameter Small Language Models [2.1665689529884697]
  本稿では,コンパクトな埋め込みモデルと汎用SLMの2つのコンポーネントからなる効率的なRAGアーキテクチャであるB1adeについて述べる。 5つの事前訓練エンコーダのパラメータフリー融合により構築された335Mパラメータ検索モデルであるB1ade-embedは、追加トレーニングをゼロとした500M未満モデルの上位MTEBスコアを達成する。 B1ade-1Bは42.4%の反応で回収された通路を引用し、トレーニング分布の寄与率を5.5ポイント上回っている。
  論文  参考訳（メタデータ） (2026-07-29T22:41:25Z)
• TabH2O: A Unified Foundation Model for Tabular Prediction [12.882141870947706]
  本研究では,テキスト内学習による1つの前方パスの分類と回帰を行うモデルであるTabH2Oを提案する。 我々はTALENTベンチマークでTabH2O v1(29.2Mパラメータ)を評価し、6つの評価手法のうち平均2.55のランクを達成した。
  論文  参考訳（メタデータ） (2026-05-18T13:27:54Z)
• Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
  わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。 選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。 これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
  論文  参考訳（メタデータ） (2026-04-20T00:57:31Z)
• Pioneer Agent: Continual Improvement of Small Language Models in Production [6.452260317191361]
  小さな言語モデルは、低コスト、高速な推論、特殊化の容易さのために、製品展開にとって魅力的なものだ。 特定のタスクに小さな言語モデルを適用するプロセスを自動化するクローズドループシステムであるPioneer Agentを提案する。
  論文  参考訳（メタデータ） (2026-04-10T18:13:09Z)
• MixAtlas: Uncertainty-aware Data Mixture Optimization for Multimodal LLM Midtraining [13.388276899120065]
  MixAtlasは、検査、適応、新しいコーパスへの転送が可能な、ベンチマークターゲットのデータレシピを生成する。 視覚的理解、文書推論、マルチモーダル推論にまたがる10のベンチマークを評価した。
  論文  参考訳（メタデータ） (2026-04-03T04:26:43Z)
• F2LLM Technical Report: Matching SOTA Embedding Performance with 6 Million Open-Source Data [19.088644745246373]
  F2LLMは,0.6B,1.7B,4Bの3種類の最先端埋め込みモデルである。 F2LLMは、オープンソースの非合成データセットからキュレートされた600万のクエリドキュメント陰性に関する基礎モデルから直接微調整される。 MTEBの英語リーダーボードでは、F2LLM-4Bは約4Bパラメーターと7番目のモデルで2位、F2LLM-1.7Bは1B-2Bサイズ範囲で1位である。
  論文  参考訳（メタデータ） (2025-10-02T17:58:49Z)
• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。