論文の概要: Data Curation and Model Souping: Unlocking Qwen3-0.6B for MS MARCO Passage Ranking

• arxiv url: http://arxiv.org/abs/2610.14816v1
• Date: Sat, 10 Oct 2026 11:24:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.119824
• Title: Data Curation and Model Souping: Unlocking Qwen3-0.6B for MS MARCO Passage Ranking
• Title（参考訳）: データキュレーションとモデルソープ:MS MARCOパスランク付けのためにQwen3-0.6Bをアンロック
• Abstract要約: 本報告では,軽量Qwen3-0.6Bモデルを用いたMS MARCOベンチマークのパス検索と再ランク付けについて検討する。 以上の結果から,複雑なアーキテクチャ変更,カスタム損失関数,クロスエンコーダ蒸留を伴わずに,競争的ランキング性能を達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 3.1565144439439567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This report studies passage retrieval and re-ranking on the MS MARCO benchmark using lightweight Qwen3-0.6B models. Across three experimental settings --- BM25-then-reranking task, corpus-wide dense retrieval task, and dense retrieval then re-ranking task --- the results demonstrate that competitive ranking performance can be achieved without complex architectural modifications, custom loss functions, or cross-encoder distillation. Instead, substantial gains stem from data-centric strategies: corpus-targeted continued pre-training, rigorous data curation, hard-negative mining, training--inference distribution alignment, and weight merging via Model Soup. In particular, Model Soup delivers marked performance gains while preserving the inference efficiency of a single model. These findings highlight how data curation and weight merging can push sub-billion-parameter models to state-of-the-art performance.
• Abstract（参考訳）: 本報告では,軽量Qwen3-0.6Bモデルを用いたMS MARCOベンチマークのパス検索と再ランク付けについて検討する。 BM25-then-re ranking task, corpus-wide dense search task, and dense search then re-level task -- の3つの実験結果から, 複雑なアーキテクチャ変更, カスタム損失関数, クロスエンコーダ蒸留を伴わずに, 競争的ランキング性能を達成できることが確認された。 コーパスを目標とした継続的な事前トレーニング、厳格なデータキュレーション、ハードネガティブなマイニング、トレーニング-推論分散アライメント、Model Soupによる重み付けなどである。 特にModel Soupは、単一のモデルの推論効率を保ちながら、顕著なパフォーマンス向上を実現している。 これらの結果は、データのキュレーションと重み付けによって、サブビリオンパラメータモデルが最先端のパフォーマンスにどのように影響するかを浮き彫りにしている。

関連論文リスト

• Benchmarking Self-Supervised 3D Medical Vision Foundation Models and Transferability Estimation [57.65266782182578]
  セルフ教師付き事前トレーニングは、3D医療基盤モデルのプールを拡張したが、異なるデータセット、エンドポイント、微調整プロトコルを使用した評価を公表した。 14のセグメンテーション、分類、回帰タスク、複数の解剖学とモダリティにまたがる23の候補をベンチマークした。 3モデルショートリストは、7つのセグメンテーションタスクで記録された抜粋+訓練ジョブ時間を85.8%削減した。
  論文  参考訳（メタデータ） (2026-10-13T01:52:19Z)
• Can Small Training Runs Reliably Guide Data Curation? Rethinking Proxy-Model Practice [109.9635246405237]
  データ品質に関する実験結果が、ハイパーパラメータのトレーニングに微調整を加えることで、反転できることを示す。 評価プロトコルに簡単なパッチを導入し、プロキシモデルのトレーニングに学習率を削減した。 実験により,データキュレーションの4つの重要な次元をカバーする23種類のデータレシピに対して,このアプローチを検証した。
  論文  参考訳（メタデータ） (2025-12-30T23:02:44Z)
• Detect Anything via Next Point Prediction [51.55967987350882]
  Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。 COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
  論文  参考訳（メタデータ） (2025-10-14T17:59:54Z)
• Scaling Sparse and Dense Retrieval in Decoder-Only LLMs [20.173669986209024]
  大規模言語モデル(LLM)のスケーリングは,検索モデルの性能向上に大きな可能性を示している。 従来の研究は、比較損失(CL)を訓練した高密度な検索に重点を置いてきた。 スパース検索モデルは、インドメイン(MSMARCO, TREC DL)とアウト・オブ・ドメイン(BEIR)ベンチマークの両方において、密集検索を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-02-21T15:28:26Z)
• SUDS: A Strategy for Unsupervised Drift Sampling [0.5437605013181142]
  監視された機械学習は、データ分散が時間とともに変化するコンセプトドリフトに遭遇し、パフォーマンスが低下する。 本稿では,既存のドリフト検出アルゴリズムを用いて,同種サンプルを選択する新しい手法であるドリフトサンプリング戦略(SUDS)を提案する。 本研究は, 動的環境におけるラベル付きデータ利用の最適化におけるSUDSの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-11-05T10:55:29Z)
• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• M-DEW: Extending Dynamic Ensemble Weighting to Handle Missing Values [2.8861431208787525]
  我々は、不足データを用いて下流予測を行うための新しいAutoML技術を開発した。 M-DEWは18実験中17実験において、モデルパープレキシティの統計的に有意な減少を生じるという、最先端技術よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2024-04-30T20:13:18Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• MV-JAR: Masked Voxel Jigsaw and Reconstruction for LiDAR-Based Self-Supervised Pre-Training [58.07391711548269]
  Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
  論文  参考訳（メタデータ） (2023-03-23T17:59:02Z)
• Using calibrator to improve robustness in Machine Reading Comprehension [18.844528744164876]
  ポストホックリランカとしてキャリブレータを用いてロバスト性を向上させる手法を提案する。 敵対的データセットを用いた実験結果から,我々のモデルは10%以上の性能向上を達成できることがわかった。
  論文  参考訳（メタデータ） (2022-02-24T02:16:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。