論文の概要: BiXSE: Improving Dense Retrieval via Probabilistic Graded Relevance Distillation

• arxiv url: http://arxiv.org/abs/2508.06781v1
• Date: Sat, 09 Aug 2025 02:15:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.545016
• Title: BiXSE: Improving Dense Retrieval via Probabilistic Graded Relevance Distillation
• Title（参考訳）: BiXSE:確率的グレードレバレンス蒸留による高密度検索の改善
• Authors: Christos Tsirigotis, Vaibhav Adlakha, Joao Monteiro, Aaron Courville, Perouz Taslakian,
• Abstract要約: BiXSE は2値のクロスエントロピーをグレードレバレンススコアより最適化するポイントワイズトレーニング手法である。 アノテーションと計算コストを削減して、強力なパフォーマンスを実現する。 BiXSEは、密度の高い検索モデルをトレーニングするための堅牢でスケーラブルな代替手段を提供する。
• 参考スコア（独自算出の注目度）: 6.272555849379284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural sentence embedding models for dense retrieval typically rely on binary relevance labels, treating query-document pairs as either relevant or irrelevant. However, real-world relevance often exists on a continuum, and recent advances in large language models (LLMs) have made it feasible to scale the generation of fine-grained graded relevance labels. In this work, we propose BiXSE, a simple and effective pointwise training method that optimizes binary cross-entropy (BCE) over LLM-generated graded relevance scores. BiXSE interprets these scores as probabilistic targets, enabling granular supervision from a single labeled query-document pair per query. Unlike pairwise or listwise losses that require multiple annotated comparisons per query, BiXSE achieves strong performance with reduced annotation and compute costs by leveraging in-batch negatives. Extensive experiments across sentence embedding (MMTEB) and retrieval benchmarks (BEIR, TREC-DL) show that BiXSE consistently outperforms softmax-based contrastive learning (InfoNCE), and matches or exceeds strong pairwise ranking baselines when trained on LLM-supervised data. BiXSE offers a robust, scalable alternative for training dense retrieval models as graded relevance supervision becomes increasingly accessible.
• Abstract（参考訳）: 密集検索のためのニューラルな文埋め込みモデルは、一般的にバイナリ関連ラベルに依存し、クエリとドキュメントのペアを関連性または非関連性として扱う。 しかし、実世界の関連性はしばしば連続体上に存在し、近年の大規模言語モデル(LLM)の進歩により、微粒なグレードレバレンスラベルの生成が可能である。 本研究では,LLM生成の次数関係スコアよりも2次クロスエントロピー(BCE)を最適化する,シンプルで効果的なポイントワイドトレーニング手法であるBiXSEを提案する。 BiXSEはこれらのスコアを確率的ターゲットとして解釈し、クエリ毎に単一のラベル付きクエリ-ドキュメントペアから詳細な監視を可能にする。 クエリ毎に複数のアノテートされた比較を必要とするペアワイドやリストワイドの損失とは異なり、BiXSEは、バッチ内陰性を利用してアノテーションと計算コストを削減して、強力なパフォーマンスを達成する。 文埋め込み (MMTEB) と検索ベンチマーク (BEIR, TREC-DL) の広範な実験により, BiXSE はソフトマックスに基づくコントラスト学習 (InfoNCE) を一貫して上回り,LLM 教師付きデータに基づいてトレーニングした場合,強いペアのランク付け基準値に適合または超えていることが示された。 BiXSEは、厳密な検索モデルをトレーニングするための堅牢でスケーラブルな代替手段を提供する。

関連論文リスト

• Leveraging Reference Documents for Zero-Shot Ranking via Large Language Models [16.721450557704767]
  RefRankは、固定参照文書に基づく単純で効果的な比較ランク付け手法である。 RefRankはポイントワイドのベースラインをはるかに上回り、少なくともペアワイドのアプローチと同等のパフォーマンスを達成できることを示した。
  論文  参考訳（メタデータ） (2025-06-13T04:03:09Z)
• LGAI-EMBEDDING-Preview Technical Report [41.68404082385825]
  本稿では、情報検索(IR)と非IRタスクの両方に最適化された一般化テキスト埋め込みを学習するための統一的な命令ベースフレームワークを提案する。 提案手法は,コンテキスト認識の埋め込みを生成するために,コンテキスト内学習,ソフトインスペクション,適応型ハードネガティブマイニングを組み合わせる。 その結果,本手法はボルダスコアによる最高性能モデルのうち,強い一般化とランクを達成できることが示唆された。
  論文  参考訳（メタデータ） (2025-06-09T05:30:35Z)
• Beyond Contrastive Learning: Synthetic Data Enables List-wise Training with Multiple Levels of Relevance [24.842839260409075]
  この作業では、実際のトレーニングドキュメントとアノテーションを完全に禁じています。 オープンソース LLM を用いて,複数のレベルの関連性に応じて,実際のユーザクエリに応答する合成文書を直接生成する。 各種IRデータセットの実験により,提案手法はInfoNCEを用いた従来のトレーニングよりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2025-03-29T22:33:22Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [58.617025733655005]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Open-Set Recognition: A Good Closed-Set Classifier is All You Need [146.6814176602689]
  分類器が「ゼロ・オブ・ア・ア・ア・ベ」決定を行う能力は、閉集合クラスにおける精度と高い相関関係があることが示される。 この相関を利用して、閉セット精度を向上させることにより、クロスエントロピーOSR'ベースライン'の性能を向上させる。 また、セマンティックノベルティを検出するタスクをより尊重する新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2021-10-12T17:58:59Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。