論文の概要: When Hard Negatives Hurt: Bridging the Generative-Discriminative Gap in Hard Negative Synthesis for Retrieval

• arxiv url: http://arxiv.org/abs/2606.01304v2
• Date: Sun, 07 Jun 2026 15:44:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:04.763014
• Title: When Hard Negatives Hurt: Bridging the Generative-Discriminative Gap in Hard Negative Synthesis for Retrieval
• Title（参考訳）: ハード負合成における生成的識別的ギャップのブリッジ化 : 検索のためのハード負合成
• Authors: Zhicheng Zhang, Jiwei Tang, Kuicai Dong, Xiaopeng Li, Jieming Zhu, Jingyu Li, Qianhui Zhu, Fengyuan Lu, Wang Jiaheng, Gang Wang, Hai-Tao Zheng, Zhaocheng Du,
• Abstract要約: 比較学習に生成した負を鼻で組み込むことは、検索性能を劣化させることが多いことを示す。 本分析では, 識別非依存型生成とソース依存型ショートカットの2つの複合的障害モードを明らかにした。 このギャップを埋めるために、2つの主加群からなるCausalNegを提案する。
• 参考スコア（独自算出の注目度）: 45.5843471557695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hard negative mining has become the dominant strategy for training retrievers, yet it faces intrinsic limitations: negatives are bounded by corpus availability, selected by retriever score rather than diagnostic value, and increasingly contaminated by false positives as the retriever improves. LLM-based synthesis offers a principled alternative, where negatives that are unconstrained, targeted, and free from false positive risk. But we show that naively incorporating generated negatives into contrastive learning often degrades retrieval performance. We identify and formalize the root cause as a generative-discriminative gap: LLM generation optimizes for fluent, plausible text, while contrastive learning demands strategic violations of relevance at the decision boundary. Our analysis reveals two compounding failure modes: discriminative-agnostic generation, where the LLM lacks an explicit model of query information needs and defaults to generic or topic-drifted text that provides no contrastive signal; and source-dependent shortcuts, where distributional artifacts enable the model to distinguish negatives by origin rather than relevance, causing gradient drift that actively corrupts optimization. To close this gap, we propose CausalNeg consisting of two main modules: (1) CoT-guided counterfactual perturbation for data construction: decomposes why a document satisfies a query into explicit information requirements, then surgically violates individual requirements to construct negatives with controlled, interpretable hardness. (2) Query-view entropy maximization during training: disperses generated negatives across the similarity spectrum, minimizing the mutual information between source identity and similarity scores to suppress shortcut exploitation. We make our code publicly available at https://github.com/mzhangzhicheng/CausalNeg.
• Abstract（参考訳）: 厳格な負のマイニングがリトリーバーのトレーニング戦略の主流となっているが、本質的な制限に直面している: 負はコーパスの可用性によって境界付けられ、診断値よりもレトリーバースコアによって選択され、リトリーバーが改善するにつれて偽陽性によって汚染される。 LLMベースの合成は、非拘束的で標的であり、偽陽性のリスクのない、原則化された代替手段を提供する。 しかし、逆学習に生成した負を鼻で組み込むことは、検索性能を劣化させることが多い。 我々は、根本原因を生成的・識別的ギャップとして同定し、形式化する: LLM生成は、流動的で可読なテキストに対して最適化する一方、対照的な学習は、決定境界における関連性の戦略的違反を要求する。 LLMはクエリ情報の明示的なモデルが欠如しており、コントラスト信号のない汎用テキストやトピックドリフトテキストに対するデフォルトが欠如しており、ソース依存のショートカットでは、分散アーティファクトが関連性よりも負の区別を可能にし、最適化を積極的に破壊する勾配ドリフトを引き起こす。 このギャップを埋めるために、(1)CoT誘導によるデータ構築の反ファクト的摂動: 文書がクエリを明示的な情報要求に満足する理由を分解し、その後、個々の要求を外科的に破って、制御された、解釈可能な硬さでネガティブを構築する。 2) 学習中のクエリビューエントロピー最大化: 生成した負を類似度スペクトルに分散し, ソースアイデンティティと類似度スコアの相互情報を最小化し, ショートカット利用を抑制する。 コードはhttps://github.com/mzhangzhicheng/CausalNeg.comで公開しています。

関連論文リスト

• ARHN: Answer-Centric Relabeling of Hard Negatives with Open-Source LLMs for Dense Retrieval [12.84859278829763]
  我々は,答え中心の関連信号を用いて強陰性サンプルを精査するためのARHN(Answer-centric Relabeling of Hard Negatives)を提案する。 BEIRベンチマークのARHNを3つの構成で評価した。
  論文  参考訳（メタデータ） (2026-04-13T07:11:30Z)
• Via Negativa for AI Alignment: Why Negative Constraints Are Structurally Superior to Positive Preferences [0.786119752211706]
  負のフィードバックしか持たない大規模言語モデルのトレーニングは、人間のフィードバックから標準的な強化学習と一致したり、超えたりすることができる。 負の信号がこれほど効果的である理由を説明する統一的な理論的な説明は存在しない。 正の選好と負の制約は構造的に非対称である。
  論文  参考訳（メタデータ） (2026-03-17T11:52:18Z)
• UniME-V2: MLLM-as-a-Judge for Universal Multimodal Embedding Learning [101.62386137855704]
  本稿では,Universal Multimodal Embedding (UniME-V2)モデルを提案する。 提案手法はまず,グローバル検索による潜在的な負のセットを構築する。 次に、MLLMを用いてクエリ候補対のセマンティックアライメントを評価するMLLM-as-a-Judge機構を提案する。 これらのスコアは、ハード・ネガティブ・マイニングの基礎となり、偽陰性の影響を緩和し、多様な高品質なハード・ネガティブの識別を可能にする。
  論文  参考訳（メタデータ） (2025-10-15T13:07:00Z)
• RRRA: Resampling and Reranking through a Retriever Adapter [0.0]
  本稿では,Bi-Encoder表現をモニタし,ハード負が実際に偽陰性である可能性を推定する学習可能なアダプタモジュールを提案する。 この確率は動的かつ文脈的にモデル化され、きめ細かいクエリ特有の判断を可能にする。 標準ベンチマークにおける実証的な結果から、我々のアダプタ強化フレームワークは、強いBi-Encoderベースラインを一貫して上回っていることが分かる。
  論文  参考訳（メタデータ） (2025-08-07T08:59:57Z)
• Negating Negatives: Alignment with Human Negative Samples via Distributional Dispreference Optimization [37.8788435790632]
  大規模言語モデル(LLM)は、AIの役割に革命をもたらしたが、潜在的な社会的リスクをもたらしている。 既存の方法は高品質な正負の訓練ペアに依存しており、ノイズの多い正の反応に悩まされており、負の反応とほとんど区別できない。 本稿では,非参照応答と生成した非負応答との差を最大化する分散参照最適化(D$2$O)を提案する。
  論文  参考訳（メタデータ） (2024-03-06T03:02:38Z)
• AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
  抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。 提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
  論文  参考訳（メタデータ） (2023-11-16T02:56:29Z)
• Making Large Language Models Better Reasoners with Alignment [57.82176656663245]
  推論(Reasoning)とは、証拠を使って結論に達する認知過程である。 近年の研究では、思考の連鎖(COT)推論プロセスによるデータ上の微調整LDMは、その推論能力を著しく向上させることができることが示されている。 テキストアライメントファインチューニング(AFT)パラダイムを3ステップで導入する。
  論文  参考訳（メタデータ） (2023-09-05T11:32:48Z)
• Relation-aware Graph Attention Model With Adaptive Self-adversarial Training [29.240686573485718]
  本稿では,不均一なマルチリレーショナルグラフにおける関係予測タスクのエンドツーエンドソリューションについて述べる。 特にパイプライン内の2つのビルディングブロック、すなわちヘテロジニアスグラフ表現学習と負のサンプリングに対処する。 パラメータフリーな負のサンプリング手法であるadaptive self-adversarial (asa) 負のサンプリングを導入する。
  論文  参考訳（メタデータ） (2021-02-14T16:11:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。