論文の概要: Natural Hard-Negative Mining from Positives for Instruction-Following Retrieval

• arxiv url: http://arxiv.org/abs/2610.36900v1
• Date: Tue, 27 Oct 2026 09:31:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.555891
• Title: Natural Hard-Negative Mining from Positives for Instruction-Following Retrieval
• Title（参考訳）: 指示追従型検索のための有効成分からの天然硬質負のマイニング
• Abstract要約: Natural Hard-Negative Mining (NHNM) は、クエリ互換命令の下で変換可能な負の処理を促進する。 NHNMは、約7KインスタンスからなるIFIRトレーニングセットであるNHNM-MARCOを生成する。 InstructIR と FollowIR では、NHNM-MARCO で微調整された 568M から 4B のパラメータを持つモデルでは、強い命令追従性能が得られる。
• 参考スコア（独自算出の注目度）: 22.575026979728182
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Instruction-following information retrieval (IFIR) requires retrievers to rank documents by both a query and its instance-specific instructions, yet instruction-conditioned contrastive supervision remains scarce. Existing synthetic methods typically fix a positive passage and generate additional negatives, overlooking the hard-negative potential of the original positive. We propose Natural Hard-Negative Mining (NHNM), which promotes convertible negatives under query-compatible instructions and repurposes original positives as natural instruction hard negatives. Its automated Candidate Cleaning, Reversal Construction, and Geometry Filtering pipeline produces compact, high-contrast supervision aligned with the pretrained retrieval space. Applied to MSMARCO, NHNM yields NHNM-MARCO, an IFIR training set of nearly 7K instances. On InstructIR and FollowIR, models with 568M to 4B parameters fine-tuned on NHNM-MARCO achieve strong instruction-following performance and match or surpass substantially larger retrievers in several settings. Controlled analyses and ablations attribute these gains to natural hard-negative supervision rather than model scale or training-data volume.
• Abstract（参考訳）: インストラクション追従情報検索(IFIR)では、検索者はクエリとインスタンス固有の命令の両方で文書をランク付けする必要があるが、命令条件によるコントラスト管理は少ない。 既存の合成法は、通常、正の通過を固定し、元の正の強陰性ポテンシャルを見渡して追加の負を発生させる。 本研究では,クエリ互換な命令の下で変換可能な負を促進し,元の正を自然な命令のハード負として再利用するNatural Hard-Negative Mining (NHNM)を提案する。 自動クリーニング、リバーサルコンストラクション、ジオメトリフィルタのパイプラインは、事前訓練された検索空間に合わせて、コンパクトで高コントラストの監視を行う。 MSMARCOに適用されたNHNMは、約7KインスタンスからなるIFIRトレーニングセットであるNHNM-MARCOを生成する。 InstructIR と FollowIR では、NHNM-MARCO で微調整された 568M から 4B のパラメータを持つモデルが強い命令追従性能を達成し、いくつかの設定でかなり大きなレトリバーを上回ります。 制御された分析と改善は、モデルスケールやトレーニングデータボリュームよりも、自然なハードネガティブな監視によるものである。

関連論文リスト

• Pairwise AUC Optimization Needs Corrective Power: A Unified View [91.5488253165522]
  ペアワイドのミニバッチ更新が、より厳格なランキングエラーに対して、より強く信頼性の高い改善をもたらすかどうかを検討する。 我々の主な観察では、直接的なペアワイズトレーニングは、深刻なエラーが相変わらずありふれた領域に入ることができるが、もはや有用な修正動作は生じない。
  論文  参考訳（メタデータ） (2026-10-15T12:02:54Z)
• ReNIO: Reweighting Negative Trajectory Importance for LLM On-Policy Distillation [8.293675661721926]
  オンライン蒸留は、学生モデルを独自の出力で訓練することで推論を改善するが、標準的なOPDは学生が生産する出力を、その情報によらず平等に扱う。 我々は制御されたフィルタリング実験において一貫した非対称性を観察し、OPDとOPSDの両方において、不正なSGOのトレーニングのみにおいて、正しいトレーニングよりも優れた結果が得られることを示した。 完全回答を含むロールアウトを必要とせずにこの信号を利用するために,LLMオンポリス蒸留における負の軌道重要度を重み付けするReNIOを導入する。
  論文  参考訳（メタデータ） (2026-06-22T09:46:35Z)
• ARHN: Answer-Centric Relabeling of Hard Negatives with Open-Source LLMs for Dense Retrieval [12.84859278829763]
  我々は,答え中心の関連信号を用いて強陰性サンプルを精査するためのARHN(Answer-centric Relabeling of Hard Negatives)を提案する。 BEIRベンチマークのARHNを3つの構成で評価した。
  論文  参考訳（メタデータ） (2026-04-13T07:11:30Z)
• Improving LLM-based Recommendation with Self-Hard Negatives from Intermediate Layers [80.55429742713623]
  ILRecはLLMベースのレコメンデーションシステムのための新しい好みの微調整フレームワークである。 負の信号に対してトークンレベルの報酬を割り当てるための軽量な協調フィルタリングモデルを提案する。 3つのデータセットの実験は、LLMベースのレコメンデータシステムの性能向上におけるILRecの有効性を示している。
  論文  参考訳（メタデータ） (2026-02-19T14:37:43Z)
• The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning [37.13807960501503]
  検証可能な報酬を伴う強化学習(RLVR)は、言語モデル(LM)のトレーニングに有望なアプローチである 我々は学習信号を正しい応答の強化と正負の正負の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の 我々は、NSRが不正確な世代を抑え、確率質量を他の可算候補に向けて再分配することで、モデルの以前の信念に導かれることを示す。
  論文  参考訳（メタデータ） (2025-06-02T06:10:54Z)
• NV-Retriever: Improving text embedding models with effective hard-negative mining [1.8448587047759064]
  本稿では, 有効偽陰性除去のためのアンカーとして, 正関連スコアを用いた正対応マイニング手法のファミリーを紹介する。 提案手法の有効性をNV-Retriever-v1モデルを用いて実証した。
  論文  参考訳（メタデータ） (2024-07-22T17:50:31Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)
• Language Model Pre-training on True Negatives [109.73819321246062]
  差別的事前訓練言語モデル(PLM)は、故意に破損した言語から原文を予測することを学ぶ。 既存のPLMは、すべての破損したテキストを検査せずに同等に否定的に扱う。 我々は、偽陰性予測に対処し、真陰性に関する事前学習言語モデルを促進するために、強化された事前学習手法を設計する。
  論文  参考訳（メタデータ） (2022-12-01T12:24:19Z)
• Generating Negative Samples for Sequential Recommendation [83.60655196391855]
  逐次レコメンデーション(SR)のための負のサンプル(イテム)を生成することを提案する。 アイテムに対する現在のSRモデルの学習されたユーザの好みに基づいて、各タイムステップで負の項目をサンプリングする。 4つの公開データセットの実験は、SRに高品質な負のサンプルを提供することの重要性を検証する。
  論文  参考訳（メタデータ） (2022-08-07T05:44:13Z)
• YES SIR!Optimizing Semantic Space of Negatives with Self-Involvement Ranker [13.890626391658836]
  Self-Involvement Ranker (SIR)は、事前訓練されたモデルのための軽量で一般的なフレームワークである。 SIRは、高品質なランキングモデルをトレーニングするための高品質なセマンティック空間を構築するために、ハードネガティブサンプルを動的に選択する。 本手法は2021年5月にMS MARCO Documentランキングのリーダーボード上で匿名でSOTAモデルとなった。
  論文  参考訳（メタデータ） (2021-09-14T04:56:34Z)
• Reinforced Negative Sampling over Knowledge Graph for Recommendation [106.07209348727564]
  我々は、高品質なネガティブを探索する強化学習エージェントとして機能する新しい負サンプリングモデル、知識グラフポリシーネットワーク(kgPolicy)を開発した。 kgPolicyは、ターゲットのポジティブなインタラクションからナビゲートし、知識を意識したネガティブなシグナルを適応的に受信し、最終的にはリコメンダをトレーニングする潜在的なネガティブなアイテムを生成する。
  論文  参考訳（メタデータ） (2020-03-12T12:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。