論文の概要: Towards Better Instruction Following Retrieval Models

• arxiv url: http://arxiv.org/abs/2505.21439v1
• Date: Tue, 27 May 2025 17:14:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.820271
• Title: Towards Better Instruction Following Retrieval Models
• Title（参考訳）: 検索モデルによる学習指導の改善に向けて
• Authors: Yuchen Zhuang, Aaron Trinh, Rushi Qiang, Haotian Sun, Chao Zhang, Hanjun Dai, Bo Dai,
• Abstract要約: InF-IRは,Instruction-Following IRにおける検索モデルの強化に適した,大規模で高品質なトレーニングコーパスである。 InF-IRは従来のトレーニングペアを38,000以上の表現型命令、クエリ、パス>三つ子に正のサンプルとして拡張する。 命令とクエリの両方を毒殺した後、高度推論モデル(o3-mini)によって厳密に検証し、命令の不正確性を保ちながら意味的妥当性を保証する。
• 参考スコア（独自算出の注目度）: 30.99867106106421
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Modern information retrieval (IR) models, trained exclusively on standard <query, passage> pairs, struggle to effectively interpret and follow explicit user instructions. We introduce InF-IR, a large-scale, high-quality training corpus tailored for enhancing retrieval models in Instruction-Following IR. InF-IR expands traditional training pairs into over 38,000 expressive <instruction, query, passage> triplets as positive samples. In particular, for each positive triplet, we generate two additional hard negative examples by poisoning both instructions and queries, then rigorously validated by an advanced reasoning model (o3-mini) to ensure semantic plausibility while maintaining instructional incorrectness. Unlike existing corpora that primarily support computationally intensive reranking tasks for decoder-only language models, the highly contrastive positive-negative triplets in InF-IR further enable efficient representation learning for smaller encoder-only models, facilitating direct embedding-based retrieval. Using this corpus, we train InF-Embed, an instruction-aware Embedding model optimized through contrastive learning and instruction-query attention mechanisms to align retrieval outcomes precisely with user intents. Extensive experiments across five instruction-based retrieval benchmarks demonstrate that InF-Embed significantly surpasses competitive baselines by 8.1% in p-MRR, measuring the instruction-following capabilities.
• Abstract（参考訳）: 現代の情報検索(IR)モデルは、標準的な<クエリ, パス>ペアにのみ訓練され、明示的なユーザ指示を効果的に解釈し従うのに苦労する。 InF-IRは,Instruction-Following IRにおける検索モデルの強化に適した,大規模で高品質なトレーニングコーパスである。 InF-IRは従来のトレーニングペアを38,000以上の表現力のある<インストラクション,クエリ,パス>トリプレットに正のサンプルとして拡張する。 特に、各正の三重項に対して、命令とクエリの両方を毒殺した後、高度推論モデル(o3-mini)によって厳格に検証し、命令の不正確性を保ちながら意味的妥当性を確保することにより、さらに2つの強硬な例を生成する。 主にデコーダのみの言語モデルに対する計算集約的なリグレードタスクをサポートする既存のコーパスとは異なり、InF-IRの非常にコントラストの高い正負の三重項は、より小さなエンコーダのみのモデルに対する効率的な表現学習を可能にし、直接埋め込みベースの検索を容易にする。 このコーパスを用いて、コントラスト学習と命令クエリアテンション機構によって最適化された命令認識型埋め込みモデルであるInF-Embedを訓練し、検索結果をユーザの意図と正確に一致させる。 InF-Embedはp-MRRの8.1%をはるかに上回り、命令追跡能力を測定する。

関連論文リスト

• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models [88.29990536278167]
  SPaRは、木探索の自己精製を統合して、有効かつ同等な選好ペアを得るセルフプレイフレームワークである。 実験により,SPaRで誘導された3回の反復で訓練されたLLaMA3-8Bモデルが,一般機能を失うことなくIFEvalベンチマークでGPT-4-Turboを上回った。
  論文  参考訳（メタデータ） (2024-12-16T09:47:43Z)
• ILLUMINER: Instruction-tuned Large Language Models as Few-shot Intent Classifier and Slot Filler [1.9015367254988451]
  本研究では、インテント分類(IC)とスロットフィリング(SF)のための人気のあるベンチマークデータセット上で、命令調整モデル(インストラクション-LLM)を評価する。 Instruct-LLM の言語生成タスクとして IC と SF をフレーミングする ILLUMINER を導入する。 FLAN-T5 11Bモデルを用いた複数のベースラインとの総合的な比較から,本手法は最先端のジョイントIC+SF法やGPT3.5 (175B) を用いたテキスト内学習よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-26T09:41:21Z)
• FollowIR: Evaluating and Teaching Information Retrieval Models to Follow Instructions [71.5977045423177]
  本稿では,情報検索システムにおける命令の利用について検討する。 厳密なインストラクション評価ベンチマークを含むデータセットFollowIRを紹介した。 我々は、IRモデルが複雑な命令に従うことを学習することは可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-22T14:42:29Z)
• CodingTeachLLM: Empowering LLM's Coding Ability via AST Prior Knowledge [0.0]
  我々は,コーディング学習用に設計された大規模言語モデル(LLM)であるCodingTeachLLMを紹介する。 本モデルは,学習知識の構造的分解と漸進的指導によるアウトプットを実現する。 当社のモデルは,オープンソースモデルと比較して,コード能力の最先端性も達成している。
  論文  参考訳（メタデータ） (2024-03-13T05:38:39Z)
• A Critical Evaluation of AI Feedback for Aligning Large Language Models [60.42291111149438]
  教師が既存のRLAIFパイプラインより優れていることを示す。 より一般的には、RLAIFの利得は、ベースモデルファミリ、テスト時間評価プロトコル、批判モデルによって大きく異なることが分かる。
  論文  参考訳（メタデータ） (2024-02-19T18:53:54Z)
• Towards Faithful Explanations for Text Classification with Robustness Improvement and Explanation Guided Training [30.626080706755822]
  特徴属性法は、重要な入力トークンをモデル予測の説明として強調する。 近年の研究では、これらの手法による説明は、忠実で堅牢であるという課題に直面している。 本稿では,テキスト分類のためのロバスト性向上と説明指導による,より忠実な説明(REGEX)への指導手法を提案する。
  論文  参考訳（メタデータ） (2023-12-29T13:07:07Z)
• Mixture-of-Experts Meets Instruction Tuning:A Winning Combination for Large Language Models [125.91897197446379]
  MoEモデルは高密度モデルよりも命令チューニングの恩恵を受ける。 我々の最も強力なモデルであるFLAN-MOE-32Bは、4つのベンチマークタスクにおけるFLAN-PALM-62Bの性能を上回る。
  論文  参考訳（メタデータ） (2023-05-24T04:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。