論文の概要: Can Instructed Retrieval Models Really Support Exploration?

• arxiv url: http://arxiv.org/abs/2601.10936v1
• Date: Fri, 16 Jan 2026 01:45:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-19 20:21:50.327309
• Title: Can Instructed Retrieval Models Really Support Exploration?
• Title（参考訳）: 検索モデルによる探索支援は可能か?
• Authors: Piyush Maheshwari, Sheshera Mysore, Hamed Zamani,
• Abstract要約: ベストレトリバーは、指示に依存しないアプローチに比べて、ランキングの関連性を改善する。 ユーザーは、命令に依存しないモデルよりも、現在の指示されたレトリバーを使うことの恩恵を受けるかもしれないが、長期にわたる探索セッションでは、それらを使用することの恩恵を受けないかもしれない。
• 参考スコア（独自算出の注目度）: 29.8124798158787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Exploratory searches are characterized by under-specified goals and evolving query intents. In such scenarios, retrieval models that can capture user-specified nuances in query intent and adapt results accordingly are desirable -- instruction-following retrieval models promise such a capability. In this work, we evaluate instructed retrievers for the prevalent yet under-explored application of aspect-conditional seed-guided exploration using an expert-annotated test collection. We evaluate both recent LLMs fine-tuned for instructed retrieval and general-purpose LLMs prompted for ranking with the highly performant Pairwise Ranking Prompting. We find that the best instructed retrievers improve on ranking relevance compared to instruction-agnostic approaches. However, we also find that instruction following performance, crucial to the user experience of interacting with models, does not mirror ranking relevance improvements and displays insensitivity or counter-intuitive behavior to instructions. Our results indicate that while users may benefit from using current instructed retrievers over instruction-agnostic models, they may not benefit from using them for long-running exploratory sessions requiring greater sensitivity to instructions.
• Abstract（参考訳）: 探索探索は、未指定の目標と進化するクエリ意図によって特徴づけられる。 このようなシナリオでは、ユーザが指定したニュアンスをクエリインテントでキャプチャし、その結果を順応する検索モデルが望ましい。 本研究は, エキスパートアノテート・テスト・コレクションを用いたアスペクト条件付きシード誘導探索の, 広く普及しているが未発見の応用について, 提案手法の評価を行った。 我々は、指示された検索のために微調整された最近のLSMと、高パフォーマンスなペアワイドランキング・プロンプティングでランク付けされる汎用LSMの両方を評価した。 その結果,最も指導力の高いレトリバーは,指示に依存しないアプローチに比べてランク付けの妥当性が向上することがわかった。 しかし、モデルと対話するユーザエクスペリエンスにとって重要な、パフォーマンスに従う命令は、ランキング関連性の改善を反映せず、インセンティブや反直感的な動作を命令に表示する。 以上の結果から,利用者は命令非依存モデルよりも現在の指示型レトリバーを使うことの恩恵を受けることができるが,命令に敏感な長期探索セッションでは利用しない可能性が示唆された。

関連論文リスト

• Reasoning-enhanced Query Understanding through Decomposition and Interpretation [87.56450566014625]
  ReDIは、分解と解釈によるクエリ理解のための推論強化アプローチである。 我々は,大規模検索エンジンから実世界の複雑なクエリの大規模データセットをコンパイルした。 BRIGHT と BEIR の実験により、ReDI はスパースと密度の高い検索パラダイムの両方において、強いベースラインを一貫して超えることを示した。
  論文  参考訳（メタデータ） (2025-09-08T10:58:42Z)
• SEM: Reinforcement Learning for Search-Efficient Large Language Models [26.075903427834838]
  大きな言語モデル(LLM)は、推論だけでなく、外部ツールの呼び出しでもその能力を実証している。 既存の強化学習アプローチは、しばしば冗長な探索行動を引き起こす。 本研究では,学習後強化学習フレームワークであるSEMを提案する。
  論文  参考訳（メタデータ） (2025-05-12T09:45:40Z)
• LLM-Driven Usefulness Judgment for Web Search Evaluation [12.10711284043516]
  情報検索(IR)における検索体験の最適化と多種多様なユーザ意図支援の基礎的評価 従来の検索評価手法は主に関連ラベルに依存しており、検索された文書がユーザのクエリとどのようにマッチするかを評価する。 本稿では,文書の有用性を評価するために,暗黙的かつ明示的なユーザ行動信号の両方を組み込んだLCM生成実用性ラベルを提案する。
  論文  参考訳（メタデータ） (2025-04-19T20:38:09Z)
• SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models [88.29990536278167]
  SPaRは、木探索の自己精製を統合して、有効かつ同等な選好ペアを得るセルフプレイフレームワークである。 実験により,SPaRで誘導された3回の反復で訓練されたLLaMA3-8Bモデルが,一般機能を失うことなくIFEvalベンチマークでGPT-4-Turboを上回った。
  論文  参考訳（メタデータ） (2024-12-16T09:47:43Z)
• Beyond Content Relevance: Evaluating Instruction Following in Retrieval Models [25.301280441283147]
  本研究では,コンテンツ関連性を超えた各種検索モデルの指示追従能力について検討した。 6つの文書レベル属性にまたがる新しい検索評価ベンチマークを開発した。 その結果,命令対応検索データセットの微調整モデルでは性能が向上するが,ほとんどのモデルでは命令順守に欠けることがわかった。
  論文  参考訳（メタデータ） (2024-10-31T11:47:21Z)
• ExcluIR: Exclusionary Neural Information Retrieval [74.08276741093317]
  本稿では,排他的検索のためのリソースセットであるExcluIRを提案する。 評価ベンチマークには3,452の高品質な排他的クエリが含まれている。 トレーニングセットには70,293の排他的クエリが含まれており、それぞれに正のドキュメントと負のドキュメントがペアリングされている。
  論文  参考訳（メタデータ） (2024-04-26T09:43:40Z)
• FollowIR: Evaluating and Teaching Information Retrieval Models to Follow Instructions [71.5977045423177]
  本稿では,情報検索システムにおける命令の利用について検討する。 厳密なインストラクション評価ベンチマークを含むデータセットFollowIRを紹介した。 我々は、IRモデルが複雑な命令に従うことを学習することは可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-22T14:42:29Z)
• INSTRUCTIR: A Benchmark for Instruction Following of Information Retrieval Models [32.16908034520376]
  検索者は、ユーザの意図した検索コンテキストを掘り下げることなく、クエリ情報のみを優先順位付けする。 本稿では,情報検索タスクにおける指示追従能力の評価に特化して設計された新しいベンチマークINSTRUCTIRを提案する。 InSTRUCTORのようなタスクスタイルの指示に従うように微調整されたレトリバーは、命令なしの命令に比べて性能が劣る。
  論文  参考訳（メタデータ） (2024-02-22T06:59:50Z)
• I3: Intent-Introspective Retrieval Conditioned on Instructions [83.91776238599824]
  I3は,タスク固有の訓練を使わずに,インストラクションに条件付けられた様々なタスクに対して,インテント・イントロスペクティブ検索を行う統合検索システムである。 I3は、特定の検索意図を理解するために、パラメータ分離された方法でプラグ可能なイントロスペクタを組み込む。 LLM生成データを利用してI3フェーズ・バイ・フェイズを訓練し、プログレッシブ・ストラクチャー・プルーニングとドローバック・ベースのデータリファインメントという2つの重要な設計を具現化した。
  論文  参考訳（メタデータ） (2023-08-19T14:17:57Z)
• Beyond Semantics: Learning a Behavior Augmented Relevance Model with Self-supervised Learning [25.356999988217325]
  関連モデリングは、対応するクエリに対して望ましい項目を見つけることを目的としている。 ユーザの履歴行動データから抽出された補助的なクエリ-イテム相互作用は、ユーザの検索意図をさらに明らかにするためのヒントを提供する可能性がある。 本モデルでは, 隣接する視点と対象視点の両方から, 粗粒度および細粒度の意味表現を蒸留するための多レベルコアテンションを構築している。
  論文  参考訳（メタデータ） (2023-08-10T06:52:53Z)
• On the Evaluation of Vision-and-Language Navigation Instructions [76.92085026018427]
  自動的に生成されたナビゲーション命令を利用することで、視覚・言語ナビゲーションのウェイフィングエージェントを強化することができる。 既存の命令生成装置は包括的に評価されていない。 BLEU、ROUGE、METEORおよびCIDErは接地ナビゲーションの指示を評価するために有効ではないです。
  論文  参考訳（メタデータ） (2021-01-26T01:03:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。