論文の概要: INSTRUCTIR: A Benchmark for Instruction Following of Information Retrieval Models

• arxiv url: http://arxiv.org/abs/2402.14334v1
• Date: Thu, 22 Feb 2024 06:59:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 16:01:36.025796
• Title: INSTRUCTIR: A Benchmark for Instruction Following of Information Retrieval Models
• Title（参考訳）: instructir: 情報検索モデルの命令追従のためのベンチマーク
• Authors: Hanseok Oh, Hyunji Lee, Seonghyeon Ye, Haebin Shin, Hansol Jang, Changwook Jun, Minjoon Seo
• Abstract要約: 検索者は、ユーザの意図した検索コンテキストを掘り下げることなく、クエリ情報のみを優先順位付けする。 本稿では,情報検索タスクにおける指示追従能力の評価に特化して設計された新しいベンチマークINSTRUCTIRを提案する。 InSTRUCTORのようなタスクスタイルの指示に従うように微調整されたレトリバーは、命令なしの命令に比べて性能が劣る。
• 参考スコア（独自算出の注目度）: 32.16908034520376
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the critical need to align search targets with users' intention, retrievers often only prioritize query information without delving into the users' intended search context. Enhancing the capability of retrievers to understand intentions and preferences of users, akin to language model instructions, has the potential to yield more aligned search targets. Prior studies restrict the application of instructions in information retrieval to a task description format, neglecting the broader context of diverse and evolving search scenarios. Furthermore, the prevailing benchmarks utilized for evaluation lack explicit tailoring to assess instruction-following ability, thereby hindering progress in this field. In response to these limitations, we propose a novel benchmark,INSTRUCTIR, specifically designed to evaluate instruction-following ability in information retrieval tasks. Our approach focuses on user-aligned instructions tailored to each query instance, reflecting the diverse characteristics inherent in real-world search scenarios. Through experimental analysis, we observe that retrievers fine-tuned to follow task-style instructions, such as INSTRUCTOR, can underperform compared to their non-instruction-tuned counterparts. This underscores potential overfitting issues inherent in constructing retrievers trained on existing instruction-aware retrieval datasets.
• Abstract（参考訳）: 検索対象をユーザの意図に合わせる必要性は極めて大きいが,検索対象をユーザの意図した検索コンテキストにこだわることなく,クエリ情報を優先することが多い。 検索者がユーザの意図や好みを理解する能力を高めることは、言語モデル命令と同様に、より整合した検索ターゲットを生み出す可能性がある。 先行研究は,情報検索における命令のタスク記述形式への適用を制限し,多様な検索シナリオの広い文脈を無視する。 さらに,評価に活用される一般的なベンチマークでは,指示追従能力を評価するための明示的な調整が欠如しており,この分野の進展を阻害している。 これらの制約に対応するために,情報検索タスクにおける指示追従能力の評価に特化して設計された新しいベンチマークINSTRUCTIRを提案する。 提案手法は,現実の検索シナリオに固有の多様な特徴を反映して,各クエリインスタンスに適合したユーザアライン命令に焦点を当てる。 実験分析により,INSTRUCTORのようなタスクスタイルの指示に従うように微調整されたレトリバーは,非命令型命令に比べて性能が劣ることがわかった。 これは、既存の命令認識検索データセットでトレーニングされたレトリバーの構築に内在する潜在的なオーバーフィッティングの問題を浮き彫りにする。

関連論文リスト

• Beyond Content Relevance: Evaluating Instruction Following in Retrieval Models [17.202017214385826]
  本研究では,コンテンツ関連性を超えた各種検索モデルの指示追従能力について検討した。 6つの文書レベル属性にまたがる新しい検索評価ベンチマークを開発した。 以上の結果から,再ランク付けモデルが後続命令の検索モデルを上回っているのに対して,特定の属性を扱う上では依然として課題に直面していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-31T11:47:21Z)
• Understanding the User: An Intent-Based Ranking Dataset [2.6145315573431214]
  本稿では,このようなデータセットを付加して,アノテートなクエリ記述を付加する手法を提案する。 我々の手法は、個々のクエリにおける暗黙の意図を分析し、理解するために最先端のLCMを利用することである。 キーセマンティック要素を抽出することにより、これらのクエリについて詳細に、文脈的にリッチな記述を構築する。
  論文  参考訳（メタデータ） (2024-08-30T08:40:59Z)
• Beyond Relevance: Evaluate and Improve Retrievers on Perspective Awareness [56.42192735214931]
  検索者は、ドキュメントとクエリ間のセマンティックな関連性に頼るだけでなく、ユーザクエリの背後にある微妙な意図や視点を認識することも期待されている。 本研究では,検索者がクエリの異なる視点を認識し,応答できるかどうかを検討する。 我々は,現在の検索者はクエリにおいて微妙に異なる視点に対する認識が限られており,特定の視点に偏りがあることを示す。
  論文  参考訳（メタデータ） (2024-05-04T17:10:00Z)
• ExcluIR: Exclusionary Neural Information Retrieval [74.08276741093317]
  本稿では,排他的検索のためのリソースセットであるExcluIRを提案する。 評価ベンチマークには3,452の高品質な排他的クエリが含まれている。 トレーニングセットには70,293の排他的クエリが含まれており、それぞれに正のドキュメントと負のドキュメントがペアリングされている。
  論文  参考訳（メタデータ） (2024-04-26T09:43:40Z)
• RAR-b: Reasoning as Retrieval Benchmark [7.275757292756447]
  我々は、推論タスクを検索タスクに変換し、レトリバーモデルに格納された推論能力を評価する。 最近のデコーダベースの埋め込みモデルは、ギャップを狭めることに非常に有望である。 Reasoning as Retrieval Benchmark (RAR-b) は、検索モデルに格納された推論能力を評価するためのタスクと設定の総合的なスイートである。
  論文  参考訳（メタデータ） (2024-04-09T14:34:48Z)
• FollowIR: Evaluating and Teaching Information Retrieval Models to Follow Instructions [71.5977045423177]
  本稿では,情報検索システムにおける命令の利用について検討する。 厳密なインストラクション評価ベンチマークを含むデータセットFollowIRを紹介した。 我々は、IRモデルが複雑な命令に従うことを学習することは可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-22T14:42:29Z)
• Instruct and Extract: Instruction Tuning for On-Demand Information Extraction [86.29491354355356]
  On-Demand Information extractは、現実世界のユーザのパーソナライズされた要求を満たすことを目的としている。 InstructIEというベンチマークを、自動生成したトレーニングデータと、人手による注釈付きテストセットの両方を含む形で提示する。 InstructIE 上に構築した On-Demand Information Extractor, ODIE をさらに発展させる。
  論文  参考訳（メタデータ） (2023-10-24T17:54:25Z)
• I3: Intent-Introspective Retrieval Conditioned on Instructions [83.91776238599824]
  I3は,タスク固有の訓練を使わずに,インストラクションに条件付けられた様々なタスクに対して,インテント・イントロスペクティブ検索を行う統合検索システムである。 I3は、特定の検索意図を理解するために、パラメータ分離された方法でプラグ可能なイントロスペクタを組み込む。 LLM生成データを利用してI3フェーズ・バイ・フェイズを訓練し、プログレッシブ・ストラクチャー・プルーニングとドローバック・ベースのデータリファインメントという2つの重要な設計を具現化した。
  論文  参考訳（メタデータ） (2023-08-19T14:17:57Z)
• Task-aware Retrieval with Instructions [91.87694020194316]
  そこで本研究では,検索システムのユーザがクエリとともに意図を明示的に記述する,命令による検索の問題について検討する。 本稿では,多様な検索タスクを指示で訓練したマルチタスク検索システムTARTを提案する。 TARTは命令を通じて新しいタスクに適応する強力な能力を示し、2つのゼロショット検索ベンチマークでテクニックの状態を向上する。
  論文  参考訳（メタデータ） (2022-11-16T23:13:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。