論文の概要: Task-aware Retrieval with Instructions
- arxiv url: http://arxiv.org/abs/2211.09260v1
- Date: Wed, 16 Nov 2022 23:13:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 16:02:01.804906
- Title: Task-aware Retrieval with Instructions
- Title(参考訳): 命令を用いたタスクアウェア検索
- Authors: Akari Asai, Timo Schick, Patrick Lewis, Xilun Chen, Gautier Izacard,
Sebastian Riedel, Hannaneh Hajishirzi, Wen-tau Yih
- Abstract要約: そこで本研究では,検索システムのユーザがクエリとともに意図を明示的に記述する,命令による検索の問題について検討する。
本稿では,多様な検索タスクを指示で訓練したマルチタスク検索システムTARTを提案する。
TARTは命令を通じて新しいタスクに適応する強力な能力を示し、2つのゼロショット検索ベンチマークでテクニックの状態を向上する。
- 参考スコア(独自算出の注目度): 91.87694020194316
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the problem of retrieval with instructions, where users of a
retrieval system explicitly describe their intent along with their queries,
making the system task-aware. We aim to develop a general-purpose task-aware
retrieval systems using multi-task instruction tuning that can follow
human-written instructions to find the best documents for a given query. To
this end, we introduce the first large-scale collection of approximately 40
retrieval datasets with instructions, and present TART, a multi-task retrieval
system trained on the diverse retrieval tasks with instructions. TART shows
strong capabilities to adapt to a new task via instructions and advances the
state of the art on two zero-shot retrieval benchmarks, BEIR and LOTTE,
outperforming models up to three times larger. We further introduce a new
evaluation setup to better reflect real-world scenarios, pooling diverse
documents and tasks. In this setup, TART significantly outperforms competitive
baselines, further demonstrating the effectiveness of guiding retrieval with
instructions.
- Abstract(参考訳): そこで本研究では,検索システムのユーザがクエリとともに意図を明示的に記述し,システムにタスクを認識させる方法を提案する。
本稿では,与えられた問合せに最適な文書を見つけるために,人間が書いた命令を追従できるマルチタスク命令チューニングを用いた汎用タスク認識検索システムを開発することを目的とする。
そこで本研究では,命令付き検索データセット約40点を大規模に収集し,多種多様な検索タスクで学習したマルチタスク検索システム tart を提案する。
TARTは命令によって新しいタスクに適応する強力な能力を示し、2つのゼロショット検索ベンチマークであるBEIRとLOTTEで、最大3倍の精度でモデルのパフォーマンスを向上する。
さらに,実世界のシナリオをよりよく反映する新しい評価設定を導入し,多様な文書やタスクをプールする。
この設定では、TARTは競争ベースラインを大幅に上回り、さらに命令による検索を導く効果を示す。
関連論文リスト
- Instruction Embedding: Latent Representations of Instructions Towards Task Identification [20.327984896070053]
教育データにとって最も重要な側面は、特定の意味論や知識情報ではなく、それが表すタスクである。
本研究では,そのトレーニングと評価のための新しい概念,命令埋め込み,命令埋め込みベンチマーク(IEB)の構築について紹介する。
論文 参考訳(メタデータ) (2024-09-29T12:12:24Z) - Instruct-ReID++: Towards Universal Purpose Instruction-Guided Person Re-identification [62.894790379098005]
本稿では,与えられた画像や言語命令に従って,モデルに画像の検索を要求する新しい命令-ReIDタスクを提案する。
Instruct-ReIDは一般的なReID設定の最初の探索であり、既存の6つのReIDタスクを異なる命令を割り当てることで特別なケースとして見ることができる。
本稿では,新しいベースラインモデル IRM を提案する。
論文 参考訳(メタデータ) (2024-05-28T03:35:46Z) - FollowIR: Evaluating and Teaching Information Retrieval Models to Follow Instructions [71.5977045423177]
本稿では,情報検索システムにおける命令の利用について検討する。
厳密なインストラクション評価ベンチマークを含むデータセットFollowIRを紹介した。
我々は、IRモデルが複雑な命令に従うことを学習することは可能であることを示す。
論文 参考訳(メタデータ) (2024-03-22T14:42:29Z) - I3: Intent-Introspective Retrieval Conditioned on Instructions [83.91776238599824]
I3は,タスク固有の訓練を使わずに,インストラクションに条件付けられた様々なタスクに対して,インテント・イントロスペクティブ検索を行う統合検索システムである。
I3は、特定の検索意図を理解するために、パラメータ分離された方法でプラグ可能なイントロスペクタを組み込む。
LLM生成データを利用してI3フェーズ・バイ・フェイズを訓練し、プログレッシブ・ストラクチャー・プルーニングとドローバック・ベースのデータリファインメントという2つの重要な設計を具現化した。
論文 参考訳(メタデータ) (2023-08-19T14:17:57Z) - Automated Few-shot Classification with Instruction-Finetuned Language
Models [76.69064714392165]
我々は、AuT-Fewが最先端の数ショット学習方法より優れていることを示す。
AuT-Few は RAFT few-shot ベンチマークにおいて,データセット間で最高のランク付け手法であることを示す。
論文 参考訳(メタデータ) (2023-05-21T21:50:27Z) - InstructUIE: Multi-task Instruction Tuning for Unified Information
Extraction [25.14501269639789]
InstructUIEは、インストラクションチューニングに基づく統合情報抽出フレームワークである。
本稿では,インストラクションチューニングに基づく統合情報抽出フレームワークであるInstructUIEを提案する。
論文 参考訳(メタデータ) (2023-04-17T09:00:50Z) - CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented
Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。
命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。
これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文 参考訳(メタデータ) (2021-09-10T03:23:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。