論文の概要: ControlRetriever: Harnessing the Power of Instructions for Controllable
Retrieval
- arxiv url: http://arxiv.org/abs/2308.10025v1
- Date: Sat, 19 Aug 2023 14:17:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 18:17:05.359369
- Title: ControlRetriever: Harnessing the Power of Instructions for Controllable
Retrieval
- Title(参考訳): ControlRetriever: 制御可能な検索のためのインストラクションのパワーを損なう
- Authors: Kaihang Pan, Juncheng Li, Hongye Song, Hao Fei, Wei Ji, Shuo Zhang,
Jun Lin, Xiaozhong Liu, Siliang Tang
- Abstract要約: 本稿では,多種多様な検索タスクを直接実行する高密度検索モデルを制御する制御レトリバーについて紹介する。
ControlRetrieverは、タスク固有の命令でガイドされている間、新しい制御可能な検索能力で異なる検索モデルに報いる。
- 参考スコア(独自算出の注目度): 53.06863641229893
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies have shown that dense retrieval models, lacking dedicated
training data, struggle to perform well across diverse retrieval tasks, as
different retrieval tasks often entail distinct search intents. To address this
challenge, in this work we introduce ControlRetriever, a generic and efficient
approach with a parameter isolated architecture, capable of controlling dense
retrieval models to directly perform varied retrieval tasks, harnessing the
power of instructions that explicitly describe retrieval intents in natural
language. Leveraging the foundation of ControlNet, which has proven powerful in
text-to-image generation, ControlRetriever imbues different retrieval models
with the new capacity of controllable retrieval, all while being guided by
task-specific instructions. Furthermore, we propose a novel LLM guided
Instruction Synthesizing and Iterative Training strategy, which iteratively
tunes ControlRetriever based on extensive automatically-generated retrieval
data with diverse instructions by capitalizing the advancement of large
language models. Extensive experiments show that in the BEIR benchmark, with
only natural language descriptions of specific retrieval intent for each task,
ControlRetriever, as a unified multi-task retrieval system without
task-specific tuning, significantly outperforms baseline methods designed with
task-specific retrievers and also achieves state-of-the-art zero-shot
performance.
- Abstract(参考訳): 近年の研究では、専用のトレーニングデータを持たない密集した検索モデルは、異なる検索タスクに異なる検索意図が伴うため、様々な検索タスクでうまく実行できないことが示されている。
この課題に対処するため,我々は,自然言語における検索意図を明示的に記述する命令のパワーを活かして,多種多様な検索タスクを直接実行するための密検索モデルを制御することができる,パラメータ分離アーキテクチャを用いた汎用的かつ効率的なアプローチである controlretriever を導入する。
テキストから画像への生成で強力であることが証明されたcontrolnetの基盤を活用して、controlretrieverは、タスク固有の指示に導かれながら、制御可能な検索能力を持つ異なる検索モデルを模倣する。
さらに,大規模言語モデルの進歩を活かし,多種多様な命令を含む広範囲な自動生成検索データに基づいて,制御を反復的にチューニングする,llm誘導型指導合成反復学習戦略を提案する。
広範な実験により、beirベンチマークでは、タスクごとに特定の検索意図を自然言語で記述するだけで、controlretrieverはタスク固有のチューニングなしで統一されたマルチタスク検索システムとして、タスク固有のレトリバーで設計されたベースラインメソッドを大幅に上回り、最先端のゼロショット性能を実現している。
関連論文リスト
- Towards a Unified Language Model for Knowledge-Intensive Tasks Utilizing
External Corpus [22.27534528275182]
各種知識集約型タスクに外部コーパスを利用する統一言語モデルを提案する。
提案手法は, 2種類のバックボーンモデルを用いて, KILTベンチマークを用いて評価した。
実験の結果,検索および下流の知識集約タスクにおいて,モデルの性能が優れていることが示された。
論文 参考訳(メタデータ) (2024-02-02T06:44:22Z) - Improving Multitask Retrieval by Promoting Task Specialization [36.06044647938725]
タスク特化を促進することでタスク特化レトリバーより優れたマルチタスクレトリバーを訓練できることを示す。
このモデルは、素早い学習や適応学習を伴わずに、単純マルチタスクよりもタスク特化されたパラメータを実際に学習する。
論文 参考訳(メタデータ) (2023-07-01T13:45:15Z) - End-to-end Knowledge Retrieval with Multi-modal Queries [50.01264794081951]
ReMuQは、テキストと画像のクエリからコンテンツを統合することで、大規模なコーパスから知識を取得するシステムを必要とする。
本稿では,入力テキストや画像を直接処理し,関連する知識をエンドツーエンドで検索する検索モデルReViz'を提案する。
ゼロショット設定下での2つのデータセットの検索において,優れた性能を示す。
論文 参考訳(メタデータ) (2023-06-01T08:04:12Z) - MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction
Tuning [24.741736629886564]
インストラクションチューニングは、命令によって指定されたタスクで事前訓練された言語モデルを微調整する新しい学習パラダイムである。
MUL-TIINSTRUCTは,最初のマルチモーダル・インストラクション・チューニング・ベンチマーク・データセットである。
各種マルチモーダルタスクにおけるゼロショット性能と,テキストのみの命令データセットからの変換学習の利点を示す。
論文 参考訳(メタデータ) (2022-12-21T05:17:06Z) - Task-aware Retrieval with Instructions [91.87694020194316]
そこで本研究では,検索システムのユーザがクエリとともに意図を明示的に記述する,命令による検索の問題について検討する。
本稿では,多様な検索タスクを指示で訓練したマルチタスク検索システムTARTを提案する。
TARTは命令を通じて新しいタスクに適応する強力な能力を示し、2つのゼロショット検索ベンチマークでテクニックの状態を向上する。
論文 参考訳(メタデータ) (2022-11-16T23:13:22Z) - Promptagator: Few-shot Dense Retrieval From 8 Examples [34.78085795791609]
Few-shot Dense Retrievalは、各タスクが短い説明といくつかの例を持ってくる設定である。
Promptagatorは生成されたデータに基づいてタスク固有のレトリバーを生成する。
論文 参考訳(メタデータ) (2022-09-23T17:59:06Z) - Prompt Tuning with Soft Context Sharing for Vision-Language Models [56.628198024857056]
本稿では,複数目的の複数ショットタスクに対して,事前学習した視覚言語モデルを同時に微調整する手法を提案する。
実験では、SoftCPTは、代表的なシングルタスクプロンプトチューニング手法であるCoOpを大きなマージンで上回る。
論文 参考訳(メタデータ) (2022-08-29T10:19:10Z) - Fast Inference and Transfer of Compositional Task Structures for
Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。
我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。
提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文 参考訳(メタデータ) (2022-05-25T10:44:25Z) - Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。
マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。
タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
論文 参考訳(メタデータ) (2021-04-28T16:45:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。