論文の概要: INTERS: Unlocking the Power of Large Language Models in Search with
Instruction Tuning
- arxiv url: http://arxiv.org/abs/2401.06532v2
- Date: Mon, 19 Feb 2024 10:26:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 03:43:30.336111
- Title: INTERS: Unlocking the Power of Large Language Models in Search with
Instruction Tuning
- Title(参考訳): inters: インストラクションチューニングによる検索における大規模言語モデルのパワーアンロック
- Authors: Yutao Zhu, Peitian Zhang, Chenghao Zhang, Yifei Chen, Binyu Xie,
Zhicheng Dou, Zheng Liu, and Ji-Rong Wen
- Abstract要約: 大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。
情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。
我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
- 参考スコア(独自算出の注目度): 59.07490387145391
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have demonstrated impressive capabilities in
various natural language processing tasks. Despite this, their application to
information retrieval (IR) tasks is still challenging due to the infrequent
occurrence of many IR-specific concepts in natural language. While prompt-based
methods can provide task descriptions to LLMs, they often fall short in
facilitating a comprehensive understanding and execution of IR tasks, thereby
limiting LLMs' applicability. To address this gap, in this work, we explore the
potential of instruction tuning to enhance LLMs' proficiency in IR tasks. We
introduce a novel instruction tuning dataset, INTERS, encompassing 20 tasks
across three fundamental IR categories: query understanding, document
understanding, and query-document relationship understanding. The data are
derived from 43 distinct datasets with manually written templates. Our
empirical results reveal that INTERS significantly boosts the performance of
various publicly available LLMs, such as LLaMA, Mistral, and Phi, in IR tasks.
Furthermore, we conduct extensive experiments to analyze the effects of
instruction design, template diversity, few-shot demonstrations, and the volume
of instructions on performance. We make our dataset and the fine-tuned models
publicly accessible at~\url{https://github.com/DaoD/INTERS}.
- Abstract(参考訳): 大規模言語モデル(llm)は、様々な自然言語処理タスクにおいて印象的な能力を示している。
それにもかかわらず、情報検索(IR)タスクへの適用は、自然言語における多くのIR固有の概念が頻繁に発生するため、依然として困難である。
プロンプトベースのメソッドは llms にタスク記述を提供するが、ir タスクの包括的理解と実行を容易にするため、llms の適用性が制限されることが多い。
このギャップに対処するため、本研究では、IRタスクにおけるLLMの習熟度を高めるための命令チューニングの可能性を探る。
我々は,クエリ理解,文書理解,クエリドキュメント関係理解という3つの基本的なIRカテゴリにまたがる20のタスクを含む,新しい命令チューニングデータセット InterS を導入する。
データは、手書きのテンプレートを持つ43の異なるデータセットから導出される。
実験結果から、IRタスクにおいて、InterSはLLaMA、Mistral、Phiといった様々な公開LLMの性能を大幅に向上させることが明らかとなった。
さらに, 命令設計, テンプレートの多様性, 少数のデモ, 命令の量による性能への影響を解析するために, 広範囲にわたる実験を行った。
データセットと微調整されたモデルは、~\url{https://github.com/daod/inters}で公開できます。
関連論文リスト
- Fine-tuning Large Language Models with Sequential Instructions [2.8967653906025426]
大きな言語モデル(LLM)は、その一部を無視したり誤解させたりするため、単一のクエリで命令列に従うのに苦労する。
本稿では,命令処理データを自動的に拡張し,複数の逐次命令を実行する能力を備えたLCMを装備するシーケンシャル命令チューニング手法を提案する。
逐次的命令調整モデルは、推論、多言語、マルチモーダル能力を含む下流タスクにおいて、従来の命令調整ベースラインを一貫して上回ります。
論文 参考訳(メタデータ) (2024-03-12T16:33:30Z) - Self-Retrieval: Building an Information Retrieval System with One Large
Language Model [102.78988790457004]
Self-Retrievalは、エンドツーエンドのLLM駆動の情報検索アーキテクチャである。
本稿では,自己検索が従来の検索手法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2024-02-23T18:45:35Z) - Learning to Reduce: Optimal Representations of Structured Data in
Prompting Large Language Models [42.16047343029512]
大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。
本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。
入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
論文 参考訳(メタデータ) (2024-02-22T00:41:23Z) - kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest
Neighbor In-Context Learning [50.40636157214161]
Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。
LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。
本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
論文 参考訳(メタデータ) (2023-12-17T17:26:50Z) - Helping Language Models Learn More: Multi-dimensional Task Prompt for
Few-shot Tuning [36.14688633670085]
本稿では,タスク関連オブジェクト,要約,タスク記述情報に基づく多次元タスクプロンプト学習手法MTPromptを提案する。
提案するMTPromptは,適切なプロンプトを自動構築し,検索することで,いくつかのサンプル設定と5つの異なるデータセットに対して最適な結果が得られる。
論文 参考訳(メタデータ) (2023-12-13T10:00:44Z) - Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。
既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。
複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
論文 参考訳(メタデータ) (2023-09-17T04:18:39Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-05-24T10:08:04Z) - ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for
Document Information Extraction [56.790794611002106]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。
ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。
具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
論文 参考訳(メタデータ) (2023-03-09T06:24:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。