論文の概要: INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning

• arxiv url: http://arxiv.org/abs/2401.06532v3
• Date: Tue, 28 May 2024 13:58:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 03:57:34.469031
• Title: INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning
• Title（参考訳）: InterS: インストラクションチューニングによる検索における大規模言語モデルのパワーの解放
• Authors: Yutao Zhu, Peitian Zhang, Chenghao Zhang, Yifei Chen, Binyu Xie, Zheng Liu, Ji-Rong Wen, Zhicheng Dou,
• Abstract要約: 大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
• 参考スコア（独自算出の注目度）: 59.07490387145391
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated impressive capabilities in various natural language processing tasks. Despite this, their application to information retrieval (IR) tasks is still challenging due to the infrequent occurrence of many IR-specific concepts in natural language. While prompt-based methods can provide task descriptions to LLMs, they often fall short in facilitating a comprehensive understanding and execution of IR tasks, thereby limiting LLMs' applicability. To address this gap, in this work, we explore the potential of instruction tuning to enhance LLMs' proficiency in IR tasks. We introduce a novel instruction tuning dataset, INTERS, encompassing 20 tasks across three fundamental IR categories: query understanding, document understanding, and query-document relationship understanding. The data are derived from 43 distinct datasets with manually written templates. Our empirical results reveal that INTERS significantly boosts the performance of various publicly available LLMs, such as LLaMA, Mistral, and Phi, in IR tasks. Furthermore, we conduct extensive experiments to analyze the effects of instruction design, template diversity, few-shot demonstrations, and the volume of instructions on performance. We make our dataset and the fine-tuned models publicly accessible at https://github.com/DaoD/INTERS.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 それにもかかわらず、情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 プロンプトベースのメソッドはLLMにタスク記述を提供することができるが、IRタスクの包括的な理解と実行を容易にするのに不足するため、LLMの適用性が制限されることが多い。 このギャップに対処するため、本研究では、IRタスクにおけるLLMの習熟度を高めるために、命令チューニングの可能性について検討する。 我々は,クエリ理解,文書理解,クエリドキュメント関係理解という3つの基本的なIRカテゴリにまたがる20のタスクを含む,新しい命令チューニングデータセット InterS を導入する。 データは、手書きのテンプレートを持つ43の異なるデータセットから導出される。 実験結果から、IRタスクにおいて、InterSはLLaMA、Mistral、Phiといった様々な公開LLMの性能を大幅に向上させることが明らかとなった。 さらに、命令設計、テンプレートの多様性、数発のデモ、および命令のボリュームがパフォーマンスに与える影響を分析するための広範な実験を行った。 データセットと微調整されたモデルをhttps://github.com/DaoD/INTERSで公開しています。

関連論文リスト

• A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks [0.0]
  大規模言語モデル(LLM)は多くの異なる自然言語処理(NLP)タスクにおいて顕著なパフォーマンスを示している。 プロンプトエンジニアリングは、大きなパフォーマンス向上を達成するために、既に存在するLLMの能力に追加する上で重要な役割を担います。 本稿では、異なるプロンプト手法を要約し、それらが用いた異なるNLPタスクに基づいてそれらをまとめる。
  論文  参考訳（メタデータ） (2024-07-17T20:23:19Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Self-Retrieval: Building an Information Retrieval System with One Large Language Model [102.78988790457004]
  Self-Retrievalは、エンドツーエンドのLLM駆動の情報検索アーキテクチャである。 本稿では,自己検索が従来の検索手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-23T18:45:35Z)
• Learning to Reduce: Optimal Representations of Structured Data in Prompting Large Language Models [42.16047343029512]
  大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。 本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。 入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-22T00:41:23Z)
• Helping Language Models Learn More: Multi-dimensional Task Prompt for Few-shot Tuning [36.14688633670085]
  本稿では,タスク関連オブジェクト,要約,タスク記述情報に基づく多次元タスクプロンプト学習手法MTPromptを提案する。 提案するMTPromptは,適切なプロンプトを自動構築し,検索することで,いくつかのサンプル設定と5つの異なるデータセットに対して最適な結果が得られる。
  論文  参考訳（メタデータ） (2023-12-13T10:00:44Z)
• Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
  大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。 既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。 複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
  論文  参考訳（メタデータ） (2023-09-17T04:18:39Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。