論文の概要: InstructRetro: Instruction Tuning post Retrieval-Augmented Pretraining

• arxiv url: http://arxiv.org/abs/2310.07713v3
• Date: Wed, 29 May 2024 04:15:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 02:11:35.630316
• Title: InstructRetro: Instruction Tuning post Retrieval-Augmented Pretraining
• Title（参考訳）: InstructRetro: Retrieval-Augmented Pretrainingのインストラクションチューニング
• Authors: Boxin Wang, Wei Ping, Lawrence McAfee, Peng Xu, Bo Li, Mohammad Shoeybi, Bryan Catanzaro,
• Abstract要約: Retro 48Bは検索で事前訓練された最大の大規模言語モデルである。 InstructRetroは、幅広いゼロショットタスクでチューニングされたGPTよりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 47.60376031955207
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretraining auto-regressive large language models~(LLMs) with retrieval demonstrates better perplexity and factual accuracy by leveraging external databases. However, the size of existing pretrained retrieval-augmented LLM is still limited (e.g., Retro has 7.5B parameters), which limits the effectiveness of instruction tuning and zero-shot generalization. In this work, we introduce Retro 48B, the largest LLM pretrained with retrieval. Specifically, we continue to pretrain a 43B GPT model on additional 100 billion tokens using the Retro augmentation method by retrieving from 1.2 trillion tokens. Notably, the obtained foundation model, Retro 48B, largely outperforms the counterpart GPT 43B trained on 1.2T tokens in terms of perplexity with only 2.58% additional GPU hours, demonstrating the significant scaling potential of the method. After instruction tuning on Retro, InstructRetro demonstrates significant improvement over the instruction tuned GPT on a wide range of zero-shot tasks. Specifically, the average improvement of InstructRetro is 7% over its GPT counterpart across 8 short-form QA and reading comprehension tasks, 10% over GPT across 4 challenging long-form QA tasks, and 16% over GPT across 3 summarization tasks. Surprisingly, we find that one can ablate the encoder from InstructRetro architecture and directly use its decoder backbone, while achieving comparable results. Our results highlight the promising direction to obtain a better GPT decoder through continued pretraining with retrieval before instruction tuning. Our code and checkpoints are publicly available at: https://huggingface.co/nvidia/retro-48b-instruct-4k.
• Abstract（参考訳）: 自動回帰型大言語モデル~(LLM)の検索による事前学習は、外部データベースを活用することにより、より複雑で現実的な正確性を示す。 しかし、既存の事前学習によるLLMのサイズは制限されている(例えば、Retroは7.5Bパラメータを持つ)ため、命令チューニングとゼロショットの一般化の有効性が制限されている。 本稿では,検索を前提としたLLMとしては最大規模のRetro 48Bを紹介する。 具体的には、12兆のトークンから検索することで、Retro拡張法を用いて、さらに1000億のトークンに43BのGPTモデルを事前訓練し続けます。 特に、得られた基盤モデルであるRetro 48Bは、1.2TトークンでトレーニングされたGPT 43Bを、わずか2.58%のGPU時間で上回っており、この手法のスケーリング可能性を示している。 Retroでのインストラクションチューニングの後、InstructRetroは幅広いゼロショットタスクにおいて、命令チューニングされたGPTよりも大幅に改善されていることを示す。 具体的には、InstructRetroの平均的な改善は、8つの短い形式QAにまたがるGPTよりも7%、長い形式QAに10%、そして3つの要約タスクに16%である。 驚いたことに、InstructRetroアーキテクチャからエンコーダを廃止し、デコーダのバックボーンを直接使用でき、同等の結果が得られます。 提案手法は, 学習前の検索を継続し, より優れたGPTデコーダを得るための有望な方向を示すものである。 私たちのコードとチェックポイントは、https://huggingface.co/nvidia/retro-48b-instruct-4k.comで公開されています。

関連論文リスト

• Follow My Instruction and Spill the Beans: Scalable Data Extraction from Retrieval-Augmented Generation Systems [22.142588104314175]
  本稿では,命令調整されたLMを組み込んだRAGシステムのデータストアから,命令追従機能を利用してテキストデータを冗長に抽出できることを,インプロンプトインジェクションにより示す。 ランダムに選択された25個のGPTに対して、100%の成功率でデータストアリークを引き起こす攻撃を設計する。 我々は,1,569,000語のコーパスから77,000語の本から41%の動詞率でテキストデータを抽出する。
  論文  参考訳（メタデータ） (2024-02-27T19:08:05Z)
• Revisiting the Power of Prompt for Visual Tuning [50.11465784194896]
  本研究では,プロンプトとパッチトークンの相互関係について検討した。 プロンプトトークンはパッチトークンと高い相互情報を共有する傾向にあるという観測から着想を得て,下流トークンのプロトタイプを用いた初期化プロンプトを提案する。 本手法は, 自己指導型プレトレーニングの適応性を著しく向上させ, 少なくとも10%から30%のタスク性能向上を実現した。
  論文  参考訳（メタデータ） (2024-02-04T07:49:02Z)
• Shall We Pretrain Autoregressive Language Models with Retrieval? A Comprehensive Study [115.96080028033904]
  本稿では,拡張性のある事前学習型検索拡張LM(RETRO)について,標準GPTと検索拡張GPTと比較した。 本研究は, 将来の基盤モデルとしての検索による自己回帰型LMの事前学習の方向性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-04-13T18:04:19Z)
• Instruction Tuning with GPT-4 [107.55078894215798]
  本稿では, GPT-4を用いて命令追従データを生成し, 大規模言語モデルを微調整する試みについて述べる。 命令調整型LLaMAモデルの初期実験では、52Kの英語と中国語の命令追従データがGPT-4によって生成され、新しいタスクにおけるゼロショット性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-04-06T17:58:09Z)
• The Wisdom of Hindsight Makes Language Models Better Instruction Followers [84.9120606803906]
  強化学習は、人間のフィードバックによる指示に合うように、大きな言語モデルを微調整することに成功している。 そこで本稿では,本論文で提案するアプローチとして,原文を緩和することでフィードバックを指導に変換する手法と,教師付き手法によるアライメント向上のためのモデルをトレーニングする手法を提案する。 言語モデルと命令を整合させる新しいアルゴリズムであるHIR(Hindsight Instruction Relabeling)を提案する。
  論文  参考訳（メタデータ） (2023-02-10T12:16:38Z)
• Re2G: Retrieve, Rerank, Generate [14.848179433828252]
  ニューラル初期検索とBARTに基づくシーケンス・ツー・シーケンス生成を併用したRe2Gを提案する。 エンド・ツー・エンドをトレーニングするために,本システムでは,対象シーケンスの出力に対して,基礎的真理のみを用いて,知識蒸留の新たなバリエーションを導入し,初期検索,再ランカ,生成を訓練する。 KILTのリーダーボード上では、ゼロショットスロットフィリング、質問応答、ファクトチェック、ダイアログの4つのタスクにおいて、従来の最先端よりも9%から34%向上した。
  論文  参考訳（メタデータ） (2022-07-13T15:51:40Z)
• Improving language models by retrieving from trillions of tokens [50.42630445476544]
  大規模コーパスから取得した文書チャンクを条件付けすることで,自動回帰言語モデルを強化する。 2兆ドルのトークンデータベースで、Retrieval-Enhanced Transformer (RETRO)は、PileのGPT-3とJurassic-1に匹敵するパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-12-08T17:32:34Z)
• Efficiently Teaching an Effective Dense Retriever with Balanced Topic Aware Sampling [37.01593605084575]
  TAS-Balancedは、効率的なトピック認識クエリとバランスの取れたマージンサンプリング技術です。 本稿では,2つのTRECディープラーニングトラッククエリセットに対して,最先端の低レイテンシ(クエリ毎64ms)を実現するTAS-Balancedトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-04-14T16:49:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。