論文の概要: InstructRetro: Instruction Tuning post Retrieval-Augmented Pretraining

• arxiv url: http://arxiv.org/abs/2310.07713v1
• Date: Wed, 11 Oct 2023 17:59:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 21:18:49.464538
• Title: InstructRetro: Instruction Tuning post Retrieval-Augmented Pretraining
• Title（参考訳）: InstructRetro: Retrieval-Augmented Pretrainingのインストラクションチューニング
• Authors: Boxin Wang, Wei Ping, Lawrence McAfee, Peng Xu, Bo Li, Mohammad Shoeybi, Bryan Catanzaro
• Abstract要約: 本稿では,命令チューニング前の検索で事前訓練された最大の大規模言語モデルであるRetro 48Bを紹介する。 Retro 48Bはオリジナルの43B GPTよりも難易度が高い。 InstructRetroは、ゼロショット質問応答(QA)タスクでチューニングされたGPTよりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 49.990885186212815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretraining auto-regressive large language models (LLMs) with retrieval demonstrates better perplexity and factual accuracy by leveraging external databases. However, the size of existing pretrained retrieval-augmented LLM is still limited (e.g., Retro has 7.5B parameters), which limits the effectiveness of instruction tuning and zero-shot generalization. In this work, we introduce Retro 48B, the largest LLM pretrained with retrieval before instruction tuning. Specifically, we continue to pretrain the 43B GPT model on additional 100 billion tokens using the Retro augmentation method by retrieving from 1.2 trillion tokens. The obtained foundation model, Retro 48B, largely outperforms the original 43B GPT in terms of perplexity. After instruction tuning on Retro, InstructRetro demonstrates significant improvement over the instruction tuned GPT on zero-shot question answering (QA) tasks. Specifically, the average improvement of InstructRetro is 7% over its GPT counterpart across 8 short-form QA tasks, and 10% over GPT across 4 challenging long-form QA tasks. Surprisingly, we find that one can ablate the encoder from InstructRetro architecture and directly use its decoder backbone, while achieving comparable results. We hypothesize that pretraining with retrieval makes its decoder good at incorporating context for QA. Our results highlights the promising direction to obtain a better GPT decoder for QA through continued pretraining with retrieval before instruction tuning.
• Abstract（参考訳）: 自動回帰型大言語モデル (LLM) の検索による事前学習は, 外部データベースを活用することにより, 難易度と事実精度が向上することを示す。 しかし、既存の事前訓練された検索拡張LDMのサイズは依然として制限されており(例えばRetroは7.5Bパラメータを持つ)、命令チューニングとゼロショットの一般化の有効性を制限している。 そこで,本研究では,学習前最大のLLMであるRetro 48Bを紹介する。 具体的には、13兆のトークンから検索することでRetro拡張法を用いて、さらに1000億のトークンに対して43B GPTモデルを事前訓練し続けます。 得られた基礎モデルであるレトロ48bは、パープレキシティの点でオリジナルの43b gptを大きく上回っている。 レトロでの命令チューニングの後、instructretroはゼロショット質問応答(qa)タスクでチューニングされたgptよりも大幅な改善を示す。 具体的には、InstructRetroの平均的な改善は、8つの短期QAタスクでGPTよりも7%、そして4つの挑戦的な長期QAタスクでGPTよりも10%である。 驚いたことに、instructretroアーキテクチャからエンコーダを外すことができ、デコーダバックボーンを直接使用でき、同等の結果を得ることができる。 我々は、検索による事前学習が、そのデコーダをQAの文脈をうまく組み込むことを仮定する。 この結果から,学習前の検索を継続することで,より優れたGPTデコーダをQAに提供できる可能性が示唆された。

関連論文リスト

• Revisiting the Power of Prompt for Visual Tuning [50.11465784194896]
  本研究では,プロンプトとパッチトークンの相互関係について検討した。 プロンプトトークンはパッチトークンと高い相互情報を共有する傾向にあるという観測から着想を得て,下流トークンのプロトタイプを用いた初期化プロンプトを提案する。 本手法は, 自己指導型プレトレーニングの適応性を著しく向上させ, 少なくとも10%から30%のタスク性能向上を実現した。
  論文  参考訳（メタデータ） (2024-02-04T07:49:02Z)
• Shall We Pretrain Autoregressive Language Models with Retrieval? A Comprehensive Study [115.96080028033904]
  本稿では,拡張性のある事前学習型検索拡張LM(RETRO)について,標準GPTと検索拡張GPTと比較した。 本研究は, 将来の基盤モデルとしての検索による自己回帰型LMの事前学習の方向性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-04-13T18:04:19Z)
• Instruction Tuning with GPT-4 [107.55078894215798]
  本稿では, GPT-4を用いて命令追従データを生成し, 大規模言語モデルを微調整する試みについて述べる。 命令調整型LLaMAモデルの初期実験では、52Kの英語と中国語の命令追従データがGPT-4によって生成され、新しいタスクにおけるゼロショット性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-04-06T17:58:09Z)
• The Wisdom of Hindsight Makes Language Models Better Instruction Followers [84.9120606803906]
  強化学習は、人間のフィードバックによる指示に合うように、大きな言語モデルを微調整することに成功している。 そこで本稿では,本論文で提案するアプローチとして,原文を緩和することでフィードバックを指導に変換する手法と,教師付き手法によるアライメント向上のためのモデルをトレーニングする手法を提案する。 言語モデルと命令を整合させる新しいアルゴリズムであるHIR(Hindsight Instruction Relabeling)を提案する。
  論文  参考訳（メタデータ） (2023-02-10T12:16:38Z)
• Re2G: Retrieve, Rerank, Generate [14.848179433828252]
  ニューラル初期検索とBARTに基づくシーケンス・ツー・シーケンス生成を併用したRe2Gを提案する。 エンド・ツー・エンドをトレーニングするために,本システムでは,対象シーケンスの出力に対して,基礎的真理のみを用いて,知識蒸留の新たなバリエーションを導入し,初期検索,再ランカ,生成を訓練する。 KILTのリーダーボード上では、ゼロショットスロットフィリング、質問応答、ファクトチェック、ダイアログの4つのタスクにおいて、従来の最先端よりも9%から34%向上した。
  論文  参考訳（メタデータ） (2022-07-13T15:51:40Z)
• Improving language models by retrieving from trillions of tokens [50.42630445476544]
  大規模コーパスから取得した文書チャンクを条件付けすることで,自動回帰言語モデルを強化する。 2兆ドルのトークンデータベースで、Retrieval-Enhanced Transformer (RETRO)は、PileのGPT-3とJurassic-1に匹敵するパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-12-08T17:32:34Z)
• Efficiently Teaching an Effective Dense Retriever with Balanced Topic Aware Sampling [37.01593605084575]
  TAS-Balancedは、効率的なトピック認識クエリとバランスの取れたマージンサンプリング技術です。 本稿では,2つのTRECディープラーニングトラッククエリセットに対して,最先端の低レイテンシ(クエリ毎64ms)を実現するTAS-Balancedトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-04-14T16:49:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。