論文の概要: REPLUG: Retrieval-Augmented Black-Box Language Models

• arxiv url: http://arxiv.org/abs/2301.12652v4
• Date: Wed, 24 May 2023 05:08:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 11:25:27.749012
• Title: REPLUG: Retrieval-Augmented Black-Box Language Models
• Title（参考訳）: replug: 検索型ブラックボックス言語モデル
• Authors: Weijia Shi, Sewon Min, Michihiro Yasunaga, Minjoon Seo, Rich James, Mike Lewis, Luke Zettlemoyer, Wen-tau Yih
• Abstract要約: REPLUGは、言語モデル(LM)をブラックボックスとして扱い、調整可能な検索モデルで拡張する検索拡張言語モデリングフレームワークである。 その結果,REPLUG は言語モデリングにおける GPT-3 (175B) の性能を6.3%向上させるとともに,5ショットMMLU における Codex の性能を5.1%向上させることがわかった。
• 参考スコア（独自算出の注目度）: 101.60145719119373
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce REPLUG, a retrieval-augmented language modeling framework that treats the language model (LM) as a black box and augments it with a tuneable retrieval model. Unlike prior retrieval-augmented LMs that train language models with special cross attention mechanisms to encode the retrieved text, REPLUG simply prepends retrieved documents to the input for the frozen black-box LM. This simple design can be easily applied to any existing retrieval and language models. Furthermore, we show that the LM can be used to supervise the retrieval model, which can then find documents that help the LM make better predictions. Our experiments demonstrate that REPLUG with the tuned retriever significantly improves the performance of GPT-3 (175B) on language modeling by 6.3%, as well as the performance of Codex on five-shot MMLU by 5.1%.
• Abstract（参考訳）: 本稿では,言語モデル(LM)をブラックボックスとして扱い,調整可能な検索モデルで拡張する検索拡張言語モデリングフレームワークREPLUGを紹介する。 検索されたテキストをエンコードするために特別なクロスアテンション機構を持つ言語モデルを訓練する以前の検索拡張LMとは異なり、REPLUGは検索した文書を凍結したブラックボックスLMの入力に単純にプリペンドする。 このシンプルな設計は、既存の検索モデルや言語モデルにも容易に適用できる。 さらに,LMを用いて検索モデルを監督し,LMがより良い予測を行うのに役立つ文書を見つけることができることを示す。 実験の結果, 調整したレトリバーを用いたREPLUGでは, GPT-3 (175B) の言語モデルの性能が6.3%向上し, 5ショットMMLUでのコーデックスの性能が5.1%向上した。

関連論文リスト

• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• Mistral-SPLADE: LLMs for better Learned Sparse Retrieval [7.652738829153342]
  本稿では,意味的キーワード拡張学習にデコーダのみを用いたモデルを提案する。 我々はMistralをバックボーンとして,SPLADEに似たLearned Sparse Retrieverを開発した。 提案実験は,デコーダのみに基づくスパース検索モデル (LLM) が既存のLSRシステムの性能を上回るという仮説を支持する。
  論文  参考訳（メタデータ） (2024-08-20T18:21:54Z)
• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• Multi-modal Preference Alignment Remedies Degradation of Visual Instruction Tuning on Language Models [7.056824589733873]
  MLLM(Multi-modal large language model)は、実運用における画像とテキストの相互変換のマルチターンクエリをサポートすることが期待されている。 現在のMLLMは、視覚的な問合せのデータセットで訓練されており、劣化に悩まされる可能性がある。 そこで本研究では,MLLMの言語能力の回復と向上を図った,細粒度アノテーションを用いた蒸留法に基づくマルチモーダルアライメントモデルを提案する。
  論文  参考訳（メタデータ） (2024-02-16T18:42:08Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• Retrieval-Pretrained Transformer: Long-range Language Modeling with Self-retrieval [51.437420003471615]
  本稿では,検索拡張LMをゼロから共同で訓練するためのアーキテクチャおよび訓練手順であるRetrieval-Pretrained Transformer (RPT)を提案する。 RPTは検索品質を向上し、強いベースラインに比べてボード全体の難易度を向上する。
  論文  参考訳（メタデータ） (2023-06-23T10:18:02Z)
• ReWOO: Decoupling Reasoning from Observations for Efficient Augmented Language Models [32.95155349925248]
  本稿では,外部観測から推論プロセスを取り除き,トークン消費量を大幅に削減するモジュラーパラダイムReWOOを提案する。 マルチステップ推論ベンチマークであるHotpotQAにおいて,ReWOOは5倍のトークン効率と4%の精度向上を実現している。 本稿では,175B GPT3.5から7B LLaMAへの推論能力をオフロードし,真に効率的でスケーラブルなALMシステムの可能性を示す。
  論文  参考訳（メタデータ） (2023-05-23T00:16:48Z)
• Can Retriever-Augmented Language Models Reason? The Blame Game Between the Retriever and the Language Model [33.729248437727634]
  事前訓練された言語モデルをレトリバーで拡張することは、共通のNLP問題を効果的に解決する可能性を示している。 我々は,一般的な検索言語モデルであるkNN-LM,REALM,DPR+FiD,Contriever+ATLAS,Contriever+Flan-T5の長所と短所を評価する。
  論文  参考訳（メタデータ） (2022-12-18T19:27:41Z)
• Recitation-Augmented Language Models [85.30591349383849]
  知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。 具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-04T00:49:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。