Fugu-MT 論文翻訳(概要): Recitation-Augmented Language Models

論文の概要: Recitation-Augmented Language Models

arxiv url: http://arxiv.org/abs/2210.01296v1
Date: Tue, 4 Oct 2022 00:49:20 GMT
ステータス: 処理完了
システム内更新日: 2022-10-05 13:13:52.906347
Title: Recitation-Augmented Language Models
Title（参考訳）: 朗読型言語モデル
Authors: Zhiqing Sun, Xuezhi Wang, Yi Tay, Yiming Yang, Denny Zhou
Abstract要約: 知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
参考スコア（独自算出の注目度）: 85.30591349383849
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a new paradigm to help Large Language Models (LLMs) generate more accurate factual knowledge without retrieving from an external corpus, called RECITation-augmented gEneration (RECITE). Different from retrieval-augmented language models that retrieve relevant documents before generating the outputs, given an input, RECITE first recites one or several relevant passages from LLMs' own memory via sampling, and then produces the final answers. We show that RECITE is a powerful paradigm for knowledge-intensive NLP tasks. Specifically, we show that by utilizing recitation as the intermediate step, a recite-and-answer scheme can achieve new state-of-the-art performance in various closed-book question answering (CBQA) tasks. In experiments, we verify the effectiveness of RECITE on three pre-trained models (PaLM, UL2, and OPT) and three CBQA tasks (Natural Questions, TriviaQA, and HotpotQA).
Abstract（参考訳）: 本稿では,RECITation-augmented gEneration (RECITE) と呼ばれる外部コーパスから検索することなく,より正確な事実知識を生成するための新しいパラダイムを提案する。出力を生成する前に関連文書を検索する検索拡張言語モデルとは異なり、RECITEはまず1つまたは複数の関連するパスをLPMのメモリからサンプリングし、最後に回答を生成する。知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。具体的には,recite-and-answerスキームを中間ステップとして用いることで,クローズドブック質問応答(cbqa)タスクにおいて,新たな最先端性能を実現することができることを示す。実験では,3つの事前学習モデル (PaLM, UL2, OPT) と3つのCBQAタスク (Natural Questions, TriviaQA, HotpotQA) に対するRECITEの有効性を検証する。

関連論文リスト

KS-LLM: Knowledge Selection of Large Language Models with Evidence Document for Question Answering [35.87885118640294]
大きな言語モデル(LLM)は幻覚の問題に悩まされ、知識集約的なタスクに適用した場合、重大な課題に直面します。本稿では,証拠文書から貴重な情報を特定することを目的とした,大規模言語モデル(KS-LLM)の新たな知識選択手法を提案する。まず、入力された質問に基づいて三つ組を生成し、次に証拠文書から三つ組に最もよく似たエビデンス文を選択し、最後に、エビデンス文と三つ組を組み合わせ、大きな言語モデルで回答を生成する。
論文参考訳（メタデータ） (2024-04-24T05:32:41Z)
Harnessing Multi-Role Capabilities of Large Language Models for Open-Domain Question Answering [40.2758450304531]
オープンドメイン質問応答 (ODQA) は情報システムにおいて重要な研究スポットライトとなっている。本稿では,ODQA処理をクエリ拡張,文書選択,回答生成という3つの基本ステップに定式化するフレームワークを提案する。我々は,ロールプレイングプロンプトを洗練するための新しいプロンプト最適化アルゴリズムを導入し,高品質なエビデンスと回答を生成する。
論文参考訳（メタデータ） (2024-03-08T11:09:13Z)
Enhancing Retrieval Processes for Language Generation with Augmented Queries [0.0]
本研究は,実事実に基づく正確な応答をモデルに誘導するRAG(Retrieval-Augmented Generation)を通じてこの問題に対処することに焦点を当てる。スケーラビリティの問題を克服するために、BERTやOrca2といった洗練された言語モデルとユーザクエリを結びつけることを検討する。実験結果から,RAGによる初期言語モデルの性能向上が示唆された。
論文参考訳（メタデータ） (2024-02-06T13:19:53Z)
Continual Referring Expression Comprehension via Dual Modular Memorization [133.46886428655426]
Referring Expression (REC) は、自然言語で記述された対象のイメージ領域をローカライズすることを目的としている。既存のRECアルゴリズムは、モデルへのデータ供給のトレーニングを前もって行うと強く仮定する。本稿では、入ってくるタスクのストリーム上でモデルが学習するRECの新しい設定である連続参照表現(CREC)を提案する。学習済みの知識を忘れずに,スクラッチから繰り返し再学習することなく,逐次的タスクのモデルを継続的に改善するために,デュアルモジュール記憶法という効果的なベースライン手法を提案する。
論文参考訳（メタデータ） (2023-11-25T02:58:51Z)
Retrieval-Generation Synergy Augmented Large Language Models [30.53260173572783]
本稿では,反復的な検索・生成協調フレームワークを提案する。シングルホップQAとマルチホップQAタスクを含む4つの質問応答データセットの実験を行った。
論文参考訳（メタデータ） (2023-10-08T12:50:57Z)
AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
論文参考訳（メタデータ） (2023-03-29T17:03:21Z)
Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
論文参考訳（メタデータ） (2022-09-21T01:30:59Z)
Pre-training via Paraphrasing [96.79972492585112]
教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
論文参考訳（メタデータ） (2020-06-26T14:43:43Z)
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
論文参考訳（メタデータ） (2020-05-22T21:34:34Z)
REALM: Retrieval-Augmented Language Model Pre-Training [37.3178586179607]
言語モデルの事前学習を潜伏知識検索システムで強化し,ウィキペディアのような大規模コーパスから文書を検索し,出席できるようにする。本研究では,このような知識検索を教師なしで事前学習する方法を初めて示す。オープンドメイン質問回答(Open-QA)の課題を微調整し,検索型言語モデル事前学習(REALM)の有効性を実証する。
論文参考訳（メタデータ） (2020-02-10T18:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。