Fugu-MT 論文翻訳(概要): On-The-Fly Information Retrieval Augmentation for Language Models

論文の概要: On-The-Fly Information Retrieval Augmentation for Language Models

arxiv url: http://arxiv.org/abs/2007.01528v1
Date: Fri, 3 Jul 2020 07:31:14 GMT
ステータス: 処理完了
システム内更新日: 2022-11-14 05:18:29.713441
Title: On-The-Fly Information Retrieval Augmentation for Language Models
Title（参考訳）: 言語モデルのためのオンザフライ情報検索拡張
Authors: Hai Wang, David McAllester
Abstract要約: 我々は、事前訓練された言語モデルの強化として情報検索を利用する。情報検索によるGPT 2.0の強化により,Gigaword corpus におけるパープレキシティの相対的な低下を,再学習なしでゼロショット15%達成する。
参考スコア（独自算出の注目度）: 10.037054980880844
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Here we experiment with the use of information retrieval as an augmentation for pre-trained language models. The text corpus used in information retrieval can be viewed as form of episodic memory which grows over time. By augmenting GPT 2.0 with information retrieval we achieve a zero shot 15% relative reduction in perplexity on Gigaword corpus without any re-training. We also validate our IR augmentation on an event co-reference task.
Abstract（参考訳）: 本稿では,事前学習型言語モデルの強化として情報検索を利用する実験を行った。情報検索に使用されるテキストコーパスは、時間とともに増大するエピソディックメモリの形式と見なすことができる。情報検索によるGPT 2.0の強化により,Gigaword corpus におけるパープレキシティの相対的減少率がゼロショット15%となる。また、イベントコレファレンスタスクにおけるIR増強の検証も行います。

関連論文リスト

Transformer verbatim in-context retrieval across time and scale [2.7941582470640784]
場合によっては、言語モデルはコンテキスト内情報を冗長に検索しなければならない。本研究は, 学習過程の早い段階から, 言語内単語検索が急激な移行の中で発達したことを示す。この結果から, 文脈内単語検索の発達はゼロショットベンチマークの学習と正の相関関係があることが判明した。
論文参考訳（メタデータ） (2024-11-11T15:50:01Z)
Context-augmented Retrieval: A Novel Framework for Fast Information Retrieval based Response Generation using Large Language Model [0.0]
文脈情報のコーパスが大きくなるにつれて、検索型拡張生成(RAG)ベースの質問回答システム(QA)の回答/推論品質は低下する。本研究は,古典的テキスト分類とLarge Language Model(LLM)を組み合わせることで,この問題を解決する。新しいアプローチ Context Augmented Search (CAR) は、情報検索と回答生成時間の大幅な削減とともに、優れた品質の回答生成を示す。
論文参考訳（メタデータ） (2024-06-24T07:52:05Z)
Cross-lingual Contextualized Phrase Retrieval [63.80154430930898]
そこで本研究では,言語間関係の単語検索を多義的に行うタスクの定式化を提案する。我々は、コントラスト学習を用いて、言語間コンテクスト対応句検索(CCPR)を訓練する。フレーズ検索タスクでは、CCPRはベースラインをかなり上回り、少なくとも13ポイント高いトップ1の精度を達成する。
論文参考訳（メタデータ） (2024-03-25T14:46:51Z)
CorpusBrain++: A Continual Generative Pre-Training Framework for Knowledge-Intensive Language Tasks [111.13988772503511]
知識集約型言語タスク(KILT)は通常、特定の回答を生成するために、信頼できるコーパス(例えばウィキペディア)から関連文書を取得する必要がある。近年,コーパスブライン(CorpsBrain)と呼ばれるKILTの事前学習型生成検索モデルが提案され,新しい最先端検索性能に到達した。
論文参考訳（メタデータ） (2024-02-26T17:35:44Z)
SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation [56.913182262166316]
CoIG(Chain-of-Information Generation)は、大規模音声生成において意味情報と知覚情報を分離する手法である。 SpeechGPT-Genはセマンティックおよび知覚情報モデリングにおいて効率的である。ゼロショット音声変換、ゼロショット音声変換、音声音声対話に優れる。
論文参考訳（メタデータ） (2024-01-24T15:25:01Z)
Dense X Retrieval: What Retrieval Granularity Should We Use? [56.90827473115201]
しばしば見過ごされる設計選択は、コーパスが索引付けされる検索単位である。本稿では,高密度検索のための新しい検索ユニット,命題を提案する。実験により、提案のような細粒度単位によるコーパスのインデックス付けは、検索タスクにおける通過レベル単位を著しく上回っていることが明らかとなった。
論文参考訳（メタデータ） (2023-12-11T18:57:35Z)
RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
論文参考訳（メタデータ） (2023-10-16T16:42:01Z)
In-context Autoencoder for Context Compression in a Large Language Model [70.7621953091318]
In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。 ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
論文参考訳（メタデータ） (2023-07-13T17:59:21Z)
Improving Retrieval-Augmented Large Language Models via Data Importance Learning [27.97176983906107]
本稿では,検索したデータポイントの重要度を評価するためのマルチ線形拡張に基づくアルゴリズムを提案する。マルチ線形拡張に基づく重み付けは, 実際に効率的に計算可能であることを示す。
論文参考訳（メタデータ） (2023-07-06T14:44:07Z)
ReGen: Zero-Shot Text Classification via Training Data Generation with Progressive Dense Retrieval [22.882301169283323]
一般ドメインの未ラベルコーパスからトレーニングデータを作成するための検索強化フレームワークを提案する。 9つのデータセットの実験では、REGENは最強のベースラインに対して4.3%のゲインを達成し、大きなNLGモデルを使用したベースラインと比較して約70%の時間を節約している。
論文参考訳（メタデータ） (2023-05-18T04:30:09Z)
On-the-fly Text Retrieval for End-to-End ASR Adaptation [9.304386210911822]
本稿では,部分的ASR仮説に対して,外部テキストコーパスから可算完了を抽出する検索言語モデルを用いてトランスデューサベースのASRモデルを強化することを提案する。実験の結果,提案モデルにより,一対の質問応答データセット上でのトランスデューサベースラインの性能が大幅に向上することがわかった。
論文参考訳（メタデータ） (2023-03-20T08:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。