論文の概要: On-The-Fly Information Retrieval Augmentation for Language Models
- arxiv url: http://arxiv.org/abs/2007.01528v1
- Date: Fri, 3 Jul 2020 07:31:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 05:18:29.713441
- Title: On-The-Fly Information Retrieval Augmentation for Language Models
- Title(参考訳): 言語モデルのためのオンザフライ情報検索拡張
- Authors: Hai Wang, David McAllester
- Abstract要約: 我々は、事前訓練された言語モデルの強化として情報検索を利用する。
情報検索によるGPT 2.0の強化により,Gigaword corpus におけるパープレキシティの相対的な低下を,再学習なしでゼロショット15%達成する。
- 参考スコア(独自算出の注目度): 10.037054980880844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Here we experiment with the use of information retrieval as an augmentation
for pre-trained language models. The text corpus used in information retrieval
can be viewed as form of episodic memory which grows over time. By augmenting
GPT 2.0 with information retrieval we achieve a zero shot 15% relative
reduction in perplexity on Gigaword corpus without any re-training. We also
validate our IR augmentation on an event co-reference task.
- Abstract(参考訳): 本稿では,事前学習型言語モデルの強化として情報検索を利用する実験を行った。
情報検索に使用されるテキストコーパスは、時間とともに増大するエピソディックメモリの形式と見なすことができる。
情報検索によるGPT 2.0の強化により,Gigaword corpus におけるパープレキシティの相対的減少率がゼロショット15%となる。
また、イベントコレファレンスタスクにおけるIR増強の検証も行います。
関連論文リスト
- CorpusBrain++: A Continual Generative Pre-Training Framework for
Knowledge-Intensive Language Tasks [111.13988772503511]
知識集約型言語タスク(KILT)は通常、特定の回答を生成するために、信頼できるコーパス(例えばウィキペディア)から関連文書を取得する必要がある。
近年,コーパスブライン(CorpsBrain)と呼ばれるKILTの事前学習型生成検索モデルが提案され,新しい最先端検索性能に到達した。
論文 参考訳(メタデータ) (2024-02-26T17:35:44Z) - SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation [56.913182262166316]
CoIG(Chain-of-Information Generation)は、大規模音声生成において意味情報と知覚情報を分離する手法である。
SpeechGPT-Genはセマンティックおよび知覚情報モデリングにおいて効率的である。
ゼロショット音声変換、ゼロショット音声変換、音声音声対話に優れる。
論文 参考訳(メタデータ) (2024-01-24T15:25:01Z) - RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder
for Language Modeling [79.56442336234221]
可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。
テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。
各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
論文 参考訳(メタデータ) (2023-10-16T16:42:01Z) - Reduce, Reuse, Recycle: Is Perturbed Data better than Other Language
augmentation for Low Resource Self-Supervised Speech Models [52.92618442300405]
自己教師付き表現学習(SSRL)は、教師付きモデルと比較して下流音素認識の性能を改善した。
SSRLモデルのトレーニングには大量の事前学習データが必要である。
本稿では,低リソース条件下でのSSRLモデルの事前学習に音声拡張を用い,音素認識をダウンストリームタスクとして評価する。
論文 参考訳(メタデータ) (2023-09-22T10:09:09Z) - In-context Autoencoder for Context Compression in a Large Language Model [74.9807417009054]
In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。
ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
論文 参考訳(メタデータ) (2023-07-13T17:59:21Z) - Improving Retrieval-Augmented Large Language Models via Data Importance
Learning [27.97176983906107]
本稿では,検索したデータポイントの重要度を評価するためのマルチ線形拡張に基づくアルゴリズムを提案する。
マルチ線形拡張に基づく重み付けは, 実際に効率的に計算可能であることを示す。
論文 参考訳(メタデータ) (2023-07-06T14:44:07Z) - ReGen: Zero-Shot Text Classification via Training Data Generation with
Progressive Dense Retrieval [22.882301169283323]
一般ドメインの未ラベルコーパスからトレーニングデータを作成するための検索強化フレームワークを提案する。
9つのデータセットの実験では、REGENは最強のベースラインに対して4.3%のゲインを達成し、大きなNLGモデルを使用したベースラインと比較して約70%の時間を節約している。
論文 参考訳(メタデータ) (2023-05-18T04:30:09Z) - BRENT: Bidirectional Retrieval Enhanced Norwegian Transformer [1.911678487931003]
検索ベースの言語モデルは、質問応答タスクにますます採用されている。
我々はREALMフレームワークを適用し,ノルウェー初の検索モデルを開発した。
本研究では,このような学習により,抽出質問応答における読み手のパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2023-04-19T13:40:47Z) - On-the-fly Text Retrieval for End-to-End ASR Adaptation [9.304386210911822]
本稿では,部分的ASR仮説に対して,外部テキストコーパスから可算完了を抽出する検索言語モデルを用いてトランスデューサベースのASRモデルを強化することを提案する。
実験の結果,提案モデルにより,一対の質問応答データセット上でのトランスデューサベースラインの性能が大幅に向上することがわかった。
論文 参考訳(メタデータ) (2023-03-20T08:54:40Z) - Visual Speech Recognition for Multiple Languages in the Wild [64.52593130370757]
より優れたVSRモデルを設計することが、より大きなトレーニングセットを使用する上でも同様に重要であることを示す。
VSRモデルに予測に基づく補助タスクを追加することを提案する。
このようなモデルは、異なる言語で動作し、公開データセット上でトレーニングされたこれまでのすべてのメソッドを大きなマージンで上回ることを示す。
論文 参考訳(メタデータ) (2022-02-26T07:21:00Z) - REALM: Retrieval-Augmented Language Model Pre-Training [37.3178586179607]
言語モデルの事前学習を潜伏知識検索システムで強化し,ウィキペディアのような大規模コーパスから文書を検索し,出席できるようにする。
本研究では,このような知識検索を教師なしで事前学習する方法を初めて示す。
オープンドメイン質問回答(Open-QA)の課題を微調整し,検索型言語モデル事前学習(REALM)の有効性を実証する。
論文 参考訳(メタデータ) (2020-02-10T18:40:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。