論文の概要: Go Forth and Prosper: Language Modeling with Ancient Textual History
- arxiv url: http://arxiv.org/abs/2104.08742v1
- Date: Sun, 18 Apr 2021 06:57:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-20 14:07:56.678384
- Title: Go Forth and Prosper: Language Modeling with Ancient Textual History
- Title(参考訳): Go Forth and Prosper: 古代のテクスト史を用いた言語モデリング
- Authors: Rik Koncel-Kedziorski and Noah A. Smith
- Abstract要約: 我々は、lmが将来のテキストを予測するのに役立つ古代史からスパンを選択する補助機能を学ぶ。
選択されたテキストスパンはLMのコンテキストウィンドウに直接コピーされ、予測の少ないスパンを置き換える。
ウィキペディアの記事の難易度は7%、科学論文の難易度は12%減少しています。
- 参考スコア(独自算出の注目度): 54.99143450580711
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a technique for improving document-level language models (LM) by
leveraging "ancient history": text that is outside the LM's current context
window. We learn an auxiliary function to select spans from the ancient history
which can help the LM to predict future text. The selected text spans are then
copied directly into the LM's context window, replacing less predictive spans.
This method can improve perplexity of pretrained LMs with no updates to the
LM's own parameters. We further observe that an auxiliary function trained in a
specific textual domain like Wikipedia will also work in a substantially
different domain such as scientific publications. With this technique we see a
7 percent perplexity reduction on Wikipedia articles, and a 12 percent
perplexity reduction on scientific texts.
- Abstract(参考訳): 本稿では,lmの現在のコンテキストウィンドウの外にあるテキストである「古履歴」を活用して,文書レベル言語モデル(lm)を改善する手法を紹介する。
我々は、LMが将来のテキストを予測するのに役立つ古代史からスパンを選択する補助関数を学習する。
選択されたテキストスパンはLMのコンテキストウィンドウに直接コピーされ、予測の少ないスパンを置き換える。
この方法は、LMのパラメータを更新することなく、事前訓練されたLMのパープレキシティを改善することができる。
さらに、wikipediaのような特定のテキストドメインで訓練された補助関数は、科学出版物のような実質的に異なるドメインでも動作することも観察する。
この技術により、Wikipediaの記事では7%の難読度が減少し、科学論文では12%の難読度が減少する。
関連論文リスト
- Backward Lens: Projecting Language Model Gradients into the Vocabulary
Space [94.85922991881242]
勾配行列は、その前方および後方の入力の低ランク線形結合としてキャスト可能であることを示す。
次に、これらの勾配を語彙項目に投影する手法を開発し、新しい情報がLMのニューロンにどのように格納されているかのメカニズムを探索する。
論文 参考訳(メタデータ) (2024-02-20T09:57:08Z) - diff History for Neural Language Agents [37.24009814390211]
これらの問題に対するシンプルで効果的なソリューションである差分履歴を導入します。
The Unix diff command on continuous text observed in the interaction histories used to prompt LM policy, we can be abstract away redundant information。
意思決定のために長い水平推論を必要とする未解決のビデオゲームであるNetHackでは、diff履歴を調整したLMがニューラルエージェントの最先端のパフォーマンスにマッチする。
論文 参考訳(メタデータ) (2023-12-12T18:59:30Z) - RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder
for Language Modeling [79.56442336234221]
可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。
テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。
各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
論文 参考訳(メタデータ) (2023-10-16T16:42:01Z) - Can Text-based Knowledge Graph Completion Benefit From Zero-Shot Large
Language Models? [10.56565195524981]
大規模言語モデル(LLM)は、NLPタスクにおいて顕著に改善されている。
本研究では,より効率的なテキスト記述がモデル性能を増幅できるかどうかを考察する。
論文 参考訳(メタデータ) (2023-10-12T12:31:23Z) - Long-range Language Modeling with Self-retrieval [44.802643057976354]
本稿では,検索強化言語モデルを共同で訓練するRetrieval-Pretrained Transformer (RPT)を提案する。
RPTは検索品質を向上し、強いベースラインに比べてボード全体の難易度を向上する。
論文 参考訳(メタデータ) (2023-06-23T10:18:02Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - LAMP: Extracting Text from Gradients with Language Model Priors [9.242965489146398]
最近の研究は、センシティブなユーザデータを勾配更新から再構築できることを示し、フェデレートされた学習における重要なプライバシーの約束を破っている。
我々は,テキストデータに適した新しい攻撃であるLAMPを提案し,勾配からオリジナルテキストを再構築することに成功した。
論文 参考訳(メタデータ) (2022-02-17T18:49:25Z) - Reusing a Pretrained Language Model on Languages with Limited Corpora
for Unsupervised NMT [129.99918589405675]
本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。
モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。
我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
論文 参考訳(メタデータ) (2020-09-16T11:37:10Z) - Enabling Language Models to Fill in the Blanks [81.59381915581892]
文書中の任意の位置にあるテキストの欠落を予測するタスクである,テキストを埋め込むためのシンプルなアプローチを提案する。
我々は、人工的にマスキングされたテキストと隠蔽されたテキストの連結を含むシーケンスに基づいて、オフザシェルフ言語モデル(またはファインチューン)を訓練する。
言語モデリングにより,この手法により,3つの分野(短編,科学的な要約,歌詞)において,LMが文全体を効果的に埋め込むことができることを示す。
論文 参考訳(メタデータ) (2020-05-11T18:00:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。