論文の概要: Go Forth and Prosper: Language Modeling with Ancient Textual History

• arxiv url: http://arxiv.org/abs/2104.08742v1
• Date: Sun, 18 Apr 2021 06:57:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:07:56.678384
• Title: Go Forth and Prosper: Language Modeling with Ancient Textual History
• Title（参考訳）: Go Forth and Prosper: 古代のテクスト史を用いた言語モデリング
• Authors: Rik Koncel-Kedziorski and Noah A. Smith
• Abstract要約: 我々は、lmが将来のテキストを予測するのに役立つ古代史からスパンを選択する補助機能を学ぶ。 選択されたテキストスパンはLMのコンテキストウィンドウに直接コピーされ、予測の少ないスパンを置き換える。 ウィキペディアの記事の難易度は7%、科学論文の難易度は12%減少しています。
• 参考スコア（独自算出の注目度）: 54.99143450580711
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a technique for improving document-level language models (LM) by leveraging "ancient history": text that is outside the LM's current context window. We learn an auxiliary function to select spans from the ancient history which can help the LM to predict future text. The selected text spans are then copied directly into the LM's context window, replacing less predictive spans. This method can improve perplexity of pretrained LMs with no updates to the LM's own parameters. We further observe that an auxiliary function trained in a specific textual domain like Wikipedia will also work in a substantially different domain such as scientific publications. With this technique we see a 7 percent perplexity reduction on Wikipedia articles, and a 12 percent perplexity reduction on scientific texts.
• Abstract（参考訳）: 本稿では,lmの現在のコンテキストウィンドウの外にあるテキストである「古履歴」を活用して,文書レベル言語モデル(lm)を改善する手法を紹介する。 我々は、LMが将来のテキストを予測するのに役立つ古代史からスパンを選択する補助関数を学習する。 選択されたテキストスパンはLMのコンテキストウィンドウに直接コピーされ、予測の少ないスパンを置き換える。 この方法は、LMのパラメータを更新することなく、事前訓練されたLMのパープレキシティを改善することができる。 さらに、wikipediaのような特定のテキストドメインで訓練された補助関数は、科学出版物のような実質的に異なるドメインでも動作することも観察する。 この技術により、Wikipediaの記事では7%の難読度が減少し、科学論文では12%の難読度が減少する。

関連論文リスト

• Towards Aligning Language Models with Textual Feedback [43.55450701925131]
  ALT(Alignment with Textual feedback)は、言語モデルとユーザの好みをテキストで表わすアプローチである。 本稿では, 有害度低減, 要約, 対話応答生成など, さまざまなタスクにおけるテキストフィードバックの有効性と効率について検討する。
  論文  参考訳（メタデータ） (2024-07-24T03:32:05Z)
• Evaluating $n$-Gram Novelty of Language Models Using Rusty-DAWG [57.14250086701313]
  本研究では,現代のLMがトレーニングデータから$n$-gramを生成できる範囲について検討する。 我々は,ゲノムデータのインデックス化にインスパイアされた新しい検索ツールであるRusty-DAWGを開発した。
  論文  参考訳（メタデータ） (2024-06-18T21:31:19Z)
• diff History for Neural Language Agents [33.13471417703669]
  これらの問題に対するシンプルで効果的なソリューションである差分履歴を導入します。 The Unix diff command on continuous text observed in the interaction histories used to prompt LM policy, we can be abstract away redundant information。 意思決定のために長い水平推論を必要とする未解決のビデオゲームであるNetHackでは、diff履歴を調整したLMがニューラルエージェントの最先端のパフォーマンスにマッチする。
  論文  参考訳（メタデータ） (2023-12-12T18:59:30Z)
• Retrieval-Pretrained Transformer: Long-range Language Modeling with Self-retrieval [51.437420003471615]
  本稿では,検索拡張LMをゼロから共同で訓練するためのアーキテクチャおよび訓練手順であるRetrieval-Pretrained Transformer (RPT)を提案する。 RPTは検索品質を向上し、強いベースラインに比べてボード全体の難易度を向上する。
  論文  参考訳（メタデータ） (2023-06-23T10:18:02Z)
• LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
  本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。 私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
  論文  参考訳（メタデータ） (2023-05-17T15:53:31Z)
• LAMP: Extracting Text from Gradients with Language Model Priors [9.242965489146398]
  最近の研究は、センシティブなユーザデータを勾配更新から再構築できることを示し、フェデレートされた学習における重要なプライバシーの約束を破っている。 我々は,テキストデータに適した新しい攻撃であるLAMPを提案し,勾配からオリジナルテキストを再構築することに成功した。
  論文  参考訳（メタデータ） (2022-02-17T18:49:25Z)
• Reusing a Pretrained Language Model on Languages with Limited Corpora for Unsupervised NMT [129.99918589405675]
  本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。 モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。 我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
  論文  参考訳（メタデータ） (2020-09-16T11:37:10Z)
• Enabling Language Models to Fill in the Blanks [81.59381915581892]
  文書中の任意の位置にあるテキストの欠落を予測するタスクである,テキストを埋め込むためのシンプルなアプローチを提案する。 我々は、人工的にマスキングされたテキストと隠蔽されたテキストの連結を含むシーケンスに基づいて、オフザシェルフ言語モデル(またはファインチューン)を訓練する。 言語モデリングにより,この手法により,3つの分野(短編,科学的な要約,歌詞)において,LMが文全体を効果的に埋め込むことができることを示す。
  論文  参考訳（メタデータ） (2020-05-11T18:00:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。