論文の概要: With Greater Text Comes Greater Necessity: Inference-Time Training Helps
Long Text Generation
- arxiv url: http://arxiv.org/abs/2401.11504v1
- Date: Sun, 21 Jan 2024 14:28:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 16:08:50.059763
- Title: With Greater Text Comes Greater Necessity: Inference-Time Training Helps
Long Text Generation
- Title(参考訳): テキストの長文生成を支援する推論時間トレーニング
- Authors: Y. Wang, D. Ma, D. Cai
- Abstract要約: 長文生成は、現在の言語モデルに重大な課題をもたらす。
提案手法であるTemp-Loraは,文脈情報をモデルパラメータに直接埋め込む。
PG19言語モデリングベンチマークとGuoFeng談話レベル翻訳ベンチマークの大規模な実験により、Temp-Loraの有効性が検証された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long text generation, such as novel writing or discourse-level translation
with extremely long contexts, presents significant challenges to current
language models. Existing methods mainly focus on extending the model's context
window through strategies like length extrapolation. However, these approaches
demand substantial hardware resources during the training and/or inference
phases. Our proposed method, Temp-Lora, introduces an alternative concept.
Instead of relying on the KV cache to store all context information, Temp-Lora
embeds this information directly into the model's parameters. In the process of
long text generation, we use a temporary Lora module, progressively trained
with text generated previously. This approach not only efficiently preserves
contextual knowledge but also prevents any permanent alteration to the model's
parameters given that the module is discarded post-generation. Extensive
experiments on the PG19 language modeling benchmark and the GuoFeng
discourse-level translation benchmark validate the effectiveness of Temp-Lora.
Our results show that: 1) Temp-Lora substantially enhances generation quality
for long texts, as indicated by a 13.2% decrease in perplexity on a subset of
PG19, and a 29.6% decrease in perplexity along with a 53.2% increase in BLEU
score on GuoFeng, 2) Temp-Lora is compatible with and enhances most existing
long text generation methods, and 3) Temp-Lora can greatly reduce computational
costs by shortening the context window. While ensuring a slight improvement in
generation quality (a decrease of 3.8% in PPL), it enables a reduction of 70.5%
in the FLOPs required for inference and a 51.5% decrease in latency.
- Abstract(参考訳): 長文生成、例えば、非常に長い文脈を持つ談話レベルの翻訳は、現在の言語モデルに重大な課題をもたらす。
既存のメソッドは主に、長さ外挿のような戦略を通してモデルのコンテキストウィンドウを拡張することに重点を置いている。
しかし、これらのアプローチはトレーニングおよび/または推論フェーズの間にかなりのハードウェアリソースを必要とする。
提案手法であるTemp-Loraは代替概念を提案する。
すべてのコンテキスト情報を格納するためにKVキャッシュに頼る代わりに、Temp-Loraはこの情報をモデルのパラメータに直接埋め込む。
長いテキスト生成の過程では、以前生成されたテキストで徐々に訓練された一時的なloraモジュールを使用する。
このアプローチは文脈的知識を効率的に保存するだけでなく、モジュールが後世代で破棄されたことを前提に、モデルパラメータの永続的な変更を防ぎます。
PG19言語モデリングベンチマークとGuoFeng談話レベル翻訳ベンチマークの大規模な実験により、Temp-Loraの有効性が検証された。
結果はこう示しています
1) temp-loraは、pg19のサブセットのパープレキシティが13.2%減少し、29.6%のパープレキシティが低下し、guofengのbleuスコアが53.2%上昇し、長文の生成品質が大幅に向上する。
2) Temp-Loraは、既存の長文生成方法と互換性があり、拡張されている。
3)Temp-Loraはコンテキストウィンドウを短くすることで計算コストを大幅に削減できる。
世代品質のわずかな改善(pplの3.8%の減少)を保証しながら、推論に必要なフロップの70.5%の削減とレイテンシの51.5%の削減が可能である。
関連論文リスト
- Enforcing Paraphrase Generation via Controllable Latent Diffusion [60.82512050963046]
textitLatent textitDiffusion textitParaphraser(LDP)を提案する。
実験により, LDPはベースラインに比べて改良され, 多様なパラフレーズ生成を達成できることが示された。
論文 参考訳(メタデータ) (2024-04-13T09:24:32Z) - Superposition Prompting: Improving and Accelerating Retrieval-Augmented Generation [22.124234811959532]
大規模言語モデル(LLM)のための新しいRAGプロンプト手法を提案する。
重ね合わせプロンプトにより、LLMは入力文書を並列にプロンプトパスで処理でき、無関係と判断された後にパスを破棄する。
我々は,様々な質問応答ベンチマークにおいて,時間効率を同時に向上する手法の能力を実証する。
論文 参考訳(メタデータ) (2024-04-10T11:03:17Z) - Training With "Paraphrasing the Original Text'' Improves Long-Context Performance [0.0]
大きな言語モデル(LLM)は進化を続けており、長いコンテキスト入力を扱うように設計されている。
本稿では,これらの問題の根幹を検索能力の欠如として認識し,長いコンテキストにおけるキー情報の空間性によって悪化する。
本稿では,LLMの長文情報抽出能力を高めることを目的とした,"Paraphrasing the Original Text'"という新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-12-18T13:40:16Z) - Extending Context Window of Large Language Models via Semantic
Compression [21.35020344956721]
大規模言語モデル(LLM)は、しばしば、流動的で関連する応答の生成を保証するために、テキスト入力の長さに制限を課す。
本稿では,テキストを6~8倍長大に一般化するセマンティック圧縮手法を提案する。
論文 参考訳(メタデータ) (2023-12-15T07:04:33Z) - Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via
Instruction Tuning with LITE [62.13435256279566]
大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。
しかし、その大きなサイズは推論を遅く、計算的に高価にする。
最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
論文 参考訳(メタデータ) (2023-10-28T04:07:58Z) - Deja Vu: Contextual Sparsity for Efficient LLMs at Inference Time [90.96447932006822]
数十億のパラメータを持つ大規模言語モデル(LLM)が、エキサイティングなAIアプリケーションに新たな波を巻き起こした。
既存の方法は、コストのかかる再訓練が必要か、LLMのコンテキスト内学習能力を捨てるか、ウォールクロックのスピードアップを達成できないかのいずれかである。
DejaVuは,各層に与えられた入力をリアルタイムで予測するために,低コストなアルゴリズムを用いたシステムである。
論文 参考訳(メタデータ) (2023-10-26T05:01:09Z) - Compressing Context to Enhance Inference Efficiency of Large Language
Models [26.75216730927996]
本稿では,大規模言語モデル(LLM)の推論効率を向上させるための選択文脈法を提案する。
我々は、arXiv論文、ニュース記事、長い会話など、長いコンテキスト処理を必要とする共通のデータソースを用いて、アプローチをテストする。
実験の結果,Selective Contextはメモリコストを大幅に削減し,生成遅延を低減させることがわかった。
論文 参考訳(メタデータ) (2023-10-09T23:03:24Z) - Factuality Enhanced Language Models for Open-Ended Text Generation [60.27166549575472]
我々は、LM世代の実測のためのFactalityPromptsテストセットとメトリクスを設計する。
より大きなLMはより小さなものよりも現実的であることが分かるが、以前の研究では、大きなLMは誤解の観点からは真実性が低いことを示唆している。
そこで本稿では,TopicPrefixを用いた事実認識と文完成のための実感強化学習手法を提案する。
論文 参考訳(メタデータ) (2022-06-09T17:16:43Z) - Sub-Word Alignment Is Still Useful: A Vest-Pocket Method for Enhancing
Low-Resource Machine Translation [4.809907063232602]
我々は,親子間移動学習法を拡張するために,アライメントサブワード間の埋め込み重複を利用する。
我々は、My-En、Id-En、Tr-Enの翻訳シナリオのベンチマークデータセットで実験を行う。
論文 参考訳(メタデータ) (2022-05-09T06:44:24Z) - Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。
テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。
提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
論文 参考訳(メタデータ) (2020-10-12T19:42:25Z) - Lipreading using Temporal Convolutional Networks [57.41253104365274]
現在の単語認識モデルは,残差ネットワークと双方向Gated Recurrent Unit層で構成されている。
このモデルの限界に対処し、その性能をさらに向上させる変更を提案する。
提案モデルでは,これらのデータセットにおいてそれぞれ1.2%と3.2%の絶対的な改善が得られた。
論文 参考訳(メタデータ) (2020-01-23T17:49:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。