論文の概要: Text Compression for Efficient Language Generation

• arxiv url: http://arxiv.org/abs/2503.11426v1
• Date: Fri, 14 Mar 2025 14:14:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:07:53.504797
• Title: Text Compression for Efficient Language Generation
• Title（参考訳）: 効率的な言語生成のためのテキスト圧縮
• Authors: David Gu, Peter Belcak, Roger Wattenhofer,
• Abstract要約: 本稿では,テキストを文埋め込みに圧縮することでテキスト生成が可能な階層型トランスフォーマー言語モデルを提案する。 実験の結果,GPTHFはFLOPの効率が最大で向上し,実行速度が3倍に向上することがわかった。
• 参考スコア（独自算出の注目度）: 21.73058256154984
• License:
• Abstract: We challenge the prevailing assumption that LLMs must rely fully on sub-word tokens for high-quality text generation. To this end, we propose the "Generative Pretrained Thoughtformer" (GPTHF), a hierarchical transformer language model capable of text generation by compressing text into sentence embeddings and employing a sentence attention mechanism. GPTHF retains GPT's architecture, modifying only token interactions via dynamic sparse attention masks. Our experiments show that GPTHF achieves an up to an order of magnitude improvement in FLOPs efficiency and a threefold increase in runtime speed compared to equally-sized GPT models in the low-size regime. This is achieved through a unique generation method that caches and reuses sentence embeddings, allowing significant portions of the input to bypass large parts of the network.
• Abstract（参考訳）: 我々はLLMが高品質テキスト生成のためにサブワードトークンに完全に依存しなければならないという一般的な仮定に挑戦する。 そこで本研究では,テキストを文埋め込みに圧縮し,文注目機構を用いてテキスト生成が可能な階層型トランスフォーマ言語モデルであるGPTHFを提案する。 GPTHFはGPTのアーキテクチャを保ち、ダイナミックスパースアテンションマスクを介してトークンインタラクションのみを変更する。 実験の結果,GPTHF は FLOPs の効率が最大で向上し,低サイズの GPT モデルに比べて実行速度が3倍向上することがわかった。 これは、文の埋め込みをキャッシュして再利用するユニークな生成方法によって実現され、入力のかなりの部分がネットワークの大部分をバイパスすることができる。

関連論文リスト

• Detecting Document-level Paraphrased Machine Generated Content: Mimicking Human Writing Style and Involving Discourse Features [57.34477506004105]
  機械生成コンテンツは、学術プラジャリズムや誤報の拡散といった課題を提起する。 これらの課題を克服するために、新しい方法論とデータセットを導入します。 人間の筆記スタイルをエミュレートするエンコーダデコーダモデルであるMhBARTを提案する。 また,PDTB前処理による談話解析を統合し,構造的特徴を符号化するモデルであるDTransformerを提案する。
  論文  参考訳（メタデータ） (2024-12-17T08:47:41Z)
• Mind the Gap: A Generalized Approach for Cross-Modal Embedding Alignment [0.0]
  Retrieval-Augmented Generation (RAG) システムは、意味的ギャップによって異なるテキストモダリティ間でコンテキストを検索する。 本稿では,これらのギャップを効率的に埋める汎用投影法を提案する。 私たちのアプローチでは、トレーニングや推論に最小限のリソースを必要とするため、スピード、正確性、データ効率を重視しています。
  論文  参考訳（メタデータ） (2024-10-30T20:28:10Z)
• TS-HTFA: Advancing Time Series Forecasting via Hierarchical Text-Free Alignment with Large Language Models [14.411646409316624]
  時系列予測の新しい手法である textbfHierarchical textbfText-textbfFree textbfAlignment (textbfTS-HTFA) を導入する。 我々は、QR分解語埋め込みと学習可能なプロンプトに基づいて、ペア化されたテキストデータを適応的な仮想テキストに置き換える。 複数の時系列ベンチマークの実験は、HTFAが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2024-09-23T12:57:24Z)
• Harnessing the Plug-and-Play Controller by Prompting [12.705251690623495]
  本稿では,事前学習言語モデル(PLM)を用いたテキスト生成におけるフレキシブル属性制御手法を提案する。 提案手法は、生成過程をPPCで導くことにより、生成したテキストの流布率を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-02-06T17:18:25Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。