論文の概要: A Frustratingly Simple Decoding Method for Neural Text Generation
- arxiv url: http://arxiv.org/abs/2305.12675v1
- Date: Mon, 22 May 2023 03:28:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 18:47:38.588476
- Title: A Frustratingly Simple Decoding Method for Neural Text Generation
- Title（参考訳）: ニューラルテキスト生成のためのフラストレーションに簡素な復号法
- Authors: Haoran Yang, Deng Cai, Huayang Li, Wei Bi, Wai Lam, Shuming Shi
- Abstract要約: 我々は、FSD(Frustratingly Simple Decoding)と呼ばれる、非常に単純で、超効率的で驚くほど効果的な復号法を導入する。
FSDの背景にある考え方は単純で、私たちは以前に生成されたテキストに基づいてアンチLMを構築し、このアンチLMを使用して、生成したものの将来の世代をペナルティ化する。
実験では、FSDは現在の標準法よりも優れていることが示されています。
- 参考スコア（独自算出の注目度）: 76.38974698412652
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a frustratingly simple, super efficient and surprisingly
effective decoding method, which we call Frustratingly Simple Decoding (FSD),
for neural text generation. The idea behind FSD is straightforward: we build an
anti-LM based on previously generated text and use this anti-LM to penalize
future generation of what has been generated. The anti-LM can be implemented as
simple as an n-gram language model or a vectorized variant. In this way, FSD
introduces no extra model parameters and negligible computational overhead (FSD
can be as fast as greedy search). Despite the simplicity, FSD is surprisingly
effective; Experiments show that FSD can outperform the canonical methods to
date (i.e., nucleus sampling) as well as several strong baselines that were
proposed recently.
- Abstract（参考訳）: ニューラルネットワーク生成にFSD(Frustratingly Simple Decoding)と呼ぶ,非常に単純で,超効率的で,驚くほど効果的な復号法を導入する。
FSDの背景にある考え方は単純で、私たちは以前に生成されたテキストに基づいてアンチLMを構築し、このアンチLMを使用して、生成したものの将来の世代を罰する。
アンチlmはn-gram言語モデルやベクタ化変種のように簡単に実装できる。
このように、FSDは余分なモデルパラメータや無視可能な計算オーバーヘッドを導入しない(FSDは欲求探索と同じくらい高速である)。
実験によれば、fsdは、最近提案されたいくつかの強力なベースラインと同様に、現在の標準的手法(すなわち核サンプリング)よりも優れています。
関連論文リスト
- FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。
発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。
本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
論文 参考訳（メタデータ） (2024-04-05T02:35:43Z) - Hierarchical Skip Decoding for Efficient Autoregressive Text Generation [9.16858904192541]
本稿では,効率的な自己回帰テキスト生成のための階層型スキップ復号法(HSD)を提案する。
ほぼ半分のレイヤがスキップされているため、HSDはバニラの自動回帰デコードに比べてテキスト品質の90%を維持できる。
論文 参考訳（メタデータ） (2024-03-22T02:44:05Z) - Diffusion Language Models Generation Can Be Halted Early [4.726777092009553]
拡散言語モデル (DLMs) は, トラクタブル・コントロール可能生成における実用性から, テキスト生成の道のりとして有望である。
これら2種類の言語モデルのパフォーマンスギャップを減らす方法の1つは、DLMの生成を高速化することである。
本稿では,この問題に対処するための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-05-18T08:56:05Z) - Memorization for Good: Encryption with Autoregressive Language Models [8.645826579841692]
自己回帰言語モデル(SELM)を用いた最初の対称暗号アルゴリズムを提案する。
自己回帰的LMは任意のデータをコンパクトな実数値ベクトル(すなわち暗号化)にエンコードし、ランダムな部分空間最適化とgreedy復号によってベクトルを元のメッセージ(すなわち復号)に無作為に復号できることを示す。
論文 参考訳（メタデータ） (2023-05-15T05:42:34Z) - DiffusionRet: Generative Text-Video Retrieval with Diffusion Model [56.03464169048182]
既存のテキストビデオ検索ソリューションは、条件付き可能性、すなわちp(candidates|query)の最大化に焦点を当てている。
我々は、このタスクを生成的視点から創造的に取り組み、テキストとビデオの相関関係を共同確率p(candidates,query)としてモデル化する。
これは拡散に基づくテキストビデオ検索フレームワーク(DiffusionRet)によって実現され、ノイズから徐々に関節分布を生成するプロセスとして検索タスクをモデル化する。
論文 参考訳（メタデータ） (2023-03-17T10:07:19Z) - Contrastive Decoding: Open-ended Text Generation as Optimization [153.35961722855686]
信頼性の高い復号法であるコントラスト復号法(CD)を提案する。
これは、より大きなLMの故障がより小さなLMでさらに多いという事実に着想を得たものである。
CDは追加のトレーニングを一切必要とせず、より大きなLMからの復号化よりも高品質なテキストを生成する。
論文 参考訳（メタデータ） (2022-10-27T00:58:21Z) - RaP: Redundancy-aware Video-language Pre-training for Text-Video
Retrieval [61.77760317554826]
冗長性を考慮したビデオ言語事前学習を提案する。
我々は,ビデオパッチとテキストトークンの冗長性の測定を,クロスモーダルな最小相似性を計算することによって設計する。
提案手法はMSRVTT, MSVD, DiDeMo, LSMDCの4つのベンチマークデータセットを用いて評価した。
論文 参考訳（メタデータ） (2022-10-13T10:11:41Z) - An Empirical Study of Language Model Integration for Transducer based
Speech Recognition [23.759084092602517]
密度比 (DR) やILME (ILME) などの手法が開発され, 古典的な浅層核融合 (SF) 法よりも優れていた。
DRのための低次弱ILMをトレーニングし、低次密度比法(LODR)を提案する。
論文 参考訳（メタデータ） (2022-03-31T03:33:50Z) - POINTER: Constrained Progressive Text Generation via Insertion-based
Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。
提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。
結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文 参考訳（メタデータ） (2020-05-01T18:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。