論文の概要: Twist Decoding: Diverse Generators Guide Each Other
- arxiv url: http://arxiv.org/abs/2205.09273v1
- Date: Thu, 19 May 2022 01:27:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-21 07:52:27.758195
- Title: Twist Decoding: Diverse Generators Guide Each Other
- Title（参考訳）: Twist Decoding: 異なるジェネレータが相互にガイドする
- Authors: Jungo Kasai, Keisuke Sakaguchi, Ronan Le Bras, Hao Peng, Ximing Lu,
Dragomir Radev, Yejin Choi, Noah A. Smith
- Abstract要約: 様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。
我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
- 参考スコア（独自算出の注目度）: 116.20780037268801
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural language generation technology has recently seen remarkable progress
with large-scale training, and many natural language applications are now built
upon a wide range of generation models. Combining diverse models may lead to
further progress, but conventional ensembling (e.g., shallow fusion) requires
that they share vocabulary/tokenization schemes. We introduce Twist decoding, a
simple and general inference algorithm that generates text while benefiting
from diverse models. Our method does not assume the vocabulary, tokenization or
even generation order is shared. Our extensive evaluations on machine
translation and scientific paper summarization demonstrate that Twist decoding
substantially outperforms each model decoded in isolation over various
scenarios, including cases where domain-specific and general-purpose models are
both available. Twist decoding also consistently outperforms the popular
reranking heuristic where output candidates from one model is rescored by
another. We hope that our work will encourage researchers and practitioners to
examine generation models collectively, not just independently, and to seek out
models with complementary strengths to the currently available models.
- Abstract（参考訳）: 自然言語生成技術は最近、大規模トレーニングで著しく進歩しており、多くの自然言語アプリケーションは、現在、幅広い世代モデル上に構築されている。
多様なモデルを組み合わせることでさらなる進歩がもたらされるが、従来のエンセンスリング(例えば浅い融合)では語彙/分岐スキームを共有する必要がある。
様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。
本手法は語彙やトークン化や生成順序の共有を前提としない。
機械翻訳と科学論文の要約に関する広範な評価から,ツイスト復号化は,ドメイン固有モデルと汎用モデルの両方が利用可能である場合を含む,さまざまなシナリオにおいて分離復号された各モデルを大きく上回っていることが示された。
ツイストデコーディングは、あるモデルからの出力候補が別のモデルによってリコードされる、一般的なリランキングヒューリスティックを一貫して上回っている。
私たちの研究は、研究者や実践者が独立したモデルではなく、世代モデルをまとめて検討し、現在利用可能なモデルに補完的な強みを持つモデルを探すことを奨励することを期待しています。
関連論文リスト
- Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
論文 参考訳（メタデータ） (2024-07-22T18:00:00Z) - Retrieval is Accurate Generation [99.24267226311157]
本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。
本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
論文 参考訳（メタデータ） (2024-02-27T14:16:19Z) - Vector-Quantized Prompt Learning for Paraphrase Generation [18.40940464497253]
本稿では、事前学習されたモデルにインスタンス依存のプロンプトを組み込むことにより、多種多様な高品質なパラフレーズを生成することを提案する。
大規模な実験により,提案手法は3つのベンチマークデータセットに対して新たな最先端結果が得られることを示した。
論文 参考訳（メタデータ） (2023-11-25T07:13:06Z) - Generative Pre-training for Speech with Flow Matching [81.59952572752248]
我々は,フローマッチングとマスク条件を併用した60k時間の無転写音声に対して,SpeechFlowという生成モデルを事前学習した。
実験結果から,事前学習した生成モデルをタスク固有のデータで微調整し,音声強調,分離,合成に関する既存の専門家モデルに適合または超えることを示す。
論文 参考訳（メタデータ） (2023-10-25T03:40:50Z) - Grafting Pre-trained Models for Multimodal Headline Generation [12.063053852096514]
マルチモーダルヘッドラインはビデオフレームと書き起こしの両方を利用して、ビデオの自然言語タイトルを生成する。
事前学習された言語モデルとビデオ言語モデルに関するこれまでの研究は、下流タスクにおいて大きな進歩を遂げた。
本稿では,ビデオエンコーダを生成前学習言語モデル上に事前学習したビデオ言語モデルから移植する手法を提案する。
論文 参考訳（メタデータ） (2022-11-14T08:59:59Z) - DIRECTOR: Generator-Classifiers For Supervised Language Modeling [27.86870968048833]
現在の言語モデルは難易度は低いが、結果として生じる世代は依然として有毒な反応、反復性、矛盾に悩まされている。
我々は,各出力トークンに対して,言語モデリングと分類ヘッドを併用した統一型ジェネレータからなる新しいアーキテクチャであるc Directorを導入する。
論文 参考訳（メタデータ） (2022-06-15T17:44:08Z) - Language Models are General-Purpose Interfaces [109.45478241369655]
本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。
事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する
インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
論文 参考訳（メタデータ） (2022-06-13T17:34:22Z) - Summarize and Generate to Back-translate: Unsupervised Translation of
Programming Languages [86.08359401867577]
バックトランスレーションは、並列データがほとんど、あるいは全く利用できない場合のニューラルマシン翻訳の有効性で広く知られている。
コード要約と生成による逆翻訳を提案する。
提案手法は最先端の手法と競合することを示す。
論文 参考訳（メタデータ） (2022-05-23T08:20:41Z) - Deep Latent-Variable Models for Text Generation [7.119436003155924]
ディープニューラルネットワークベースのエンドツーエンドアーキテクチャが広く採用されている。
エンドツーエンドのアプローチは、以前は複雑な手作りのルールで設計されていたすべてのサブモジュールを、全体的なエンコード・デコードアーキテクチャに融合させる。
この論文は、テキスト生成のための標準エンコーダデコーダモデルよりも、潜伏変数の深いモデルがいかに改善できるかを示す。
論文 参考訳（メタデータ） (2022-03-03T23:06:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。