論文の概要: GIVT: Generative Infinite-Vocabulary Transformers
- arxiv url: http://arxiv.org/abs/2312.02116v2
- Date: Thu, 18 Jan 2024 15:47:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 19:33:20.502274
- Title: GIVT: Generative Infinite-Vocabulary Transformers
- Title（参考訳）: GIVT: 生成無限語彙変換器
- Authors: Michael Tschannen, Cian Eastwood, Fabian Mentzer
- Abstract要約: 実数値エントリを持つベクトル列を生成する生成無限語彙変換器(GIVT)を導入する。
VQ-GANとMaskGITの画像生成パラダイムにインスパイアされた私たちは、VAEの非定量化実数値列をモデル化するためにGIVTを使用します。
- 参考スコア（独自算出の注目度）: 20.849137824404565
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce generative infinite-vocabulary transformers (GIVT) which
generate vector sequences with real-valued entries, instead of discrete tokens
from a finite vocabulary. To this end, we propose two surprisingly simple
modifications to decoder-only transformers: 1) at the input, we replace the
finite-vocabulary lookup table with a linear projection of the input vectors;
and 2) at the output, we replace the logits prediction (usually mapped to a
categorical distribution) with the parameters of a multivariate Gaussian
mixture model. Inspired by the image-generation paradigm of VQ-GAN and MaskGIT,
where transformers are used to model the discrete latent sequences of a VQ-VAE,
we use GIVT to model the unquantized real-valued latent sequences of a VAE.
When applying GIVT to class-conditional image generation with iterative masked
modeling, we show competitive results with MaskGIT, while our approach
outperforms both VQ-GAN and MaskGIT when using it for causal modeling. Finally,
we obtain competitive results outside of image generation when applying our
approach to panoptic segmentation and depth estimation with a VAE-based variant
of the UViM framework.
- Abstract（参考訳）: 有限語彙からの離散トークンの代わりに、実数値エントリを持つベクトル列を生成する生成無限語彙変換器(GIVT)を導入する。
この目的のために、デコーダのみのトランスフォーマーに対する驚くほど簡単な2つの修正を提案する。
1)入力において,有限ボキャブラリールックアップテーブルを入力ベクトルの線形射影に置き換える。
2) 出力において,多変量ガウス混合モデルのパラメータにロジット予測(通常はカテゴリー分布にマッピングされる)を置き換える。
トランスフォーマーを用いてvq-vaeの離散的潜在シーケンスをモデル化するvq-ganとmaskgitの画像処理パラダイムに触発されて、givtを用いてvaeの非定量的実数値潜在シーケンスをモデル化する。
繰り返しマスクドモデリングによるクラス条件画像生成にgivtを適用すると,マスギットと競合する結果が得られ,一方,提案手法は因果モデリングにvq-ganとマスギットを上回っている。
最後に、UViMフレームワークのVAEに基づく変種を用いて、単視分割と深度推定にアプローチを適用する際に、画像生成以外の競合結果を得る。
関連論文リスト
- Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
一般的な戦略である。
事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。
適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。
SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
論文 参考訳（メタデータ） (2024-10-30T12:08:30Z) - Speech Modeling with a Hierarchical Transformer Dynamical VAE [23.847366888695266]
階層変換器DVAE(HiT-DVAE)を用いた音声信号のモデル化を提案する。
本稿では,HT-DVAEが音声スペクトログラムモデリングにおける他のDVAEよりも優れており,訓練手順が簡単であることを示す。
論文 参考訳（メタデータ） (2023-03-07T13:35:45Z) - Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in
Transformer-Based Variational AutoEncoder for Diverse Text Generation [85.5379146125199]
変分自動エンコーダ(VAE)はテキスト生成において広く採用されている。
本稿ではトランスフォーマーをベースとしたリカレントVAE構造であるTRACEを提案する。
論文 参考訳（メタデータ） (2022-10-22T10:25:35Z) - f-DM: A Multi-stage Diffusion Model via Progressive Signal
Transformation [56.04628143914542]
拡散モデル(DM)は、最近、様々な領域で生成モデリングを行うためのSoTAツールとして登場した。
本稿では、プログレッシブ信号変換が可能なDMの一般化されたファミリであるf-DMを提案する。
我々は、ダウンサンプリング、ぼやけ、学習された変換を含む様々な機能を持つ画像生成タスクにf-DMを適用した。
論文 参考訳（メタデータ） (2022-10-10T18:49:25Z) - Gophormer: Ego-Graph Transformer for Node Classification [27.491500255498845]
本稿では,egoグラフにフルグラフの代わりにトランスフォーマーを適用した新しいGophormerモデルを提案する。
具体的には、変圧器の入力としてエゴグラフをサンプリングするためにNode2Seqモジュールが提案されており、スケーラビリティの課題が軽減されている。
エゴグラフサンプリングで導入された不確実性に対処するために,一貫性の正則化とマルチサンプル推論戦略を提案する。
論文 参考訳（メタデータ） (2021-10-25T16:43:32Z) - Visual Saliency Transformer [127.33678448761599]
RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。
イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。
実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
論文 参考訳（メタデータ） (2021-04-25T08:24:06Z) - Transformer-based Conditional Variational Autoencoder for Controllable
Story Generation [39.577220559911055]
ニューラルストーリー生成のための大規模潜時変数モデル (LVM) を, 生成効率と制御性という2つのスレッドで検討した。
我々は、トランスフォーマーの時代において、本質的に表現学習の力である潜在変数モデリングを復活させることを提唱する。
具体的には,遅延表現ベクトルをTransformerベースの事前学習アーキテクチャと統合し,条件付き変分オートエンコーダ(CVAE)を構築する。
論文 参考訳（メタデータ） (2021-01-04T08:31:11Z) - Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。
十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-05-20T17:25:43Z) - Variational Transformers for Diverse Response Generation [71.53159402053392]
変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。
VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。
本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
論文 参考訳（メタデータ） (2020-03-28T07:48:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。