論文の概要: Masked Vector Quantization

• arxiv url: http://arxiv.org/abs/2301.06626v2
• Date: Mon, 25 Mar 2024 00:45:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 04:08:18.588008
• Title: Masked Vector Quantization
• Title（参考訳）: Masked Vector Quantization
• Authors: David D. Nguyen, David Leibowitz, Surya Nepal, Salil S. Kanhere,
• Abstract要約: 離散潜在表現を持つ生成モデルは、最近、複雑なデータ分布を学習する印象的な能力を示した。 マスク構成の学習により各コードベクトルの表現能力を高めるMasked Vector Quantization (MVQ) フレームワークを提案する。 MVQは、既存のベクトル量子化アーキテクチャのFIDをインスタンス当たり2トークンで最大68%、5トークンで最大57%削減する。
• 参考スコア（独自算出の注目度）: 19.858406923144404
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Generative models with discrete latent representations have recently demonstrated an impressive ability to learn complex high-dimensional data distributions. However, their performance relies on a long sequence of tokens per instance and a large number of codebook entries, resulting in long sampling times and considerable computation to fit the categorical posterior. To address these issues, we propose the Masked Vector Quantization (MVQ) framework which increases the representational capacity of each code vector by learning mask configurations via a stochastic winner-takes-all training regime called Multiple Hypothese Dropout (MH-Dropout). On ImageNet 64$\times$64, MVQ reduces FID in existing vector quantization architectures by up to $68\%$ at 2 tokens per instance and $57\%$ at 5 tokens. These improvements widen as codebook entries is reduced and allows for $7\textit{--}45\times$ speed-up in token sampling during inference. As an additional benefit, we find that smaller latent spaces lead to MVQ identifying transferable visual representations where multiple can be smoothly combined.
• Abstract（参考訳）: 離散潜在表現を持つ生成モデルは、最近、複雑な高次元データ分布を学習する印象的な能力を示した。 しかしながら、それらのパフォーマンスはインスタンス当たりのトークンの長いシーケンスと多数のコードブックエントリに依存しており、結果として長いサンプリング時間と相当な計算がカテゴリの後方に適合する。 これらの問題に対処するために,MH-Dropout(MH-Dropout)と呼ばれる確率的勝者獲得学習システムを用いて,マスク構成を学習することにより,各コードベクトルの表現能力を高めるMasked Vector Quantization(MVQ)フレームワークを提案する。 ImageNet 64$\times$64では、MVQは既存のベクトル量子化アーキテクチャのFIDをインスタンス当たり2トークンで最大6,8\%、5トークンで最大5,7\%削減する。 これらの改善は、コードブックのエントリが減少し、推論中にトークンサンプリングのスピードアップを7ドル99セントで行えるようになった。 付加的な利点として、より小さな潜在空間がMVQに導かれ、複数の多重を滑らかに結合できる伝達可能な視覚表現が特定される。

関連論文リスト

• Turning Trash into Treasure: Accelerating Inference of Large Language Models with Token Recycling [53.58854856174773]
  投機的復号化(英: Speculative decoding)は、推測と検証のパラダイムを通じて推論を加速するアプローチである。 トケンリサイクルは、候補トークンを隣接行列に格納し、幅優先探索アルゴリズムを用いる。 既存の列車不要の手法を30%上回り、訓練方法さえ25%上回っている。
  論文  参考訳（メタデータ） (2024-08-16T12:20:56Z)
• Matryoshka Query Transformer for Large Vision-Language Models [103.84600181927884]
  我々は,Materyoshka Query Transformer (MQT)を導入し,推論中に画像をmビジュアルトークンにエンコードする。 単一のモデルを一度トレーニングし、フレキシブルかつ劇的に、推論時の視覚トークンの数を削減します。 MQT-LLAVAは,LLaVAの固定576の代わりに最大256トークンを用いて,11ベンチマークでLLaVA-1.5のパフォーマンスと一致した。
  論文  参考訳（メタデータ） (2024-05-29T17:39:42Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models [35.88374542519597]
  大規模マルチモーダルモデル(LMM)は、視覚エンコーダと大きな言語モデルとを接続することで、視覚的推論能力を示す。 近年のLMMには、高解像度の画像やビデオなど、より複雑な視覚入力が組み込まれており、視覚トークンの数が大幅に増加する。 我々は,LMMの性能を損なうことなく,視覚トークンの数を著しく削減する適応型視覚トークン削減戦略であるPruMergeを提案する。
  論文  参考訳（メタデータ） (2024-03-22T17:59:52Z)
• CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for Efficient and Effective Multi-Vector Retrieval [72.90850213615427]
  マルチベクター検索法はスパース(例えばBM25)と高密度(例えばDPR)レトリバーの利点を組み合わせたものである。 これらの手法は桁違いに遅く、単ベクトルの手法に比べてインデックスを格納するのにはるかに多くのスペースを必要とする。 動的語彙ルーティング(CITADEL)による条件付きトークンの相互作用を,効率的かつ効率的なマルチベクタ検索のために提案する。
  論文  参考訳（メタデータ） (2022-11-18T18:27:35Z)
• AdaMAE: Adaptive Masking for Efficient Spatiotemporal Learning with Masked Autoencoders [44.87786478095987]
  Masked Autoencodersは、画像、テキスト、オーディオ、ビデオなどの一般的な表現を、可視データのトークンからマスクされた入力データによって学習する。 本稿では,エンド・ツー・エンドのトレーニングが可能なMAEに対する適応型マスキング戦略を提案する。 AdaMAEは補助サンプリングネットワークを用いて意味的コンテキストに基づいて可視トークンをサンプリングする。
  論文  参考訳（メタデータ） (2022-11-16T18:59:48Z)
• Extreme Masking for Learning Instance and Distributed Visual Representations [50.152264456036114]
  本稿では,個々のトークン上の分散表現を同時に学習するためのスケーラブルなアプローチと,総合的なインスタンス表現を提案する。 分散トークンを表すために自己アテンションブロックを使用し、続いてクロスアテンションブロックを使用して全体インスタンスを集約します。 我々のモデルであるExtreMAは、未成熟なサブセットからのインスタンス表現をトレーニングして、無傷な入力からそれを予測する、プレーンなBYOLアプローチに従っています。
  論文  参考訳（メタデータ） (2022-06-09T17:59:43Z)
• PointINS: Point-based Instance Segmentation [117.38579097923052]
  POI(Point-of-Interest)機能によるインスタンスセグメンテーションにおけるマスク表現は、各インスタンスの高次元マスク機能を学ぶには、計算負荷が重いため、難しい。 本稿では、このマスク表現学習タスクを2つの抽出可能なモジュールに分解するインスタンス認識畳み込みを提案する。 インスタンス認識の畳み込みとともに、単純で実用的なインスタンスセグメンテーションアプローチであるPointINSを提案する。
  論文  参考訳（メタデータ） (2020-03-13T08:24:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。