論文の概要: Masked Generative Nested Transformers with Decode Time Scaling

• arxiv url: http://arxiv.org/abs/2502.00382v1
• Date: Sat, 01 Feb 2025 09:41:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:05:25.034954
• Title: Masked Generative Nested Transformers with Decode Time Scaling
• Title（参考訳）: デコード時間スケーリングによるマスケ生成ネスト変換器
• Authors: Sahil Goyal, Debapriya Tula, Gagan Jain, Pradeep Shenoy, Prateek Jain, Sujoy Paul,
• Abstract要約: 本研究では,視覚生成アルゴリズムにおける推論計算効率のボトルネックに対処することを目的とする。 我々は、計算を効果的に活用するためにデコード時間モデルのスケーリングスケジュールを設計し、計算の一部をキャッシュして再利用することができる。 実験の結果,ベースラインよりも3倍近い計算量で,競争性能が得られることがわかった。
• 参考スコア（独自算出の注目度）: 21.34984197218021
• License:
• Abstract: Recent advances in visual generation have made significant strides in producing content of exceptional quality. However, most methods suffer from a fundamental problem - a bottleneck of inference computational efficiency. Most of these algorithms involve multiple passes over a transformer model to generate tokens or denoise inputs. However, the model size is kept consistent throughout all iterations, which makes it computationally expensive. In this work, we aim to address this issue primarily through two key ideas - (a) not all parts of the generation process need equal compute, and we design a decode time model scaling schedule to utilize compute effectively, and (b) we can cache and reuse some of the computation. Combining these two ideas leads to using smaller models to process more tokens while large models process fewer tokens. These different-sized models do not increase the parameter size, as they share parameters. We rigorously experiment with ImageNet256$\times$256 , UCF101, and Kinetics600 to showcase the efficacy of the proposed method for image/video generation and frame prediction. Our experiments show that with almost $3\times$ less compute than baseline, our model obtains competitive performance.
• Abstract（参考訳）: 近年の視覚生成の進歩は、例外的な品質のコンテンツを生み出すために大きな進歩を遂げている。 しかし、ほとんどの手法は、推論の計算効率のボトルネックである根本的な問題に悩まされている。 これらのアルゴリズムのほとんどは、トークンを生成するか入力を識別するために、トランスフォーマーモデルに複数のパスを含む。 しかし、モデルのサイズは全てのイテレーションを通して一貫性を持ち、計算コストがかかる。 本研究では,主に2つの重要なアイデアを通じて,この問題に対処することを目指しています。 a) 生成プロセスのすべての部分が等しく計算を必要とする訳ではなく、計算を効果的に活用するためのデコード時間モデルスケーリングスケジュールを設計する。 b) 計算の一部をキャッシュして再利用できます。 これら2つのアイデアを組み合わせることで、より小さなモデルを使用してより多くのトークンを処理する一方で、大きなモデルはより少ないトークンを処理する。 これらの異なるサイズのモデルはパラメータを共有するため、パラメータサイズを増大させません。 我々は ImageNet256$\times$256 , UCF101, Kinetics600 を厳格に実験し,提案手法の有効性を画像/映像の生成とフレーム予測に応用した。 我々の実験によると、ベースラインよりも3ドル近い計算量で、我々のモデルは競争性能を得る。

関連論文リスト

• Iterative Object Count Optimization for Text-to-image Diffusion Models [59.03672816121209]
  画像とテキストのペアから学ぶ現在のモデルは、本質的にカウントに苦慮している。 本稿では,物体のポテンシャルを集計する計数モデルから得られた計数損失に基づいて生成画像の最適化を提案する。 様々なオブジェクトの生成を評価し,精度を大幅に向上させた。
  論文  参考訳（メタデータ） (2024-08-21T15:51:46Z)
• FrameQuant: Flexible Low-Bit Quantization for Transformers [25.569106620123346]
  トランスフォーマーは多くのビジョンと自然言語処理タスクのための強力な基盤モデルのバックボーンです。 ポストトライニング量子化は、事前トレーニングされたモデルを変更し、それを8ビット以下に量子化する。 様々な実験を通して、トランスフォーマーモデルに対する(ほとんど)2ビット量子化は、大きな効率向上を約束することを示す。
  論文  参考訳（メタデータ） (2024-03-10T04:01:49Z)
• Cache Me if You Can: Accelerating Diffusion Models through Block Caching [67.54820800003375]
  画像間の大規模なネットワークは、ランダムノイズから画像を反復的に洗練するために、何度も適用されなければならない。 ネットワーク内のレイヤの振る舞いを調査し,1) レイヤの出力が経時的にスムーズに変化すること,2) レイヤが異なる変更パターンを示すこと,3) ステップからステップへの変更が非常に小さいこと,などが分かる。 本稿では,各ブロックの時間経過変化に基づいて,キャッシュスケジュールを自動的に決定する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-06T00:51:38Z)
• PaSS: Parallel Speculative Sampling [29.23180061749074]
  言語モデルのサイズを数千億のパラメータに拡大すると、幅広いタスクにおいて素晴らしいパフォーマンスが得られます。 生成時にこれらのモデルは自動回帰的に使用され、生成されたトークンごとにフォワードパスを必要とし、メモリからパラメータの完全なセットを読み取る。 有望なパフォーマンス(最大30%$スピードアップ)を示しますが、追加のパラメータは$O(d_emb)$でしかありません。
  論文  参考訳（メタデータ） (2023-11-22T18:37:27Z)
• Decreasing the Computing Time of Bayesian Optimization using Generalizable Memory Pruning [56.334116591082896]
  本稿では,任意のサロゲートモデルと取得関数で使用可能なメモリプルーニングとバウンダリ最適化のラッパーを示す。 BOを高次元または大規模データセット上で実行することは、この時間の複雑さのために難解になる。 すべてのモデル実装はMIT Supercloudの最先端コンピューティングハードウェア上で実行される。
  論文  参考訳（メタデータ） (2023-09-08T14:05:56Z)
• A Unified View of Long-Sequence Models towards Modeling Million-Scale Dependencies [0.0]
  既存の解と長周期モデリングを、その純粋数学的定式化の観点から比較する。 次に、長いコンテキスト長がアプリケーションに依存しているにもかかわらず、より良いパフォーマンスをもたらすことを実証します。 大量のキャパシティを持つスパースモデルに着想を得て,百万単位の依存関係を扱う機械学習システムを提案する。
  論文  参考訳（メタデータ） (2023-02-13T09:47:31Z)
• ClusTR: Exploring Efficient Self-attention via Clustering for Vision Transformers [70.76313507550684]
  本稿では,密集自己注意の代替として,コンテンツに基づくスパースアテンション手法を提案する。 具体的には、合計トークン数を減少させるコンテンツベースの方法として、キーとバリュートークンをクラスタ化し、集約する。 結果として得られたクラスタ化されたTokenシーケンスは、元の信号のセマンティックな多様性を保持するが、より少ない計算コストで処理できる。
  論文  参考訳（メタデータ） (2022-08-28T04:18:27Z)
• Predicting Attention Sparsity in Transformers [0.9786690381850356]
  本稿では, 遠心注意の空間パターンを計算前に同定するモデルであるスペーサーファインダーを提案する。 我々の研究は、予測された注目グラフの間隔とリコールの間のトレードオフを広範囲に分析することで、モデル効率を研究するための新しい角度を提供する。
  論文  参考訳（メタデータ） (2021-09-24T20:51:21Z)
• CNNs for JPEGs: A Study in Computational Cost [49.97673761305336]
  畳み込みニューラルネットワーク(CNN)は過去10年間で驚くべき進歩を遂げてきた。 CNNはRGBピクセルから直接データの堅牢な表現を学習することができる。 近年,圧縮領域から直接学習できる深層学習手法が注目されている。
  論文  参考訳（メタデータ） (2020-12-26T15:00:10Z)
• Train Large, Then Compress: Rethinking Model Size for Efficient Training and Inference of Transformers [94.43313684188819]
  本研究では,計算によって制限されたNLPタスクのトランスフォーマーモデルに着目し,モデルサイズの影響について検討する。 まず最初に、より小さなTransformerモデルがイテレーション毎に高速に実行されているにもかかわらず、より広いモデルとより深いモデルがはるかに少ないステップで収束していることを示します。 これは、大きなTransformerモデルのトレーニング効率と小さなTransformerモデルの推論効率との間に明らかなトレードオフをもたらす。
  論文  参考訳（メタデータ） (2020-02-26T21:17:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。