論文の概要: On Computational Limits of FlowAR Models: Expressivity and Efficiency

• arxiv url: http://arxiv.org/abs/2502.16490v1
• Date: Sun, 23 Feb 2025 08:07:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:59:09.118320
• Title: On Computational Limits of FlowAR Models: Expressivity and Efficiency
• Title（参考訳）: FlowARモデルの計算限界:表現性と効率性
• Authors: Chengyue Gong, Yekun Ke, Xiaoyu Li, Yingyu Liang, Zhizhou Sha, Zhenmei Shi, Zhao Song,
• Abstract要約: FlowARは、フローベースと自動回帰機構を統合する最先端アーキテクチャである。 FlowARモデルが生成する最大の特徴写像が次元$n倍のn倍のc$を持つ場合、FlowARモデルはしきい値回路のファミリーでシミュレート可能であることを示す。 また、FlowARモデル計算がほぼ2次時間で実現できる条件も同定する。
• 参考スコア（独自算出の注目度）: 37.56422161656334
• License:
• Abstract: The expressive power and computational complexity of deep visual generative models, such as flow-based and autoregressive (AR) models, have gained considerable interest for their wide-ranging applications in generative tasks. However, the theoretical characterization of their expressiveness through the lens of circuit complexity remains underexplored, particularly for the state-of-the-art architecture like FlowAR proposed by [Ren et al., 2024], which integrates flow-based and autoregressive mechanisms. This gap limits our understanding of their inherent computational limits and practical efficiency. In this study, we address this gap by analyzing the circuit complexity of the FlowAR architecture. We demonstrate that when the largest feature map produced by the FlowAR model has dimensions $n \times n \times c$, the FlowAR model is simulable by a family of threshold circuits $\mathsf{TC}^0$, which have constant depth $O(1)$ and polynomial width $\mathrm{poly}(n)$. This is the first study to rigorously highlight the limitations in the expressive power of FlowAR models. Furthermore, we identify the conditions under which the FlowAR model computations can achieve almost quadratic time. To validate our theoretical findings, we present efficient model variant constructions based on low-rank approximations that align with the derived criteria. Our work provides a foundation for future comparisons with other generative paradigms and guides the development of more efficient and expressive implementations.
• Abstract（参考訳）: フローベースや自己回帰(オートレグレッシブ)モデルのような深層視覚生成モデルの表現力と計算の複雑さは、生成タスクにおける広範囲の応用に対して大きな関心を集めている。 しかし、回路複雑性のレンズによる表現性の理論的特徴は、フローベースと自己回帰機構を統合した[Ren et al , 2024]によって提案されたFlowARのような最先端のアーキテクチャでは、まだ解明されていない。 このギャップは、本質的な計算限界と実用的効率の理解を制限する。 本研究では,FlowARアーキテクチャの回路複雑性を解析することにより,このギャップに対処する。 FlowARモデルが生成する最大の特徴写像が次元$n \times n \times c$を持つ場合、FlowARモデルは、定数深さ$O(1)$と多項式幅$\mathrm{poly}(n)$を持つしきい値回路群$\mathsf{TC}^0$でシミュレート可能である。 FlowARモデルの表現力の限界を厳格に強調する最初の研究である。 さらに,FlowARモデル計算がほぼ2次時間で実現できる条件を同定する。 理論的な知見を検証するために, 導出基準に適合する低ランク近似に基づく効率的なモデル変種構成を提案する。 我々の研究は、他の生成パラダイムと将来の比較の基礎を提供し、より効率的で表現力のある実装の開発を導く。

関連論文リスト

• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• Circuit Complexity Bounds for Visual Autoregressive Model [23.991344681741058]
  本稿では,Visual AutoRegressive(VAR)モデルの回路複雑性について検討し,本研究におけるバウンダリを確立する。 我々の第一結果は、VARモデルは、隠蔽次元が$d leq O(n)$と$mathrmpoly(n)$精度の均一な$mathsfTC0$しきい値回路によるシミュレーションと等価であることを示した。 印象的な性能にもかかわらず、VARモデルの表現力の限界を厳格に強調する最初の研究である。
  論文  参考訳（メタデータ） (2025-01-08T06:07:33Z)
• Consistency Models for Scalable and Fast Simulation-Based Inference [9.27488642055461]
  シミュレーションベース推論(SBI)のための新しい条件付きサンプルであるCMPEの整合性モデルを提案する。 CMPEは基本的に連続した確率フローを蒸留し、制約のないアーキテクチャで高速な数発の推論を可能にする。 実験により,CMPEは高次元のベンチマークで最先端のアルゴリズムより優れるだけでなく,より高速なサンプリング速度で競合性能を達成できることを示した。
  論文  参考訳（メタデータ） (2023-12-09T02:14:12Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Multi-Scale Architectures Matter: On the Adversarial Robustness of Flow-based Lossless Compression [16.109578069331135]
  フローベースモデルは, 優れた確率密度推定と良好な推論速度により, 性能が向上する。 マルチスケールアーキテクチャは、浅い層から出力層へのショートカットを提供する。 マルチスケールアーキテクチャのフローは、コーディングの複雑さと圧縮効率の最良のトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-08-26T15:17:43Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
  マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。 我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。 我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
  論文  参考訳（メタデータ） (2020-04-08T09:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。