論文の概要: CDFlow: Building Invertible Layers with Circulant and Diagonal Matrices

• arxiv url: http://arxiv.org/abs/2510.25323v2
• Date: Fri, 31 Oct 2025 02:54:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 19:57:09.725163
• Title: CDFlow: Building Invertible Layers with Circulant and Diagonal Matrices
• Title（参考訳）: CDFlow: 循環行列と対角行列による可逆層の構築
• Authors: Xuchen Feng, Siyu Liao,
• Abstract要約: 循環行列および対角行列の積に基づく新しい可逆線形層を導入する。 この分解はパラメータの複雑さを$mathcalO(n2)$から$mathcalO(mn)$に減らす。 この層上に構築したCirculant-Diagonal Flow (CDFlow) は,自然画像のデータセットに対して強い密度推定を行う。
• 参考スコア（独自算出の注目度）: 2.6154833242452864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Normalizing flows are deep generative models that enable efficient likelihood estimation and sampling through invertible transformations. A key challenge is to design linear layers that enhance expressiveness while maintaining efficient computation of the Jacobian determinant and inverse. We introduce a novel invertible linear layer based on the product of circulant and diagonal matrices. This decomposition reduces parameter complexity from $\mathcal{O}(n^2)$ to $\mathcal{O}(mn)$ using $m$ diagonal matrices and $m-1$ circulant matrices while still approximating general linear transformations. By leveraging the Fast Fourier Transform, our approach reduces the time complexity of matrix inversion from $\mathcal{O}(n^3)$ to $\mathcal{O}(mn\log n)$ and that of computing the log-determinant from $\mathcal{O}(n^3)$ to $\mathcal{O}(mn)$, where $n$ is the input dimension. We build upon this layer to develop Circulant-Diagonal Flow (CDFlow), which achieves strong density estimation on natural image datasets and effectively models data with inherent periodic structure. Furthermore, CDFlow significantly accelerates key operations in normalizing flows, providing practical benefits for scalable generative modeling.
• Abstract（参考訳）: 正規化フローは、非可逆変換による効率的な確率推定とサンプリングを可能にする深い生成モデルである。 重要な課題は、ジャコビアン行列式と逆式の効率的な計算を維持しながら表現性を高める線形層を設計することである。 循環行列および対角行列の積に基づく新しい可逆線形層を導入する。 この分解はパラメータの複雑さを$\mathcal{O}(n^2)$から$\mathcal{O}(mn)$に減らし、一般線型変換を近似しながら$m$対角行列と$m-1$循環行列を使用する。 高速フーリエ変換を利用することで、行列の逆変換の時間的複雑さを$\mathcal{O}(n^3)$から$\mathcal{O}(mn\log n)$に減らし、対数行列式を$\mathcal{O}(n^3)$から$\mathcal{O}(mn)$に減らし、$n$を入力次元とする。 この層上に構築したCirculant-Diagonal Flow (CDFlow) は,自然画像のデータセットの密度を強く推定し,本質的な周期構造を持つデータを効果的にモデル化する。 さらに、CDFlowはフローの正規化において重要な操作を著しく加速し、スケーラブルな生成モデルに実用的な利点を提供する。

関連論文リスト

• Polar Separable Transform for Efficient Orthogonal Rotation-Invariant Image Representation [10.420952921069759]
  極座標の非分離障壁を克服する分離直交変換であるtextbfPSepT (Polar Separable Transform) を導入する。 その結果、構造化データセット上での数値安定性、計算効率、および競合分類性能が向上した。 このフレームワークは従来の手法では実現不可能な高次モーメント解析を可能にし、ロバストな画像解析アプリケーションのための新たな可能性を開く。
  論文  参考訳（メタデータ） (2025-10-10T08:26:09Z)
• Efficient Network Automatic Relevance Determination [30.611086842690426]
  Network Automatic Relevance determined (NARD)は、線形確率モデルのためのARDの拡張である。 NARD は mathbb Rd 倍 N$ の入力のスパース関係を同時にモデル化し、mathbb Rm 倍 N$ の入力の $Y を出力する。
  論文  参考訳（メタデータ） (2025-06-14T05:20:25Z)
• Scaling Up Liquid-Resistance Liquid-Capacitance Networks for Efficient Sequence Modeling [50.994194925685434]
  LrcSSMは$textitnon-linear$リカレントモデルで、現在の線形状態空間層と同じくらい高速に長いシーケンスを処理する。 ヤコビ行列を対角線に強制することにより、全列を並列に解くことができる。 LrcSSMは、Liquid-S4のような他の入力変化系が提供しないことを保証する形式的な勾配安定性を提供する。
  論文  参考訳（メタデータ） (2025-05-27T20:02:59Z)
• FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models [49.397861654088636]
  低次元空間へのSVD/QRベースの勾配射影を近似する2段階の手順を提案する。 当社の戦略はランタイムの高速化とメモリ使用量の削減を,さまざまなモデルサイズで最大25%削減できることが示されています。
  論文  参考訳（メタデータ） (2025-05-23T14:37:00Z)
• Conv-Basis: A New Paradigm for Efficient Attention Inference and Gradient Computation in Transformers [16.046186753149]
  最近のLarge Language Models(LLM)におけるトランスフォーマーの成功の鍵は自己認識メカニズムである 我々は、注目行列の畳み込み様構造を利用して、畳み込み行列を用いた注目の効率的な近似法を開発する。 トランスフォーマーモデルにおけるアテンション計算を加速するための新しいパラダイムが、より長いコンテキストへのアプリケーションを支援することを願っています。
  論文  参考訳（メタデータ） (2024-05-08T17:11:38Z)
• Scalable First-Order Bayesian Optimization via Structured Automatic Differentiation [4.061135251278187]
  広い範囲のカーネルが構造化行列を生じさせ、勾配観測のための正確な$mathcalO(n2d)$Matrix-vector multiplyとヘッセン観測のための$mathcalO(n2d2)$を可能にした。 提案手法は,ほぼすべての標準カーネルに適用され,ニューラルネットワーク,放射基底関数ネットワーク,スペクトル混合カーネルなどの複雑なカーネルに自動的に拡張される。
  論文  参考訳（メタデータ） (2022-06-16T17:59:48Z)
• Hybrid Model-based / Data-driven Graph Transform for Image Coding [54.31406300524195]
  予測内残差ブロックを符号化するハイブリッドモデルベース/データ駆動方式を提案する。 変換行列の最初の$K$固有ベクトルは、安定性のための非対称離散正弦変換(ADST)のような統計モデルから導かれる。 WebPをベースライン画像として使用することにより、我々のハイブリッドグラフ変換は、デフォルトの離散コサイン変換(DCT)よりもエネルギーの圧縮が良く、KLTよりも安定性がよいことを示す。
  論文  参考訳（メタデータ） (2022-03-02T15:36:44Z)
• Sketching Transformed Matrices with Applications to Natural Language Processing [76.6222695417524]
  本稿では, 変換行列を用いて, 与えられた小さな行列の積を計算するための空間効率のよいスケッチアルゴリズムを提案する。 提案手法は誤差が小さく,空間と時間の両方で効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T03:07:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。