論文の概要: CoreFlow: Low-Rank Matrix Generative Models
- arxiv url: http://arxiv.org/abs/2604.24959v1
- Date: Mon, 27 Apr 2026 19:56:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-29 16:49:17.580982
- Title: CoreFlow: Low-Rank Matrix Generative Models
- Title(参考訳): CoreFlow: 低ランクマトリックス生成モデル
- Authors: Dongze Wu, Linglingzhi Zhu, Yao Xie,
- Abstract要約: CoreFlowは幾何学的に保存される低ランクフローモデルであり、行列分布全体にわたる共有行/カラムサブスペースを学習する。
共有低ランク行列幾何が存在するような設定のために設計されており、特に高次元のリミテッドサンプレットで設計されている。
これは、データリッチな設定で競争力を維持しながら、少数のサンプル状態におけるスペクトルおよびモーメントレベルの生成品質を大幅に改善する。
- 参考スコア(独自算出の注目度): 12.39149995876876
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning matrix-valued distributions from high-dimensional and possibly incomplete training data is challenging: ambient-space generative modeling is computationally expensive and statistically fragile when the matrix dimension is large but the sample size is limited. We propose CoreFlow, a geometry-preserving low-rank flow model that learns shared row/column subspaces across the matrix distribution, and then trains a continuous normalizing flow only on the induced low-dimensional core. CoreFlow is designed for settings where shared low-rank matrix geometry is present, especially in high-dimensional limited-sample regimes. This separates shared matrix geometry from sample-specific variation, preserves matrix structure, and substantially improves training efficiency. The same framework also handles incomplete training matrices through masked Riemannian updates and iterative completion. Across real and synthetic benchmarks, CoreFlow substantially improves spectral and moment-level generation quality in few-sample regimes while remaining competitive in data-rich settings, even under compression to 9% of the ambient dimension and with up to 40% missing training entries.
- Abstract(参考訳): 高次元およびおそらく不完全なトレーニングデータから行列値の分布を学習することは困難である: 周囲空間生成モデリングは、行列次元が大きいがサンプルサイズが限られている場合、計算的に高価で統計的に脆弱である。
行列分布にまたがる共有行/列部分空間を学習し,誘導された低次元コアにのみ連続正規化フローを訓練する,幾何保存型低ランクフローモデルCoreFlowを提案する。
CoreFlowは、特に高次元のリミテッドサンプレットにおいて、共有低ランク行列幾何学が存在する設定のために設計されている。
これは、共有行列幾何学をサンプル固有のバリエーションから分離し、行列構造を保存し、トレーニング効率を大幅に改善する。
同じフレームワークは、マスク付きリーマン更新と反復補完を通じて、不完全なトレーニング行列も扱う。
実時間および合成ベンチマーク全体で、CoreFlowは、少数のサンプル状態においてスペクトルおよびモーメントレベルの生成品質を大幅に改善すると同時に、データリッチな設定でも競争力を維持する。
関連論文リスト
- FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models [49.397861654088636]
低次元空間へのSVD/QRベースの勾配射影を近似する2段階の手順を提案する。
当社の戦略はランタイムの高速化とメモリ使用量の削減を,さまざまなモデルサイズで最大25%削減できることが示されています。
論文 参考訳(メタデータ) (2025-05-23T14:37:00Z) - Layer-Specific Optimization: Sensitivity Based Convolution Layers Basis Search [0.0]
畳み込み層の重みに対して行列分解を適用する新しい方法を提案する。
この方法の本質は、すべての畳み込みを訓練することではなく、畳み込みのサブセット(基底畳み込み)のみを訓練することであり、残りを基底の線形結合として表現することである。
ResNetファミリとCIFAR-10データセットによるモデル実験では、ベース畳み込みはモデルのサイズを減らすだけでなく、ネットワークの前方および後方通過を加速する。
論文 参考訳(メタデータ) (2024-08-12T09:24:48Z) - Reducing Spatial Discretization Error on Coarse CFD Simulations Using an OpenFOAM-Embedded Deep Learning Framework [0.7223509567556214]
本研究では,深層学習を用いたシミュレーションの品質向上により,流体力学問題の空間的離散化誤差を低減する手法を提案する。
我々は、粗いグリッドの離散化に投射した後、細粒度のデータでモデルをフィードする。
我々は、セル中心からフェイス値への速度を補間するフィードフォワードニューラルネットワークにより、対流項のデフォルトの差分スキームを置換し、ダウンサンプリングされた微細グリッドデータをよく近似する速度を生成する。
論文 参考訳(メタデータ) (2024-05-13T02:59:50Z) - Self Normalizing Flows [65.73510214694987]
本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。
これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。
実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
論文 参考訳(メタデータ) (2020-11-14T09:51:51Z) - Coresets via Bilevel Optimization for Continual Learning and Streaming [86.67190358712064]
濃度制約付き二レベル最適化による新しいコアセット構成を提案する。
我々のフレームワークがディープニューラルネットワークのコアセットを効率的に生成できることを示し、連続学習やストリーミング設定における経験的メリットを示す。
論文 参考訳(メタデータ) (2020-06-06T14:20:25Z) - Neural Subdivision [58.97214948753937]
本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。
すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。
単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
論文 参考訳(メタデータ) (2020-05-04T20:03:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。