論文の概要: DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion
- arxiv url: http://arxiv.org/abs/2301.09474v1
- Date: Mon, 23 Jan 2023 15:18:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-24 13:26:46.728982
- Title: DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion
- Title(参考訳): DIFFormer:エネルギー制約拡散によるスケーラブル(グラフ)トランス
- Authors: Qitian Wu, Chenxiao Yang, Wentao Zhao, Yixuan He, David Wipf, Junchi
Yan
- Abstract要約: 本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
- 参考スコア(独自算出の注目度): 66.21290235237808
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world data generation often involves complex inter-dependencies among
instances, violating the IID-data hypothesis of standard learning paradigms and
posing a challenge for uncovering the geometric structures for learning desired
instance representations. To this end, we introduce an energy constrained
diffusion model which encodes a batch of instances from a dataset into
evolutionary states that progressively incorporate other instances' information
by their interactions. The diffusion process is constrained by descent criteria
w.r.t.~a principled energy function that characterizes the global consistency
of instance representations over latent structures. We provide rigorous theory
that implies closed-form optimal estimates for the pairwise diffusion strength
among arbitrary instance pairs, which gives rise to a new class of neural
encoders, dubbed as DIFFormer (diffusion-based Transformers), with two
instantiations: a simple version with linear complexity for prohibitive
instance numbers, and an advanced version for learning complex structures.
Experiments highlight the wide applicability of our model as a general-purpose
encoder backbone with superior performance in various tasks, such as node
classification on large graphs, semi-supervised image/text classification, and
spatial-temporal dynamics prediction.
- Abstract(参考訳): 現実世界のデータ生成には、しばしばインスタンス間の複雑な相互依存があり、標準学習パラダイムのiidデータ仮説に違反し、望ましいインスタンス表現を学習するための幾何学的構造を明らかにするための課題となる。
この目的のために、データセットから進化状態へインスタンスのバッチをエンコードするエネルギー制約拡散モデルを導入し、その相互作用によって他のインスタンスの情報を取り込む。
拡散過程は下降条件 w.r.t.~ 潜在構造上のインスタンス表現の大域的一貫性を特徴づける原理エネルギー関数によって制約される。
我々は、任意のインスタンスペア間の対拡散強度の閉形式最適推定を示唆する厳密な理論を提案し、これは、DIFFormer (diffusion-based Transformers)と呼ばれる新しいタイプのニューラルエンコーダを生み出し、二つのインスタンスをインスタンス化する単純なバージョンと、複雑な構造を学ぶための高度なバージョンである。
実験では,大規模グラフのノード分類,半教師付き画像/テキスト分類,空間-時空間ダイナミクス予測など,様々なタスクにおいて優れた性能を持つ汎用エンコーダバックボーンとしてモデルの適用性が強調された。
関連論文リスト
- Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image
Compression [63.56922682378755]
本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。
提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。
実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
論文 参考訳(メタデータ) (2023-08-17T01:34:51Z) - Learning Latent Dynamics via Invariant Decomposition and
(Spatio-)Temporal Transformers [0.6767885381740952]
本研究では,高次元経験データから力学系を学習する手法を提案する。
我々は、システムの複数の異なるインスタンスからデータが利用できる設定に焦点を当てる。
我々は、単純な理論的分析と、合成および実世界のデータセットに関する広範な実験を通して行動を研究する。
論文 参考訳(メタデータ) (2023-06-21T07:52:07Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳(メタデータ) (2023-05-28T06:30:29Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-04-03T13:13:19Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳(メタデータ) (2022-10-07T17:56:53Z) - Factorized Fusion Shrinkage for Dynamic Relational Data [14.87073454889439]
本稿では,すべての分解因子がグループ単位の核融合構造に対して動的に縮小される因子化核融合収縮モデルについて考察する。
提案手法は、推定された動的潜在因子の比較とクラスタリングにおいて、多くの好ましい特性を享受する。
本稿では、最適後部推論と計算スケーラビリティのバランスをとる構造的平均場変動推論フレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-30T21:03:40Z) - Evolution TANN and the discovery of the internal variables and evolution
equations in solid mechanics [0.0]
材料表現をインクリメンタルな定式化から切り離す新しい手法を提案する。
熱力学に基づくニューラルネットワーク(TANN)と内部変数の理論にインスパイアされた進化 TANN(eTANN)は、連続時間である。
提案手法の主な特徴は、通常の微分方程式の形で内部変数の進化方程式の発見である。
論文 参考訳(メタデータ) (2022-09-27T09:25:55Z) - Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。
本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。
我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文 参考訳(メタデータ) (2022-05-25T17:37:08Z) - The Transitive Information Theory and its Application to Deep Generative
Models [0.0]
変分オートエンコーダ(VAE)は2つの反対方向に押される。
既存の方法では、圧縮と再構成の間のレート歪みのトレードオフに問題を絞り込む。
一般化のために学習した表現を再結合する機構とともに,非交叉表現の階層構造を学習するシステムを開発する。
論文 参考訳(メタデータ) (2022-03-09T22:35:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。