論文の概要: Disentanglement Learning via Topology
- arxiv url: http://arxiv.org/abs/2308.12696v2
- Date: Tue, 12 Dec 2023 16:03:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 19:55:40.289888
- Title: Disentanglement Learning via Topology
- Title(参考訳): トポロジーによる絡み合い学習
- Authors: Nikita Balabin, Daria Voronkova, Ilya Trofimov, Evgeny Burnaev,
Serguei Barannikov
- Abstract要約: マルチスケールなトポロジ的損失項を追加することで,不整合表現を学習するTopDisを提案する。
ディスタングルメントは、ディープラーニングモデルの説明可能性と堅牢性にとって重要なデータ表現の重要な特性である。
提案した位相損失を用いて,訓練されたGANにおいて不整合方向を求める方法を示す。
- 参考スコア(独自算出の注目度): 23.95757601091452
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We propose TopDis (Topological Disentanglement), a method for learning
disentangled representations via adding multi-scale topological loss term.
Disentanglement is a crucial property of data representations substantial for
the explainability and robustness of deep learning models and a step towards
high-level cognition. The state-of-the-art method based on VAE minimizes the
total correlation of the joint distribution of latent variables. We take a
different perspective on disentanglement by analyzing topological properties of
data manifolds. In particular, we optimize the topological similarity for data
manifolds traversals. To the best of our knowledge, our paper is the first one
to propose a differentiable topological loss for disentanglement. Our
experiments have shown that the proposed topological loss improves
disentanglement scores such as MIG, FactorVAE score, SAP score and DCI
disentanglement score with respect to state-of-the-art results. Our method
works in an unsupervised manner, permitting to apply it for problems without
labeled factors of variation. Additionally, we show how to use the proposed
topological loss to find disentangled directions in a trained GAN.
- Abstract(参考訳): マルチスケールなトポロジ的損失項を付加することにより,不整合表現を学習するTopDis (Topological Disentanglement)を提案する。
ディスタングルメントは、ディープラーニングモデルの説明可能性と堅牢性、およびハイレベル認知へのステップにとって重要なデータ表現の重要な特性である。
VAEに基づく最先端手法は、潜伏変数の結合分布の総相関を最小化する。
データ多様体のトポロジ的性質を解析することにより、解離について異なる視点をとる。
特に,データ多様体のトポロジ的類似性を最適化する。
我々の知る限りでは、この論文は、解離のための微分可能なトポロジ的損失を提案する最初の論文である。
実験の結果,提案したトポロジカル損失はMIG,FacterVAEスコア,SAPスコア,DCIアンタングルメントスコアなどの非アンタングルメントスコアを改善した。
本手法は教師なしの方法で動作し,変動要因をラベル付けすることなく問題に適用できる。
さらに, 提案した位相損失を用いて, 訓練されたGANにおいて, 絡み合った方向を求める方法を示す。
関連論文リスト
- A topological description of loss surfaces based on Betti Numbers [8.539445673580252]
多層ニューラルネットワークの場合の損失複雑性を評価するためのトポロジカル尺度を提供する。
損失関数やモデルアーキテクチャの特定のバリエーション、例えば$ell$正規化項の追加やフィードフォワードネットワークでの接続のスキップは、特定のケースにおける損失には影響しない。
論文 参考訳(メタデータ) (2024-01-08T11:20:04Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - Learning Topology-Preserving Data Representations [9.710409273484464]
位相保存データ表現(次元減少)を学習する手法を提案する。
この手法の中核は、元の高次元データと潜時空間における低次元表現との間の表現トポロジディバージェンス(RTD)の最小化である。
提案手法は, 線形相関, 三重項距離ランキング精度, 永続バーコード間のワッサーシュタイン距離によって測定された, 最先端の競合相手よりも, データ多様体のグローバル構造とトポロジーをよりよく保存する。
論文 参考訳(メタデータ) (2023-01-31T22:55:04Z) - Topologically Regularized Data Embeddings [15.001598256750619]
低次元埋め込みにトポロジ的事前知識を組み込むための代数的トポロジに基づく汎用的アプローチを導入する。
正規化器としてそのような位相損失関数を用いて埋め込み損失を共同最適化すると、局所的な近似だけでなく所望の位相構造も反映する埋め込みが得られることを示す。
線形および非線形次元削減法とグラフ埋め込み法を組み合わせた計算効率,堅牢性,汎用性に関する提案手法を実験的に評価した。
論文 参考訳(メタデータ) (2023-01-09T13:49:47Z) - GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP,
and Beyond [101.5329678997916]
対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。
本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。
低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
論文 参考訳(メタデータ) (2022-11-03T16:42:40Z) - Position-aware Structure Learning for Graph Topology-imbalance by
Relieving Under-reaching and Over-squashing [67.83086131278904]
トポロジー不均衡は、ラベル付きノードの不均一なトポロジー位置によって引き起こされるグラフ固有の不均衡問題である。
PASTEL という新しい位置認識型グラフ構造学習フレームワークを提案する。
私たちの重要な洞察は、より監督的な情報を得るために、同じクラス内のノードの接続性を高めることです。
論文 参考訳(メタデータ) (2022-08-17T14:04:21Z) - Yes, Topology Matters in Decentralized Optimization: Refined Convergence
and Topology Learning under Heterogeneous Data [0.0]
本稿では,分散学習アルゴリズムD-SGD(Decentralized Gradient Descent Algorithm)をデータ不均一性の下で再検討する。
我々は、D-SGDの収束速度において、近隣の不均一性と呼ばれる新しい量によって果たす重要な役割を示す。
エージェント分布のトポロジとヘテロジニティを結合することにより、分散学習におけるこれらの2つの概念間の不十分な相互作用に光を当てる。
論文 参考訳(メタデータ) (2022-04-09T11:29:12Z) - Topologically penalized regression on manifolds [0.0]
コンパクト多様体 M 上の回帰問題について検討する。
データの基底幾何学と位相を利用するために、回帰タスクは多様体のラプラス・ベルトラミ作用素の最初のいくつかの固有関数に基づいて実行される。
提案された罰則は固有関数または推定関数の下位レベルの集合の位相に基づく。
論文 参考訳(メタデータ) (2021-10-26T14:59:13Z) - Learning Neural Causal Models with Active Interventions [83.44636110899742]
本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。
本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。
シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2021-09-06T13:10:37Z) - Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。
新規な構造化融合正規化に基づく一般グラフ推定器を提案する。
提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
論文 参考訳(メタデータ) (2021-03-05T04:42:32Z) - Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。
堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。
異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
論文 参考訳(メタデータ) (2020-07-21T08:18:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。