論文の概要: Topologically Regularized Data Embeddings
- arxiv url: http://arxiv.org/abs/2110.09193v1
- Date: Mon, 18 Oct 2021 11:25:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 14:34:48.396886
- Title: Topologically Regularized Data Embeddings
- Title（参考訳）: 位相正規化データ埋め込み
- Authors: Robin Vandaele, Bo Kang, Jefrey Lijffijt, Tijl De Bie, Yvan Saeys
- Abstract要約: 本稿では,新たにトポロジ的損失の集合を導入し,その利用法を,データ埋め込みを自然に特定したモデルを表現するために,トポロジカルに正規化する方法として提案する。
このアプローチの有用性と汎用性を強調した合成データおよび実データの実験を含む。
- 参考スコア（独自算出の注目度）: 22.222311627054875
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised feature learning often finds low-dimensional embeddings that
capture the structure of complex data. For tasks for which expert prior
topological knowledge is available, incorporating this into the learned
representation may lead to higher quality embeddings. For example, this may
help one to embed the data into a given number of clusters, or to accommodate
for noise that prevents one from deriving the distribution of the data over the
model directly, which can then be learned more effectively. However, a general
tool for integrating different prior topological knowledge into embeddings is
lacking. Although differentiable topology layers have been recently developed
that can (re)shape embeddings into prespecified topological models, they have
two important limitations for representation learning, which we address in this
paper. First, the currently suggested topological losses fail to represent
simple models such as clusters and flares in a natural manner. Second, these
losses neglect all original structural (such as neighborhood) information in
the data that is useful for learning. We overcome these limitations by
introducing a new set of topological losses, and proposing their usage as a way
for topologically regularizing data embeddings to naturally represent a
prespecified model. We include thorough experiments on synthetic and real data
that highlight the usefulness and versatility of this approach, with
applications ranging from modeling high-dimensional single cell data, to graph
embedding.
- Abstract（参考訳）: 教師なし特徴学習はしばしば、複雑なデータの構造をキャプチャする低次元埋め込みを見つける。
専門的なトポロジカルな知識が利用できるタスクでは、これを学習した表現に組み込むことで、より高い品質の埋め込みにつながる可能性がある。
例えば、与えられた数のクラスタにデータを組み込む場合や、モデル上で直接データ分布を導出することを妨げるノイズに適応する場合には、これがより効果的に学習される場合があります。
しかし、異なる事前位相知識を埋め込みに統合するための一般的なツールが欠如している。
微分可能位相層は,事前定義された位相モデルへの埋め込みを(再)形作ることができるが,表現学習には2つの重要な制限がある。
まず、現在示唆されている位相的損失は、クラスタやフレアのような単純なモデルを自然な方法で表現できない。
第二に、これらの損失は、学習に有用なデータの構造的情報(例えば近隣情報)をすべて無視する。
これらの制約を克服するために、新しいトポロジカルな損失のセットを導入し、トポロジカルにデータ埋め込みを正規化し、自然に指定されたモデルを表現する方法として使用することを提案する。
我々は、高次元単細胞データのモデリングからグラフ埋め込みまで、このアプローチの有用性と汎用性を強調する合成データおよび実データに関する徹底的な実験を含む。
関連論文リスト
- Dissecting embedding method: learning higher-order structures from data [0.0]
データ学習のための幾何学的深層学習法は、しばしば特徴空間の幾何学に関する仮定のセットを含む。
これらの仮定と、データが離散的で有限であるという仮定は、いくつかの一般化を引き起こし、データとモデルの出力の間違った解釈を生み出す可能性がある。
論文 参考訳（メタデータ） (2024-10-14T08:19:39Z) - On Characterizing the Evolution of Embedding Space of Neural Networks
using Algebraic Topology [9.537910170141467]
特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。
深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。
論文 参考訳（メタデータ） (2023-11-08T10:45:12Z) - Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳（メタデータ） (2023-08-26T08:48:51Z) - Topologically Regularized Data Embeddings [15.001598256750619]
低次元埋め込みにトポロジ的事前知識を組み込むための代数的トポロジに基づく汎用的アプローチを導入する。
正規化器としてそのような位相損失関数を用いて埋め込み損失を共同最適化すると、局所的な近似だけでなく所望の位相構造も反映する埋め込みが得られることを示す。
線形および非線形次元削減法とグラフ埋め込み法を組み合わせた計算効率,堅牢性,汎用性に関する提案手法を実験的に評価した。
論文 参考訳（メタデータ） (2023-01-09T13:49:47Z) - Towards a mathematical understanding of learning from few examples with
nonlinear feature maps [68.8204255655161]
トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。
我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
論文 参考訳（メタデータ） (2022-11-07T14:52:58Z) - Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳（メタデータ） (2022-10-01T09:04:17Z) - CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。
特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文 参考訳（メタデータ） (2022-05-30T13:34:46Z) - Learning from few examples with nonlinear feature maps [68.8204255655161]
我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。
本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
論文 参考訳（メタデータ） (2022-03-31T10:36:50Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - A Topological Framework for Deep Learning [0.7310043452300736]
機械学習における分類問題は、非常に穏やかな条件下では常に解決可能であることを示す。
特に,ソフトマックス分類ネットワークは,有限列の位相移動によって入力位相空間に作用し,その分類処理を実現する。
論文 参考訳（メタデータ） (2020-08-31T15:56:42Z) - Self-Learning with Rectification Strategy for Human Parsing [73.06197841003048]
擬似ラベルの2つの典型的な誤りを補正する訓練可能なグラフ推論法を提案する。
再構成された特徴は、人体のトポロジー構造を表現する能力が強い。
本手法は、教師付き人間の解析作業において、他の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2020-04-17T03:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。