論文の概要: Learning Subspace-Preserving Sparse Attention Graphs from Heterogeneous Multiview Data
- arxiv url: http://arxiv.org/abs/2605.11881v2
- Date: Mon, 18 May 2026 16:00:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:45.704332
- Title: Learning Subspace-Preserving Sparse Attention Graphs from Heterogeneous Multiview Data
- Title(参考訳): 不均質なマルチビューデータを用いた部分空間保存スパースアテンショングラフの学習
- Authors: Jie Chen, Yuanbiao Gou, Chuanbin Liu, Zhu Wang, Xi Peng,
- Abstract要約: ヘテロジニアスなマルチビューデータからサブスペース保存されたスパースアテンショングラフを学習するスパースアテンショングラフ学習(SAGL)法を提案する。
SAGLは、最先端の教師なしトランスファー学習アプローチよりも一貫して優れています。
- 参考スコア(独自算出の注目度): 23.128540151031846
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The high-dimensional features extracted from large-scale unlabeled data via various pretrained models with diverse architectures are referred to as heterogeneous multiview data. Most existing unsupervised transfer learning methods fail to faithfully recover intrinsic subspace structures when exploiting complementary information across multiple views. Therefore, a fundamental challenge involves constructing sparse similarity graphs that preserve these underlying subspace structures for achieving semantic alignment across heterogeneous views. In this paper, we propose a sparse attention graph learning (SAGL) method that learns subspace-preserving sparse attention graphs from heterogeneous multiview data. Specifically, we introduce a bilinear attention factorization scheme to capture asymmetric similarities among the high-dimensional features, which breaks the symmetry bottleneck that is inherent in the traditional representation learning techniques. A dynamic sparsity gating mechanism then predicts a feature-specific compression factor for adaptively controlling the topological contributions of neighbors. Furthermore, we employ a structured sparse projection via $α$-entmax to generate subspace-preserving sparse attention graphs for individual views. SAGL leverages these view-specific graphs to conduct sparse information aggregation, yielding discriminative representations for multiview learning tasks. In addition, we provide a rigorous theoretical analysis that bridges differentiable sparse attention and probability simplex constraints. Extensive experiments conducted on multiple benchmark datasets demonstrate that SAGL consistently outperforms the state-of-the-art unsupervised transfer learning approaches.
- Abstract(参考訳): 多様なアーキテクチャを持つ事前学習モデルを用いて,大規模未ラベルデータから抽出した高次元特徴を異種マルチビューデータと呼ぶ。
既存の教師なし転送学習手法の多くは、複数のビューにまたがる相補的な情報を利用する際に、本質的な部分空間構造を忠実に復元することができない。
したがって、基本的な課題は、不均一なビュー間のセマンティックアライメントを達成するために、これらの基礎となる部分空間構造を保存するスパース類似性グラフを構築することである。
本論文では,異種マルチビューデータからサブスペース保存されたスパースアテンショングラフを学習するスパースアテンショングラフ学習(SAGL)手法を提案する。
具体的には、従来の表現学習技術に固有の対称性のボトルネックを破る、高次元特徴間の非対称的な類似性を捉えるための双線形注意因子化方式を提案する。
動的疎性ゲーティング機構は、隣人のトポロジカルな寄与を適応的に制御する特徴特異的圧縮因子を予測する。
さらに、サブスペース保存された個々のビューに対するスパースアテンショングラフを生成するために、$α$-entmaxによる構造化されたスパースプロジェクションを用いる。
SAGLは、これらのビュー固有のグラフを利用してスパース情報アグリゲーションを実行し、マルチビュー学習タスクの識別表現を生成する。
さらに、微分可能なスパースアテンションと確率的単純性制約をブリッジする厳密な理論解析を提供する。
複数のベンチマークデータセットで実施された大規模な実験により、SAGLは最先端の教師なしトランスファー学習アプローチよりも一貫して優れていることが示された。
関連論文リスト
- OWLEYE: Zero-Shot Learner for Cross-Domain Graph Data Anomaly Detection [48.77471686671269]
OWLEYEは、複数のグラフから正常な振る舞いの伝達可能なパターンを学習する新しいフレームワークである。
OWLEYEは最先端のベースラインに比べて性能と一般化性が優れていることを示す。
論文 参考訳(メタデータ) (2026-01-27T02:08:18Z) - MS-IMAP -- A Multi-Scale Graph Embedding Approach for Interpretable Manifold Learning [1.8124328823188354]
本稿では,スペクトルグラフウェーブレットに基づくマルチスケールグラフネットワークの埋め込みフレームワークを提案する。
提案した埋め込みの重要な利点は、埋め込みと入力特徴空間の対応性を確立する能力である。
下流タスクにおける複数の公開データセットに対するグラフ埋め込みフレームワークの有効性を検証する。
論文 参考訳(メタデータ) (2024-06-04T20:48:33Z) - One for all: A novel Dual-space Co-training baseline for Large-scale
Multi-View Clustering [42.92751228313385]
我々は、Dual-space Co-training Large-scale Multi-view Clustering (DSCMC)という新しいマルチビュークラスタリングモデルを提案する。
提案手法の主な目的は,2つの異なる空間における協調学習を活用することにより,クラスタリング性能を向上させることである。
我々のアルゴリズムは近似線形計算複雑性を持ち、大規模データセットへの適用が成功することを保証している。
論文 参考訳(メタデータ) (2024-01-28T16:30:13Z) - Efficient Multi-view Clustering via Unified and Discrete Bipartite Graph
Learning [15.617206773324952]
本稿では,統一および離散二部グラフ学習(UDBGL)による効率的なマルチビュークラスタリング手法を提案する。
複数のビューからビュー固有の二部グラフを学習するために、アンカーベースのサブスペース学習が組み込まれている。
ラプラシア階数制約は、融合二部グラフが離散クラスタ構造を持つことを保証するために課される。
論文 参考訳(メタデータ) (2022-09-09T08:51:01Z) - Tensor-based Multi-view Spectral Clustering via Shared Latent Space [14.470859959783995]
MvSC(Multi-view Spectral Clustering)は多様なデータソースによって注目を集めている。
MvSCの新しい手法はRestricted Kernel Machineフレームワークから共有潜在空間を介して提案される。
論文 参考訳(メタデータ) (2022-07-23T17:30:54Z) - Geometry Contrastive Learning on Heterogeneous Graphs [50.58523799455101]
本稿では,幾何学コントラスト学習(Geometry Contrastive Learning, GCL)と呼ばれる,新しい自己指導型学習手法を提案する。
GCLはユークリッドと双曲的な視点からヘテロジニアスグラフを同時に見ることができ、リッチな意味論と複雑な構造をモデル化する能力の強い融合を目指している。
4つのベンチマークデータセットの大規模な実験は、提案手法が強いベースラインよりも優れていることを示している。
論文 参考訳(メタデータ) (2022-06-25T03:54:53Z) - Heterogeneous Graph Neural Networks using Self-supervised Reciprocally
Contrastive Learning [102.9138736545956]
不均一グラフニューラルネットワーク(HGNN)は異種グラフのモデリングと解析において非常に一般的な手法である。
我々は,ノード属性とグラフトポロジの各ガイダンスに関する2つの視点を取り入れた,新規で頑健なヘテロジニアスグラフコントラスト学習手法であるHGCLを初めて開発する。
この新しいアプローチでは,属性とトポロジに関連情報を別々にマイニングする手法として,異なるが最も適した属性とトポロジの融合機構を2つの視点に適用する。
論文 参考訳(メタデータ) (2022-04-30T12:57:02Z) - Effective and Efficient Graph Learning for Multi-view Clustering [173.8313827799077]
マルチビュークラスタリングのための効率的かつ効率的なグラフ学習モデルを提案する。
本手法はテンソルシャッテンp-ノルムの最小化により異なるビューのグラフ間のビュー類似性を利用する。
提案アルゴリズムは時間経済であり,安定した結果を得るとともに,データサイズによく対応している。
論文 参考訳(メタデータ) (2021-08-15T13:14:28Z) - Spatial-spectral Hyperspectral Image Classification via Multiple Random
Anchor Graphs Ensemble Learning [88.60285937702304]
本稿では,複数のランダムアンカーグラフアンサンブル学習(RAGE)を用いた空間スペクトルHSI分類手法を提案する。
まず、各選択されたバンドのより記述的な特徴を抽出し、局所的な構造と領域の微妙な変化を保存するローカルバイナリパターンを採用する。
次に,アンカーグラフの構成に適応隣接代入を導入し,計算複雑性を低減した。
論文 参考訳(メタデータ) (2021-03-25T09:31:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。