論文の概要: Intrinsic Dimension Correlation: uncovering nonlinear connections in multimodal representations

• arxiv url: http://arxiv.org/abs/2406.15812v1
• Date: Sat, 22 Jun 2024 10:36:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 20:25:27.740907
• Title: Intrinsic Dimension Correlation: uncovering nonlinear connections in multimodal representations
• Title（参考訳）: 固有次元相関:マルチモーダル表現における非線形接続の発見
• Authors: Lorenzo Basile, Santiago Acevedo, Luca Bortolussi, Fabio Anselmi, Alex Rodriguez,
• Abstract要約: 本稿では,内在次元と相関関係の絡み合いを利用して相関関係を定量化する計量を提案する。 まず,制御環境における合成データの検証を行い,その利点と欠点を既存手法と比較した。 ニューラルネットワーク表現における大規模アプリケーションに分析を拡張します。
• 参考スコア（独自算出の注目度）: 0.4223422932643755
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To gain insight into the mechanisms behind machine learning methods, it is crucial to establish connections among the features describing data points. However, these correlations often exhibit a high-dimensional and strongly nonlinear nature, which makes them challenging to detect using standard methods. This paper exploits the entanglement between intrinsic dimensionality and correlation to propose a metric that quantifies the (potentially nonlinear) correlation between high-dimensional manifolds. We first validate our method on synthetic data in controlled environments, showcasing its advantages and drawbacks compared to existing techniques. Subsequently, we extend our analysis to large-scale applications in neural network representations. Specifically, we focus on latent representations of multimodal data, uncovering clear correlations between paired visual and textual embeddings, whereas existing methods struggle significantly in detecting similarity. Our results indicate the presence of highly nonlinear correlation patterns between latent manifolds.
• Abstract（参考訳）: 機械学習手法の背後にあるメカニズムを理解するためには、データポイントを記述する機能間の接続を確立することが不可欠である。 しかし、これらの相関はしばしば高次元かつ強い非線形性を示すため、標準手法による検出は困難である。 本稿では、内在次元と相関の絡み合いを利用して、高次元多様体間の(潜在的に非線形な)相関を定量化する計量を提案する。 まず,制御環境における合成データの検証を行い,その利点と欠点を既存手法と比較した。 その後、ニューラルネットワーク表現における大規模アプリケーションに分析を拡張します。 具体的には,マルチモーダルデータの潜在表現に着目し,ペアの視覚とテキストの埋め込みの間に明確な相関関係を明らかにする。 その結果, 潜在多様体間の高非線形相関パターンの存在が示唆された。

関連論文リスト

• Detecting Spurious Correlations via Robust Visual Concepts in Real and AI-Generated Image Classification [12.992095539058022]
  本稿では,潜在的スパイラル相関を効率的に検出する汎用手法を提案する。 提案手法は,ピクセルレベルのアノテーションを不要にしつつ,直感的な説明を提供する。 また,本手法は,生成モデル由来の下流アプリケーションに伝播する急激な相関を検出するのにも適している。
  論文  参考訳（メタデータ） (2023-11-03T01:12:35Z)
• Learning Complete Topology-Aware Correlations Between Relations for Inductive Link Prediction [121.65152276851619]
  関係性間の意味的相関は本質的にエッジレベルとエンティティ非依存であることを示す。 本研究では,関係関係のトポロジ・アウェア・コレレーションをモデル化するための新しいサブグラフベース手法,TACOを提案する。 RCNのポテンシャルをさらに活用するために, 完全コモンニアインダストリアルサブグラフを提案する。
  論文  参考訳（メタデータ） (2023-09-20T08:11:58Z)
• Nonparametric Embeddings of Sparse High-Order Interaction Events [21.758306786651772]
  高次相互作用イベントは現実世界のアプリケーションでは一般的である。 スパース高次相互作用イベントの非埋め込みを提案する。 我々は効率的でスケーラブルなモデル推論アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-07-08T01:25:34Z)
• Learning from few examples with nonlinear feature maps [68.8204255655161]
  我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。 本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
  論文  参考訳（メタデータ） (2022-03-31T10:36:50Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Leveraging Pre-Images to Discover Nonlinear Relationships in Multivariate Environments [0.0]
  因果発見は、人工知能を用いた科学的発見において重要な機能を提供する。 多くの実世界の時間観測が互いに非線形に関連していることが判明した。 本手法は,観測が時間によって制限され,非線形に関連している場合に,最先端の因果発見法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-01T22:42:51Z)
• Discovering dependencies in complex physical systems using Neural Networks [0.0]
  非線形関係を発見するための汎用フレームワークとして,相互情報とディープニューラルネットワークに基づく手法を提案する。 本手法の実際の多変数非線形力学系への応用を実証する。
  論文  参考訳（メタデータ） (2021-01-27T18:59:19Z)
• The Importance of Being Correlated: Implications of Dependence in Joint Spectral Inference across Multiple Networks [4.238478445823]
  マルチネットワーク上のスペクトル推論は、グラフ統計学の急速に発展するサブフィールドである。 近年の研究では、複数の独立ネットワークの結合または同時スペクトル埋め込みにより、より正確な推定が可能になることが示されている。 一般化されたOmnibus埋め込み手法を提案し、この埋め込みを独立ネットワークと相関ネットワークの両方にまたがって詳細に解析する。
  論文  参考訳（メタデータ） (2020-08-01T03:43:52Z)
• On Disentangled Representations Learned From Correlated Data [59.41587388303554]
  相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。 本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。 また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
  論文  参考訳（メタデータ） (2020-06-14T12:47:34Z)
• Bayesian Sparse Factor Analysis with Kernelized Observations [67.60224656603823]
  多視点問題は潜在変数モデルに直面することができる。 高次元問題と非線形問題は伝統的にカーネルメソッドによって扱われる。 両アプローチを単一モデルにマージすることを提案する。
  論文  参考訳（メタデータ） (2020-06-01T14:25:38Z)
• Discovering Nonlinear Relations with Minimum Predictive Information Regularization [67.7764810514585]
  本稿では,時系列から方向関係を推定する最小限の情報正規化手法を提案する。 本手法は, 合成データセットの非線形関係を学習するための他の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-01-07T04:28:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。