論文の概要: URLOST: Unsupervised Representation Learning without Stationarity or Topology

• arxiv url: http://arxiv.org/abs/2310.04496v1
• Date: Fri, 6 Oct 2023 18:00:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 18:11:45.274264
• Title: URLOST: Unsupervised Representation Learning without Stationarity or Topology
• Title（参考訳）: URLOST: 固定性やトポロジーのない教師なし表現学習
• Authors: Zeyu Yun, Juexiao Zhang, Bruno Olshausen, Yann LeCun, Yubei Chen
• Abstract要約: 定常性やトポロジに欠ける高次元データから学習する新しいフレームワークを提案する。 我々のモデルは学習可能な自己組織化層、密度調整されたスペクトルクラスタリング、マスク付きオートエンコーダを組み合わせる。 本研究は,生体視覚データ,一次視覚野からの神経記録,遺伝子発現データセットにおいて有効性を評価する。
• 参考スコア（独自算出の注目度）: 26.17135629579595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised representation learning has seen tremendous progress but is constrained by its reliance on data modality-specific stationarity and topology, a limitation not found in biological intelligence systems. For instance, human vision processes visual signals derived from irregular and non-stationary sampling lattices yet accurately perceives the geometry of the world. We introduce a novel framework that learns from high-dimensional data lacking stationarity and topology. Our model combines a learnable self-organizing layer, density adjusted spectral clustering, and masked autoencoders. We evaluate its effectiveness on simulated biological vision data, neural recordings from the primary visual cortex, and gene expression datasets. Compared to state-of-the-art unsupervised learning methods like SimCLR and MAE, our model excels at learning meaningful representations across diverse modalities without depending on stationarity or topology. It also outperforms other methods not dependent on these factors, setting a new benchmark in the field. This work represents a step toward unsupervised learning methods that can generalize across diverse high-dimensional data modalities.
• Abstract（参考訳）: 教師なし表現学習は、非常に進歩してきたが、データモダリティ固有の定常性とトポロジーに依存しているため、生物学的知能システムにはない制限がある。 例えば、人間の視覚は不規則および非定常サンプリング格子に由来する視覚信号を処理し、世界の形状を正確に認識する。 定常性やトポロジに欠ける高次元データから学習する新しいフレームワークを提案する。 本モデルでは,学習可能な自己組織化層,密度調整型スペクトルクラスタリング,マスク付きオートエンコーダを組み合わせる。 本研究は,生体視覚データ,一次視覚野からの神経記録,遺伝子発現データセットにおいて有効性を評価する。 SimCLRやMAEのような最先端の教師なし学習手法と比較して、我々のモデルは、定常性やトポロジに依存することなく、様々な様々に意味のある表現を学習できる。 また、これらの要因に依存しない他のメソッドよりも優れており、フィールドに新しいベンチマークを設定する。 この研究は、様々な高次元データモダリティを一般化できる教師なし学習方法への一歩である。

関連論文リスト

• Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
  眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。 対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。 提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-23T22:32:06Z)
• Homological Convolutional Neural Networks [4.615338063719135]
  本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。 5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2023-08-26T08:48:51Z)
• ProtoVAE: Prototypical Networks for Unsupervised Disentanglement [1.6114012813668934]
  本稿では,自己スーパービジョンを用いて学習した深層学習型プロトタイプネットワークを活用する,新しい深部生成型VAEモデルProtoVAEを提案する。 我々のモデルは、完全に教師なしであり、要素数を含むデータセットの事前知識を必要としない。 提案手法をベンチマークdSprites, 3DShapes, MPI3Dディジアングルメントデータセット上で評価した。
  論文  参考訳（メタデータ） (2023-05-16T01:29:26Z)
• Do Neural Networks Trained with Topological Features Learn Different Internal Representations? [1.418465438044804]
  本研究では、トポロジカルな特徴で訓練されたモデルが、元の生データで学習したモデルと根本的に異なるデータの内部表現を学習するかどうかを検討する。 構造的には、トポロジカルな特徴に基づいて訓練・評価されたモデルの隠れ表現は、対応する生データに基づいて訓練・評価されたモデルと大きく異なることがわかった。 これは、生データに基づいてトレーニングされたニューラルネットワークが、予測を行う過程で限られたトポロジ的特徴を抽出することを意味すると推測する。
  論文  参考訳（メタデータ） (2022-11-14T19:19:04Z)
• Bridging the Gap to Real-World Object-Centric Learning [66.55867830853803]
  自己教師付き方法で訓練されたモデルから特徴を再構成することは、完全に教師なしの方法でオブジェクト中心表現が生じるための十分な訓練信号であることを示す。 我々のアプローチであるDINOSAURは、シミュレーションデータ上で既存のオブジェクト中心学習モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2022-09-29T15:24:47Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Self-Supervised Graph Representation Learning for Neuronal Morphologies [75.38832711445421]
  ラベルのないデータセットから3次元神経形態の低次元表現を学習するためのデータ駆動型アプローチであるGraphDINOを提案する。 2つの異なる種と複数の脳領域において、この方法では、専門家による手動の特徴に基づく分類と同程度に形態学的細胞型クラスタリングが得られることを示す。 提案手法は,大規模データセットにおける新しい形態的特徴や細胞型の発見を可能にする可能性がある。
  論文  参考訳（メタデータ） (2021-12-23T12:17:47Z)
• Multi-Modal Anomaly Detection for Unstructured and Uncertain Environments [5.677685109155077]
  現代のロボットは、最小限の人間の監督で異常や故障を検出して回復する能力を必要とします。 本稿では,非構造的かつ不確実な環境での障害識別のための教師付き変分オートエンコーダ(SVAE)を提案する。 実地ロボットデータを用いた実験では,ベースライン法よりも障害同定性能が優れており,解釈可能な表現を学習できる。
  論文  参考訳（メタデータ） (2020-12-15T21:59:58Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)
• Manifolds for Unsupervised Visual Anomaly Detection [79.22051549519989]
  トレーニングで必ずしも異常に遭遇しない教師なしの学習方法は、非常に有用です。 ジャイロプレーン層を用いた立体投影による超球形変分オートエンコーダ(VAE)を開発した。 工業用AIシナリオにおける実世界の実用性を実証し、精密製造および検査における視覚異常ベンチマークの最先端結果を示す。
  論文  参考訳（メタデータ） (2020-06-19T20:41:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。