論文の概要: URLOST: Unsupervised Representation Learning without Stationarity or Topology

• arxiv url: http://arxiv.org/abs/2310.04496v2
• Date: Fri, 21 Mar 2025 17:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:54:13.822739
• Title: URLOST: Unsupervised Representation Learning without Stationarity or Topology
• Title（参考訳）: URLOST: 固定性やトポロジのない教師なし表現学習
• Authors: Zeyu Yun, Juexiao Zhang, Yann LeCun, Yubei Chen,
• Abstract要約: 定常性やトポロジの事前知識のない高次元データから学習する新しいフレームワークを提案する。 このモデルでは,学習可能な自己組織化層,スペクトルクラスタリング,マスク付きオートエンコーダを組み合わせる。 本研究は,生体視覚データ,一次視覚野からの神経記録,遺伝子発現を含む3種類のデータモダリティに対して有効性を評価する。
• 参考スコア（独自算出の注目度）: 26.010647961403148
• License:
• Abstract: Unsupervised representation learning has seen tremendous progress. However, it is constrained by its reliance on domain specific stationarity and topology, a limitation not found in biological intelligence systems. For instance, unlike computer vision, human vision can process visual signals sampled from highly irregular and non-stationary sensors. We introduce a novel framework that learns from high-dimensional data without prior knowledge of stationarity and topology. Our model, abbreviated as URLOST, combines a learnable self-organizing layer, spectral clustering, and a masked autoencoder (MAE). We evaluate its effectiveness on three diverse data modalities including simulated biological vision data, neural recordings from the primary visual cortex, and gene expressions. Compared to state-of-the-art unsupervised learning methods like SimCLR and MAE, our model excels at learning meaningful representations across diverse modalities without knowing their stationarity or topology. It also outperforms other methods that are not dependent on these factors, setting a new benchmark in the field. We position this work as a step toward unsupervised learning methods capable of generalizing across diverse high-dimensional data modalities.
• Abstract（参考訳）: 教師なしの表現学習は大きな進歩を遂げた。 しかし、生物の知能システムでは見つからない領域固有の定常性とトポロジーに依存していることに制約されている。 例えば、コンピュータビジョンとは異なり、人間の視覚は、非常に不規則で静止していないセンサーからサンプリングされた視覚信号を処理することができる。 定常性やトポロジの事前知識のない高次元データから学習する新しいフレームワークを提案する。 このモデルでは,学習可能な自己組織化層,スペクトルクラスタリング,マスク付きオートエンコーダ(MAE)を組み合わせる。 本研究は,生体視覚データ,一次視覚野からの神経記録,遺伝子発現を含む3種類のデータモダリティに対して有効性を評価する。 SimCLRやMAEのような最先端の教師なし学習手法と比較して、我々のモデルは、定常性やトポロジを知らずに、様々なモダリティにまたがる有意義な表現の学習に優れています。 また、これらの要因に依存しない他のメソッドよりも優れており、フィールドに新しいベンチマークを設定している。 我々は,この研究を,多種多様な高次元データモダリティをまたいだ一般化が可能な教師なし学習手法へのステップとして位置付ける。

関連論文リスト

• Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
  眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。 対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。 提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-23T22:32:06Z)
• Homological Convolutional Neural Networks [4.615338063719135]
  本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。 5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2023-08-26T08:48:51Z)
• ProtoVAE: Prototypical Networks for Unsupervised Disentanglement [1.6114012813668934]
  本稿では,自己スーパービジョンを用いて学習した深層学習型プロトタイプネットワークを活用する,新しい深部生成型VAEモデルProtoVAEを提案する。 我々のモデルは、完全に教師なしであり、要素数を含むデータセットの事前知識を必要としない。 提案手法をベンチマークdSprites, 3DShapes, MPI3Dディジアングルメントデータセット上で評価した。
  論文  参考訳（メタデータ） (2023-05-16T01:29:26Z)
• Do Neural Networks Trained with Topological Features Learn Different Internal Representations? [1.418465438044804]
  本研究では、トポロジカルな特徴で訓練されたモデルが、元の生データで学習したモデルと根本的に異なるデータの内部表現を学習するかどうかを検討する。 構造的には、トポロジカルな特徴に基づいて訓練・評価されたモデルの隠れ表現は、対応する生データに基づいて訓練・評価されたモデルと大きく異なることがわかった。 これは、生データに基づいてトレーニングされたニューラルネットワークが、予測を行う過程で限られたトポロジ的特徴を抽出することを意味すると推測する。
  論文  参考訳（メタデータ） (2022-11-14T19:19:04Z)
• Bridging the Gap to Real-World Object-Centric Learning [66.55867830853803]
  自己教師付き方法で訓練されたモデルから特徴を再構成することは、完全に教師なしの方法でオブジェクト中心表現が生じるための十分な訓練信号であることを示す。 我々のアプローチであるDINOSAURは、シミュレーションデータ上で既存のオブジェクト中心学習モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2022-09-29T15:24:47Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Self-Supervised Graph Representation Learning for Neuronal Morphologies [75.38832711445421]
  ラベルのないデータセットから3次元神経形態の低次元表現を学習するためのデータ駆動型アプローチであるGraphDINOを提案する。 2つの異なる種と複数の脳領域において、この方法では、専門家による手動の特徴に基づく分類と同程度に形態学的細胞型クラスタリングが得られることを示す。 提案手法は,大規模データセットにおける新しい形態的特徴や細胞型の発見を可能にする可能性がある。
  論文  参考訳（メタデータ） (2021-12-23T12:17:47Z)
• Multi-Modal Anomaly Detection for Unstructured and Uncertain Environments [5.677685109155077]
  現代のロボットは、最小限の人間の監督で異常や故障を検出して回復する能力を必要とします。 本稿では,非構造的かつ不確実な環境での障害識別のための教師付き変分オートエンコーダ(SVAE)を提案する。 実地ロボットデータを用いた実験では,ベースライン法よりも障害同定性能が優れており,解釈可能な表現を学習できる。
  論文  参考訳（メタデータ） (2020-12-15T21:59:58Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)
• Manifolds for Unsupervised Visual Anomaly Detection [79.22051549519989]
  トレーニングで必ずしも異常に遭遇しない教師なしの学習方法は、非常に有用です。 ジャイロプレーン層を用いた立体投影による超球形変分オートエンコーダ(VAE)を開発した。 工業用AIシナリオにおける実世界の実用性を実証し、精密製造および検査における視覚異常ベンチマークの最先端結果を示す。
  論文  参考訳（メタデータ） (2020-06-19T20:41:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。