論文の概要: URLOST: Unsupervised Representation Learning without Stationarity or Topology

• arxiv url: http://arxiv.org/abs/2310.04496v2
• Date: Fri, 21 Mar 2025 17:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 15:40:09.571038
• Title: URLOST: Unsupervised Representation Learning without Stationarity or Topology
• Title（参考訳）: URLOST: 固定性やトポロジのない教師なし表現学習
• Authors: Zeyu Yun, Juexiao Zhang, Yann LeCun, Yubei Chen,
• Abstract要約: 定常性やトポロジの事前知識のない高次元データから学習する新しいフレームワークを提案する。 このモデルでは,学習可能な自己組織化層,スペクトルクラスタリング,マスク付きオートエンコーダを組み合わせる。 本研究は,生体視覚データ,一次視覚野からの神経記録,遺伝子発現を含む3種類のデータモダリティに対して有効性を評価する。
• 参考スコア（独自算出の注目度）: 26.010647961403148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised representation learning has seen tremendous progress. However, it is constrained by its reliance on domain specific stationarity and topology, a limitation not found in biological intelligence systems. For instance, unlike computer vision, human vision can process visual signals sampled from highly irregular and non-stationary sensors. We introduce a novel framework that learns from high-dimensional data without prior knowledge of stationarity and topology. Our model, abbreviated as URLOST, combines a learnable self-organizing layer, spectral clustering, and a masked autoencoder (MAE). We evaluate its effectiveness on three diverse data modalities including simulated biological vision data, neural recordings from the primary visual cortex, and gene expressions. Compared to state-of-the-art unsupervised learning methods like SimCLR and MAE, our model excels at learning meaningful representations across diverse modalities without knowing their stationarity or topology. It also outperforms other methods that are not dependent on these factors, setting a new benchmark in the field. We position this work as a step toward unsupervised learning methods capable of generalizing across diverse high-dimensional data modalities.
• Abstract（参考訳）: 教師なしの表現学習は大きな進歩を遂げた。 しかし、生物の知能システムでは見つからない領域固有の定常性とトポロジーに依存していることに制約されている。 例えば、コンピュータビジョンとは異なり、人間の視覚は、非常に不規則で静止していないセンサーからサンプリングされた視覚信号を処理することができる。 定常性やトポロジの事前知識のない高次元データから学習する新しいフレームワークを提案する。 このモデルでは,学習可能な自己組織化層,スペクトルクラスタリング,マスク付きオートエンコーダ(MAE)を組み合わせる。 本研究は,生体視覚データ,一次視覚野からの神経記録,遺伝子発現を含む3種類のデータモダリティに対して有効性を評価する。 SimCLRやMAEのような最先端の教師なし学習手法と比較して、我々のモデルは、定常性やトポロジを知らずに、様々なモダリティにまたがる有意義な表現の学習に優れています。 また、これらの要因に依存しない他のメソッドよりも優れており、フィールドに新しいベンチマークを設定している。 我々は,この研究を,多種多様な高次元データモダリティをまたいだ一般化が可能な教師なし学習手法へのステップとして位置付ける。

関連論文リスト

• Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
  眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。 対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。 提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-23T22:32:06Z)
• Joint-Embedding Masked Autoencoder for Self-supervised Learning of Dynamic Functional Connectivity from the Human Brain [18.165807360855435]
  グラフニューラルネットワーク(GNN)は、人間の脳ネットワークと表現型を区別するための動的機能接続の学習において、有望であることを示している。 本稿では,計算機ビジョンにおけるJEPA(Joint Embedding Predictive Architecture)からインスピレーションを得た,時空間連成型自動エンコーダ(ST-JEMA)について紹介する。
  論文  参考訳（メタデータ） (2024-03-11T04:49:41Z)
• Self-Guided Masked Autoencoders for Domain-Agnostic Self-Supervised Learning [58.93724285214628]
  本稿では、完全にドメインに依存しないマスク付きモデリング手法である自己誘導マスク付きオートエンコーダ(SMA)を提案する。 SMAは、マスクを学習し、ドメイン固有の仮定なしでサンプリングすることで、マスクモデリングの目的を用いて注意に基づくモデルを訓練する。 本研究では,タンパク質生物学,化学特性予測,粒子物理の3つの自己教師型学習ベンチマークでSMAを評価した。
  論文  参考訳（メタデータ） (2024-02-22T18:46:22Z)
• Towards Unsupervised Representation Learning: Learning, Evaluating and Transferring Visual Representations [1.8130068086063336]
  我々は3つの視点から教師なし(視覚的)表現学習の分野に貢献する。 我々は、教師なし、バックプロパゲーションのない畳み込み自己組織型ニューラルネットワーク(CSNN)を設計する。 我々は、プリテキストとターゲットオブジェクトに依存しないメトリクスを定義するために、広く使われている(非)線形評価プロトコルの上に構築する。 CARLANEは,2次元車線検出のための最初の3方向sim-to-realドメイン適応ベンチマークであり,自己教師付き学習に基づく手法である。
  論文  参考訳（メタデータ） (2023-11-30T15:57:55Z)
• Homological Convolutional Neural Networks [4.615338063719135]
  本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。 5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2023-08-26T08:48:51Z)
• Free-ATM: Exploring Unsupervised Learning on Diffusion-Generated Images with Free Attention Masks [64.67735676127208]
  テキストと画像の拡散モデルは、画像認識の恩恵を受ける大きな可能性を示している。 有望ではあるが、拡散生成画像の教師なし学習に特化した調査は不十分である。 上記フリーアテンションマスクをフル活用することで、カスタマイズされたソリューションを導入する。
  論文  参考訳（メタデータ） (2023-08-13T10:07:46Z)
• TS-MoCo: Time-Series Momentum Contrast for Self-Supervised Physiological Representation Learning [8.129782272731397]
  ラベルを必要とせずに様々な生理領域から表現を学習するために,モーメントコントラストを持つ自己教師型学習に依存した新しい符号化フレームワークを提案する。 我々の自己教師型学習アプローチは、下流の分類タスクで活用できる差別的特徴を実際に学習できることを示します。
  論文  参考訳（メタデータ） (2023-06-10T21:17:42Z)
• ProtoVAE: Prototypical Networks for Unsupervised Disentanglement [1.6114012813668934]
  本稿では,自己スーパービジョンを用いて学習した深層学習型プロトタイプネットワークを活用する,新しい深部生成型VAEモデルProtoVAEを提案する。 我々のモデルは、完全に教師なしであり、要素数を含むデータセットの事前知識を必要としない。 提案手法をベンチマークdSprites, 3DShapes, MPI3Dディジアングルメントデータセット上で評価した。
  論文  参考訳（メタデータ） (2023-05-16T01:29:26Z)
• Do Neural Networks Trained with Topological Features Learn Different Internal Representations? [1.418465438044804]
  本研究では、トポロジカルな特徴で訓練されたモデルが、元の生データで学習したモデルと根本的に異なるデータの内部表現を学習するかどうかを検討する。 構造的には、トポロジカルな特徴に基づいて訓練・評価されたモデルの隠れ表現は、対応する生データに基づいて訓練・評価されたモデルと大きく異なることがわかった。 これは、生データに基づいてトレーニングされたニューラルネットワークが、予測を行う過程で限られたトポロジ的特徴を抽出することを意味すると推測する。
  論文  参考訳（メタデータ） (2022-11-14T19:19:04Z)
• Bridging the Gap to Real-World Object-Centric Learning [66.55867830853803]
  自己教師付き方法で訓練されたモデルから特徴を再構成することは、完全に教師なしの方法でオブジェクト中心表現が生じるための十分な訓練信号であることを示す。 我々のアプローチであるDINOSAURは、シミュレーションデータ上で既存のオブジェクト中心学習モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2022-09-29T15:24:47Z)
• Stochastic Coherence Over Attention Trajectory For Continuous Learning In Video Streams [64.82800502603138]
  本稿では,映像ストリーム中のピクセルワイズ表現を段階的かつ自律的に開発するための,ニューラルネットワークに基づく新しいアプローチを提案する。 提案手法は, 参加者の入場地を観察することで, エージェントが学習できる, 人間の様の注意機構に基づく。 実験では,3次元仮想環境を利用して,映像ストリームを観察することで,エージェントが物体の識別を学べることを示す。
  論文  参考訳（メタデータ） (2022-04-26T09:52:31Z)
• Neurosymbolic hybrid approach to driver collision warning [64.02492460600905]
  自律運転システムには2つの主要なアルゴリズムアプローチがある。 ディープラーニングだけでは、多くの分野で最先端の結果が得られています。 しかし、ディープラーニングモデルが機能しない場合、デバッグが非常に難しい場合もあります。
  論文  参考訳（メタデータ） (2022-03-28T20:29:50Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Self-Supervised Graph Representation Learning for Neuronal Morphologies [75.38832711445421]
  ラベルのないデータセットから3次元神経形態の低次元表現を学習するためのデータ駆動型アプローチであるGraphDINOを提案する。 2つの異なる種と複数の脳領域において、この方法では、専門家による手動の特徴に基づく分類と同程度に形態学的細胞型クラスタリングが得られることを示す。 提案手法は,大規模データセットにおける新しい形態的特徴や細胞型の発見を可能にする可能性がある。
  論文  参考訳（メタデータ） (2021-12-23T12:17:47Z)
• Multi-Modal Anomaly Detection for Unstructured and Uncertain Environments [5.677685109155077]
  現代のロボットは、最小限の人間の監督で異常や故障を検出して回復する能力を必要とします。 本稿では,非構造的かつ不確実な環境での障害識別のための教師付き変分オートエンコーダ(SVAE)を提案する。 実地ロボットデータを用いた実験では,ベースライン法よりも障害同定性能が優れており,解釈可能な表現を学習できる。
  論文  参考訳（メタデータ） (2020-12-15T21:59:58Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)
• Manifolds for Unsupervised Visual Anomaly Detection [79.22051549519989]
  トレーニングで必ずしも異常に遭遇しない教師なしの学習方法は、非常に有用です。 ジャイロプレーン層を用いた立体投影による超球形変分オートエンコーダ(VAE)を開発した。 工業用AIシナリオにおける実世界の実用性を実証し、精密製造および検査における視覚異常ベンチマークの最先端結果を示す。
  論文  参考訳（メタデータ） (2020-06-19T20:41:58Z)
• Evolving Losses for Unsupervised Video Representation Learning [91.2683362199263]
  大規模未ラベル映像データから映像表現を学習する新しい手法を提案する。 提案した教師なし表現学習では,単一のRGBネットワークが実現し,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-02-26T16:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。