論文の概要: Exploiting Data Hierarchy as a New Modality for Contrastive Learning
- arxiv url: http://arxiv.org/abs/2401.03312v1
- Date: Sat, 6 Jan 2024 21:47:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 19:26:12.449944
- Title: Exploiting Data Hierarchy as a New Modality for Contrastive Learning
- Title（参考訳）: コントラスト学習のための新しいモダリティとしてのデータ階層の活用
- Authors: Arjun Bhalla, Daniel Levenson, Jan Bernhard, Anton Abilov
- Abstract要約: この研究は、階層的に構造化されたデータが、ニューラルネットワークが大聖堂の概念的な表現を学ぶのにどのように役立つかを研究する。
基礎となるWikiScenesデータセットは、大聖堂の構成要素の空間的に整理された階層構造を提供する。
本稿では,エンコーダの潜伏空間におけるデータ空間階層を表現するために,三重項マージン損失を利用した新しい階層的コントラスト学習手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work investigates how hierarchically structured data can help neural
networks learn conceptual representations of cathedrals. The underlying
WikiScenes dataset provides a spatially organized hierarchical structure of
cathedral components. We propose a novel hierarchical contrastive training
approach that leverages a triplet margin loss to represent the data's spatial
hierarchy in the encoder's latent space. As such, the proposed approach
investigates if the dataset structure provides valuable information for
self-supervised learning. We apply t-SNE to visualize the resultant latent
space and evaluate the proposed approach by comparing it with other
dataset-specific contrastive learning methods using a common downstream
classification task. The proposed method outperforms the comparable
weakly-supervised and baseline methods. Our findings suggest that dataset
structure is a valuable modality for weakly-supervised learning.
- Abstract（参考訳）: 本研究は,ニューラルネットワークが大聖堂の概念表現を学習する上で,階層的に構造化されたデータがどのように役立つかを検討するものである。
基礎となるWikiScenesデータセットは、大聖堂コンポーネントの空間的に整理された階層構造を提供する。
本稿では,エンコーダの潜伏空間におけるデータ空間階層を表現するために,三重項マージン損失を利用した新しい階層的コントラスト学習手法を提案する。
そこで本研究では,データセット構造が自己教師付き学習に有用な情報を提供するかどうかを検討する。
提案手法は,t-sneを用いて結果の潜在空間を可視化し,それを他のデータセット固有のコントラスト学習法と比較することで評価する。
提案手法は,弱制御法とベースライン法に比較して優れる。
本研究は,データセット構造が弱教師付き学習に有用であることが示唆された。
関連論文リスト
- From Logits to Hierarchies: Hierarchical Clustering made Simple [16.132657141993548]
事前訓練された非階層クラスタリングモデル上に実装された軽量なプロシージャは、階層クラスタリングに特化して設計されたモデルより優れていることを示す。
提案手法は,微調整を必要とせず,ログを出力する事前学習クラスタリングモデルに適用可能である。
論文 参考訳（メタデータ） (2024-10-10T12:27:45Z) - Self-supervised Learning of Dense Hierarchical Representations for Medical Image Segmentation [2.2265038612930663]
本稿では,高密度下流タスクに適したボクセルワイド粗い表現を学習するための自己教師型フレームワークについて述べる。
我々は、複数のスケールから機能のコントリビューションのバランスをとるためのトレーニング戦略を考案し、学習された表現が粗い詳細ときめ細かい詳細の両方を捉えることを保証する。
論文 参考訳（メタデータ） (2024-01-12T09:47:17Z) - Hierarchical clustering with dot products recovers hidden tree structure [53.68551192799585]
本稿では,階層構造の回復に着目した凝集クラスタリングアルゴリズムの新しい視点を提案する。
クラスタを最大平均点積でマージし、例えば最小距離やクラスタ内分散でマージしないような、標準的なアルゴリズムの単純な変種を推奨する。
このアルゴリズムにより得られた木は、汎用確率的グラフィカルモデルの下で、データ中の生成的階層構造をボナフェイド推定することを示した。
論文 参考訳（メタデータ） (2023-05-24T11:05:12Z) - Structural hierarchical learning for energy networks [1.2599533416395767]
本研究では,階層構造のトポロジ的構造にインスパイアされた,カスタムニューラルネットワークの設計について検討する。
その結果、データ制限のある環境では、コネクションが少ない構造モデルが全体として最高のパフォーマンスを発揮することが判明した。
全体として、この研究は構造的スケールの学習メカニズムの拡張により階層的な学習方法を拡張し、改善する。
論文 参考訳（メタデータ） (2023-02-08T10:28:32Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳（メタデータ） (2022-07-17T07:05:39Z) - Leveraging Ensembles and Self-Supervised Learning for Fully-Unsupervised
Person Re-Identification and Text Authorship Attribution [77.85461690214551]
完全ラベル付きデータからの学習は、Person Re-IdentificationやText Authorship Attributionなどのマルチメディアフォレスト問題において困難である。
近年の自己教師型学習法は,基礎となるクラスに意味的差異が有る場合に,完全ラベル付きデータを扱う際に有効であることが示されている。
本研究では,異なるクラスからのサンプルが顕著に多様性を持っていない場合でも,ラベルのないデータから学習できるようにすることにより,個人再認識とテキストオーサシップの属性に対処する戦略を提案する。
論文 参考訳（メタデータ） (2022-02-07T13:08:11Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z) - Learning Representations of Hierarchical Slates in Collaborative
Filtering [2.8145809047875066]
我々は、ユーザーが個々のアイテムの代わりにスレートと対話するレコメンデーションシステムのための協調フィルタリングモデルの構築に興味を持っている。
このアプローチの中心的な考え方は、これらのスレートの低次元埋め込みを学習することである。
階層データを生成する基礎となる分布の(未知の)統計を用いて,これらの埋め込みを学習する新しい方法を提案する。
論文 参考訳（メタデータ） (2020-09-25T18:34:02Z) - Campus3D: A Photogrammetry Point Cloud Benchmark for Hierarchical
Understanding of Outdoor Scene [76.4183572058063]
複数の屋外シーン理解タスクに対して,リッチな注釈付き3Dポイントクラウドデータセットを提案する。
データセットは階層型ラベルとインスタンスベースのラベルの両方でポイントワイズアノテートされている。
本稿では,3次元点雲分割のための階層的学習問題を定式化し,様々な階層間の整合性を評価することを提案する。
論文 参考訳（メタデータ） (2020-08-11T19:10:32Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳（メタデータ） (2020-07-11T10:57:45Z) - Leveraging Class Hierarchies with Metric-Guided Prototype Learning [5.070542698701158]
多くの分類タスクでは、ターゲットクラスのセットは階層に分類できる。
この構造はクラス間の意味的距離を誘導し、コスト行列の形で要約することができる。
本稿では,この指標を原型ネットワークの監視に組み込むことにより,階層型クラス構造をモデル化することを提案する。
論文 参考訳（メタデータ） (2020-07-06T20:22:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。