論文の概要: The Triad of Failure Modes and a Possible Way Out

• arxiv url: http://arxiv.org/abs/2309.15420v1
• Date: Wed, 27 Sep 2023 05:54:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-28 16:48:41.419028
• Title: The Triad of Failure Modes and a Possible Way Out
• Title（参考訳）: 障害モードのトライアドとアウトの可能性
• Authors: Emanuele Sansone
• Abstract要約: 本稿では,障害モードの回避を目的とした,クラスタベースの自己教師型学習(SSL)のための新たな目的関数を提案する。 この目的は、(i)表現崩壊を罰する生成項、(ii)データ拡張への不変性を促進する用語、(ii)クラスタ崩壊を罰する統一項の3つの主要な構成要素から構成される。
• 参考スコア（独自算出の注目度）: 7.977229957867868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel objective function for cluster-based self-supervised learning (SSL) that is designed to circumvent the triad of failure modes, namely representation collapse, cluster collapse, and the problem of invariance to permutations of cluster assignments. This objective consists of three key components: (i) A generative term that penalizes representation collapse, (ii) a term that promotes invariance to data augmentations, thereby addressing the issue of label permutations and (ii) a uniformity term that penalizes cluster collapse. Additionally, our proposed objective possesses two notable advantages. Firstly, it can be interpreted from a Bayesian perspective as a lower bound on the data log-likelihood. Secondly, it enables the training of a standard backbone architecture without the need for asymmetric elements like stop gradients, momentum encoders, or specialized clustering layers. Due to its simplicity and theoretical foundation, our proposed objective is well-suited for optimization. Experiments on both toy and real world data demonstrate its effectiveness
• Abstract（参考訳）: 本稿では,クラスタ型自己教師型学習(SSL)のための新たな目的関数を提案する。これは,障害モード,すなわち表現崩壊,クラスタ崩壊,クラスタ割り当ての順列化に対する不変性の問題を回避するために設計された。 この目標は3つの重要なコンポーネントから成り立っている。 (i)表現の崩壊を罰する生成語 (二)データ拡張の不変性を促進する用語で、ラベル順列の問題に対処し、及び (ii)クラスタ崩壊を罰する一様性用語。 さらに,提案手法には2つの利点がある。 第一に、ベイズの観点からは、データログの類似点の下位境界として解釈することができる。 第2に、停止勾配や運動量エンコーダ、特別なクラスタリング層といった非対称な要素を必要としない、標準的なバックボーンアーキテクチャのトレーニングを可能にする。 その単純さと理論的基礎から,提案した目的は最適化に適している。 おもちゃと現実世界の両方のデータを用いた実験による効果の実証

関連論文リスト

• A Contrastive Variational Graph Auto-Encoder for Node Clustering [10.52321770126932]
  最先端のクラスタリング手法には多くの課題がある。 既存のVGAEは、推論と生成モデルの相違を考慮していない。 私たちのソリューションには、フィーチャーランダムネスとフィーチャードリフトのトレードオフを制御する2つのメカニズムがあります。
  論文  参考訳（メタデータ） (2023-12-28T05:07:57Z)
• Neural Collapse Terminus: A Unified Solution for Class Incremental Learning and Its Variants [166.916517335816]
  本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。 ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。 本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
  論文  参考訳（メタデータ） (2023-08-03T13:09:59Z)
• Data Augmentation-free Unsupervised Learning for 3D Point Cloud Understanding [61.30276576646909]
  ソフトクラスタリング(SoftClu)と呼ばれる,移動可能な点レベルの特徴を学習するための,ポイントクラウドに対する拡張不要な教師なしアプローチを提案する。 我々は,クラスタに対するポイントのアフィリエイトをプロキシとして利用し,擬似ラベル予測タスクを通じて自己学習を可能にする。
  論文  参考訳（メタデータ） (2022-10-06T10:18:16Z)
• Unsupervised Learning on 3D Point Clouds by Clustering and Contrasting [11.64827192421785]
  教師なし表現学習は、人間の介入なしに機能を自動抽出するための有望な方向である。 本稿では、ポイントワイドおよびグローバルな特徴の学習を行うために、textbfConClu という、一般的な教師なしアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-05T12:54:17Z)
• Guided Point Contrastive Learning for Semi-supervised Point Cloud Semantic Segmentation [90.2445084743881]
  そこで本研究では,モデル性能を向上させるために,未ラベルの点群をトレーニングに採用するための半教師付き点群セマンティックセマンティックセマンティックセマンティクスを提案する。 近年の自己監督型タスクのコントラスト損失に触発されて,特徴表現とモデル一般化能力を高めるためのガイド付きポイントコントラスト損失を提案する。
  論文  参考訳（メタデータ） (2021-10-15T16:38:54Z)
• Clustering by Maximizing Mutual Information Across Views [62.21716612888669]
  本稿では,共同表現学習とクラスタリングを組み合わせた画像クラスタリングのための新しいフレームワークを提案する。 提案手法は,様々な画像データセットにおける最先端の単一ステージクラスタリング手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-24T15:36:49Z)
• You Never Cluster Alone [150.94921340034688]
  我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。 分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。 代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
  論文  参考訳（メタデータ） (2021-06-03T14:59:59Z)
• Provably End-to-end Label-Noise Learning without Anchor Points [118.97592870124937]
  本稿では,アンカーポイントを使わずにラベルノイズ学習を実現するためのエンドツーエンドフレームワークを提案する。 提案フレームワークでは,クリーンなクラス後確率が十分に分散している場合,遷移行列を同定できる。
  論文  参考訳（メタデータ） (2021-02-04T03:59:37Z)
• Canonical Capsules: Unsupervised Capsules in Canonical Pose [31.529908150084626]
  3dポイントクラウドのための教師なしカプセルアーキテクチャを提案する。 物体のカプセル分解を順列同値な注意を通して計算し,ランダムに回転する物体のペアを訓練することで自己監視を行う。 オブジェクト中心の表現を教師なしの方法で学習することにより、最新の3Dポイントクラウド再構築、登録、および監督なしの分類を上回ります。
  論文  参考訳（メタデータ） (2020-12-08T20:13:28Z)
• Learning Embeddings for Image Clustering: An Empirical Study of Triplet Loss Approaches [10.42820615166362]
  我々は,Triplet Lossによる特徴空間埋め込みの文脈において,k平均クラスタリングと相関クラスタリングという2つの異なる画像クラスタリングの目的を評価する。 我々は、三重項損失の2つの人気のあるバージョンを最適化することで、差別的特徴を学習するために畳み込みニューラルネットワークを訓練する。 本稿では,形式的クラスタリングの目的に対して望ましい特性を示し,既存の手法より優れる,新しい単純なトリプルトロスの定式化を提案する。
  論文  参考訳（メタデータ） (2020-07-06T23:38:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。