論文の概要: Data Transformation Insights in Self-supervision with Clustering Tasks

• arxiv url: http://arxiv.org/abs/2002.07384v1
• Date: Tue, 18 Feb 2020 05:49:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 19:42:28.489486
• Title: Data Transformation Insights in Self-supervision with Clustering Tasks
• Title（参考訳）: クラスタリングタスクによる自己スーパービジョンにおけるデータ変換の洞察
• Authors: Abhimanu Kumar, Aniket Anand Deshmukh, Urun Dogan, Denis Charles, Eren Manavoglu
• Abstract要約: 自己教師付きクラスタリングの収束には,ある種の変換が有効であることを示す。 また、変換が役に立たない場合や、場合によっては有害な場合も示します。
• 参考スコア（独自算出の注目度）: 4.413331329339186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervision is key to extending use of deep learning for label scarce domains. For most of self-supervised approaches data transformations play an important role. However, up until now the impact of transformations have not been studied. Furthermore, different transformations may have different impact on the system. We provide novel insights into the use of data transformation in self-supervised tasks, specially pertaining to clustering. We show theoretically and empirically that certain set of transformations are helpful in convergence of self-supervised clustering. We also show the cases when the transformations are not helpful or in some cases even harmful. We show faster convergence rate with valid transformations for convex as well as certain family of non-convex objectives along with the proof of convergence to the original set of optima. We have synthetic as well as real world data experiments. Empirically our results conform with the theoretical insights provided.
• Abstract（参考訳）: ラベル不足ドメインに対するディープラーニングの利用を拡大する上で、セルフスーパービジョンが鍵となる。 ほとんどの自己監督型アプローチでは、データ変換が重要な役割を果たす。 しかし、これまで変換の影響は研究されていない。 さらに、異なる変換がシステムに異なる影響を与える可能性がある。 自己監督タスクにおけるデータ変換の利用,特にクラスタリングに関する新たな知見を提供する。 我々は、ある変換セットが自己教師付きクラスタリングの収束に役立つことを理論的および経験的に示す。 また、変換が役に立たない場合や、場合によっては有害な場合も示します。 コンベックスの有効な変換を伴うより高速な収束率と、元のオプティマ集合への収束の証明とともに、ある非凸目的の族を示す。 私たちは現実世界のデータ実験だけでなく合成も行っています。 実証的な結果が提供される理論的洞察に一致する。

関連論文リスト

• DualContrast: Unsupervised Disentangling of Content and Transformations with Implicit Parameterization [7.624028449463715]
  形状に着目した画像データセットにおけるコンテンツと変換を教師なしで切り離すための,新しい自己教師型手法であるDualContrastを開発した。 本実験は,既存の自己監督的・明示的パラメータ化手法よりもDualContrastの方が優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-27T03:31:14Z)
• ExpPoint-MAE: Better interpretability and performance for self-supervised point cloud transformers [7.725095281624494]
  マスク付き自動符号化の有効性を事前学習方式として評価し,代替手段としてMomentum Contrastを探索する。 我々は,トランスフォーマーが意味論的に意味のある領域への参加を学ぶことを観察し,事前学習が基礎となる幾何学の理解を深めることを示す。
  論文  参考訳（メタデータ） (2023-06-19T09:38:21Z)
• No Free Lunch in Self Supervised Representation Learning [0.32622301272834514]
  コンピュータビジョンにおける自己教師付き表現学習は手作りの画像変換に大きく依存する。 変換が下流のパフォーマンスとクラスタリングの関連性に影響を及ぼすことを示す。 トランスフォーメーションを設計することは、監督の一形態と見なすことができる。
  論文  参考訳（メタデータ） (2023-04-23T18:14:19Z)
• Adapting to Latent Subgroup Shifts via Concepts and Proxies [82.01141290360562]
  最適ターゲット予測器は、ソースドメインでのみ利用できる概念とプロキシ変数の助けを借りて、非パラメトリックに識別可能であることを示す。 本研究では,データ生成プロセスに特有の潜在変数モデルを提案する。
  論文  参考訳（メタデータ） (2022-12-21T18:30:22Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
  転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。 本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。 スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
  論文  参考訳（メタデータ） (2021-11-26T11:58:51Z)
• Grounding inductive biases in natural images:invariance stems from variations in data [20.432568247732206]
  本研究では,実際のデータセットであるImageNetの変動要因について検討する。 標準的な拡張は、翻訳とスケールの正確な組み合わせに依存していることを示す。 ImageNetの変動の主な要因は外見に大きく関係していることがわかりました。
  論文  参考訳（メタデータ） (2021-06-09T14:58:57Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。