論文の概要: Self-supervised learning with rotation-invariant kernels

• arxiv url: http://arxiv.org/abs/2208.00789v1
• Date: Thu, 28 Jul 2022 08:06:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-02 13:00:49.346704
• Title: Self-supervised learning with rotation-invariant kernels
• Title（参考訳）: 回転不変核を用いた自己教師付き学習
• Authors: L\'eon Zheng (DANTE), Gilles Puy, Elisa Riccietti (DANTE), Patrick P\'erez, R\'emi Gribonval (DANTE)
• Abstract要約: 組込み分布を超球面上の均一分布に近接させる汎用正規化損失を設計するための汎用カーネルフレームワークを提案する。 我々のフレームワークは、ハイパースフィア上で定義された回転不変カーネル(ドット生成カーネルとも呼ばれる)を使用する。 本実験は, 回転不変カーネルを用いることで, 最先端の手法と比較して, 競合する結果が得られることを示した。
• 参考スコア（独自算出の注目度）: 4.059849656394191
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A major paradigm for learning image representations in a self-supervised manner is to learn a model that is invariant to some predefined image transformations (cropping, blurring, color jittering, etc.), while regularizing the embedding distribution to avoid learning a degenerate solution. Our first contribution is to propose a general kernel framework to design a generic regularization loss that promotes the embedding distribution to be close to the uniform distribution on the hypersphere, with respect to the maximum mean discrepancy pseudometric. Our framework uses rotation-invariant kernels defined on the hypersphere, also known as dot-product kernels. Our second contribution is to show that this flexible kernel approach encompasses several existing self-supervised learning methods, including uniformity-based and information-maximization methods. Finally, by exploring empirically several kernel choices, our experiments demonstrate that using a truncated rotation-invariant kernel provides competitive results compared to state-of-the-art methods, and we show practical situations where our method benefits from the kernel trick to reduce computational complexity.
• Abstract（参考訳）: 自己教師型で画像表現を学習するための主要なパラダイムは、デジェネレーションされた解を学ぶために埋め込み分布を規則化しながら、予め定義された画像変換(クロップ、ぼかし、色ジッタリングなど)に不変なモデルを学ぶことである。 我々の最初の貢献は、超球面上の一様分布に近い埋め込み分布を促進する汎用正規化損失を設計するための一般的なカーネルフレームワークを提案することである。 我々のフレームワークは、ハイパースフィア上で定義された回転不変カーネル(ドット生成カーネル)を使用する。 第2の貢献は,このフレキシブルなカーネルアプローチが,一様性に基づく情報最大化手法を含む,既存の自己教師あり学習手法を包含していることを示すことである。 最後に, 実験により, 回転不変カーネルを用いて, 最先端の手法と比較して, 競合的な結果が得られることを示すとともに, 計算複雑性を低減するために, 提案手法がカーネルトリックの恩恵を受ける実例を示す。

関連論文リスト

• Learning to Embed Distributions via Maximum Kernel Entropy [0.0]
  固有データは、確率分布の集合からのサンプルと見なすことができる。 カーネルメソッドは、これらの分布を分類する学習の自然なアプローチとして現れてきた。 データ依存分散カーネルの教師なし学習のための新しい目的を提案する。
  論文  参考訳（メタデータ） (2024-08-01T13:34:19Z)
• Correspondence-Free Non-Rigid Point Set Registration Using Unsupervised Clustering Analysis [28.18800845199871]
  非教師なしクラスタリング解析に触発された、新しい非厳密な点集合登録法を提案する。 提案手法は,様々なシナリオにおいて高い精度を達成し,競争相手をはるかに上回っている。
  論文  参考訳（メタデータ） (2024-06-27T01:16:44Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Improved learning theory for kernel distribution regression with two-stage sampling [3.154269505086155]
  カーネルメソッドは分散回帰問題に取り組む方法として選択されている。 ヒルベルトの埋め込みに対して,新しい誤差境界を提供する新しい非バイアス条件を導入する。 この条件は、最適輸送と平均埋め込みに基づくカーネルの3つの重要なクラスに当てはまることを示す。
  論文  参考訳（メタデータ） (2023-08-28T06:29:09Z)
• An Online Multiple Kernel Parallelizable Learning Scheme [6.436174170552483]
  本稿では,カーネル選択バイアスを低減するために,複数の単一カーネルベースのオンライン手法を巧みに組み合わせた学習手法を提案する。 提案手法は、正規化された経験的リスク最小化凸問題として定式化されたタスクに適用される。
  論文  参考訳（メタデータ） (2023-08-19T20:15:02Z)
• Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image Compression [63.56922682378755]
  本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。 提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。 実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-08-17T01:34:51Z)
• Variational Autoencoder Kernel Interpretation and Selection for Classification [59.30734371401315]
  本研究では,変分オートエンコーダの畳み込みエンコーダによって生成された特徴に基づく確率的分類器のカーネル選択手法を提案する。 提案した実装では、各カーネルに対して各分散が生成されるため、各潜伏変数を最終エンコーダの畳み込み層の単一カーネルに関連付けられた分布からサンプリングした。 サンプル化された潜伏変数で関連する機能を選択することで、カーネルの選択を実行し、非形式的機能とカーネルをフィルタリングすることができる。
  論文  参考訳（メタデータ） (2022-09-10T17:22:53Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Flow-based Kernel Prior with Application to Blind Super-Resolution [143.21527713002354]
  カーネル推定は一般にブラインド画像超解像(SR)の鍵となる問題の一つである 本稿では,カーネルモデリングのための正規化フローベースカーネルプリレント(fkp)を提案する。 合成および実世界の画像の実験により、提案したFKPがカーネル推定精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2021-03-29T22:37:06Z)
• Towards a Unified Quadrature Framework for Large-Scale Kernel Machines [35.32894170512829]
  数値積分表現を用いて,大規模カーネルマシンのための二次的フレームワークを開発する。 完全対称補間規則を利用して、カーネル近似のための二次ノードと関連する重みを効率的に計算する。
  論文  参考訳（メタデータ） (2020-11-03T12:48:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。