論文の概要: Probabilistic Self-supervised Learning via Scoring Rules Minimization

• arxiv url: http://arxiv.org/abs/2309.02048v1
• Date: Tue, 5 Sep 2023 08:48:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 15:41:17.075310
• Title: Probabilistic Self-supervised Learning via Scoring Rules Minimization
• Title（参考訳）: Scoring Rules Minimizationによる確率的自己教師型学習
• Authors: Amirhossein Vahidi, Simon Scho{\ss}er, Lisa Wimmer, Yawei Li, Bernd Bischl, Eyke H\"ullermeier, Mina Rezaei
• Abstract要約: 本稿では,Scoring Rule Minimization (ProSMIN) を用いた確率論的自己教師型学習を提案する。 提案手法は,大規模データセットを用いた多種多様な実験において,自己教師付きベースラインを超える精度とキャリブレーションを実現する。
• 参考スコア（独自算出の注目度）: 19.347097627898876
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this paper, we propose a novel probabilistic self-supervised learning via Scoring Rule Minimization (ProSMIN), which leverages the power of probabilistic models to enhance representation quality and mitigate collapsing representations. Our proposed approach involves two neural networks; the online network and the target network, which collaborate and learn the diverse distribution of representations from each other through knowledge distillation. By presenting the input samples in two augmented formats, the online network is trained to predict the target network representation of the same sample under a different augmented view. The two networks are trained via our new loss function based on proper scoring rules. We provide a theoretical justification for ProSMIN's convergence, demonstrating the strict propriety of its modified scoring rule. This insight validates the method's optimization process and contributes to its robustness and effectiveness in improving representation quality. We evaluate our probabilistic model on various downstream tasks, such as in-distribution generalization, out-of-distribution detection, dataset corruption, low-shot learning, and transfer learning. Our method achieves superior accuracy and calibration, surpassing the self-supervised baseline in a wide range of experiments on large-scale datasets like ImageNet-O and ImageNet-C, ProSMIN demonstrates its scalability and real-world applicability.
• Abstract（参考訳）: 本稿では,確率モデルのパワーを活用して表現の質を高め,畳み込み表現を緩和する,スコーリングルール最小化(ProSMIN)による新しい確率的自己教師型学習を提案する。 提案手法は2つのニューラルネットワーク – オンラインネットワークとターゲットネットワーク – が,知識蒸留を通じて相互に協調して表現の多様な分布を学習する。 入力サンプルを2つの拡張フォーマットで提示することにより、オンラインネットワークは異なる拡張ビューの下で同じサンプルのターゲットネットワーク表現を予測するように訓練される。 2つのネットワークは、適切なスコアリングルールに基づいて、新しい損失関数によってトレーニングされる。 我々はProSMINの収束の理論的正当性を提供し、修正されたスコアリング規則の厳密な妥当性を示す。 この洞察は、手法の最適化プロセスを検証し、その堅牢性と表現品質の改善に寄与する。 我々は,分布内一般化,分布外検出,データセットの破損,低ショット学習,転帰学習など,下流タスクの確率モデルを評価する。 本手法は,imagenet-o や imagenet-c のような大規模データセットにおける幅広い実験において,自己教師付きベースラインを上回って,精度と校正に優れる。

関連論文リスト

• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Cross-Inferential Networks for Source-free Unsupervised Domain Adaptation [17.718392065388503]
  クロス推論ネットワーク (CIN) と呼ばれる新しい手法を提案する。 主な考え方は、符号化された特徴からサンプルラベルを予測するためにネットワークモデルを適用する際に、これらの予測結果を用いて、派生したラベルを用いた新しいトレーニングサンプルを構築することである。 ベンチマークデータを用いた実験の結果,提案手法により,ソースフリーなUDAの性能が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-06-29T14:04:24Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
  近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。 本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T08:30:16Z)
• Calibrated Adversarial Refinement for Stochastic Semantic Segmentation [5.849736173068868]
  本稿では,各予測に関連付けられた確率が,その根拠となる真偽の正しさを反映する,セマンティックマップ上の校正された予測分布を学習するための戦略を提案する。 マルチグレーダのLIDCデータセットと、注入曖昧さのあるCityscapesデータセットに対して、最先端の成果を達成し、アプローチの汎用性と堅牢性を実証する。 本研究は,おもちゃの回帰データセットを用いて実験することにより,校正された予測分布の学習を必要とする他のタスクにコア設計を適用することができることを示す。
  論文  参考訳（メタデータ） (2020-06-23T16:39:59Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。