論文の概要: Unveiling the Potential of Probabilistic Embeddings in Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2310.18080v1
• Date: Fri, 27 Oct 2023 12:01:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 13:56:19.300068
• Title: Unveiling the Potential of Probabilistic Embeddings in Self-Supervised Learning
• Title（参考訳）: 自己監督型学習における確率的埋め込みの可能性
• Authors: Denis Janiak, Jakub Binkowski, Piotr Bielak, Tomasz Kajdanowicz
• Abstract要約: 自己教師付き学習は、ラベルのないデータから意味のある表現をモデルが取得できるようにすることで、機械学習を前進させる上で重要な役割を担っている。 本稿では,情報ボトルネックに対する確率的モデリングの影響について検討し,情報圧縮と情報保存のトレードオフについて述べる。 以上の結果から,損失空間に新たなボトルネックを導入することにより,アウト・オブ・ディストリビューションの事例を検出する能力が著しく向上することが示唆された。
• 参考スコア（独自算出の注目度）: 4.124934010794795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, self-supervised learning has played a pivotal role in advancing machine learning by allowing models to acquire meaningful representations from unlabeled data. An intriguing research avenue involves developing self-supervised models within an information-theoretic framework, but many studies often deviate from the stochasticity assumptions made when deriving their objectives. To gain deeper insights into this issue, we propose to explicitly model the representation with stochastic embeddings and assess their effects on performance, information compression and potential for out-of-distribution detection. From an information-theoretic perspective, we seek to investigate the impact of probabilistic modeling on the information bottleneck, shedding light on a trade-off between compression and preservation of information in both representation and loss space. Emphasizing the importance of distinguishing between these two spaces, we demonstrate how constraining one can affect the other, potentially leading to performance degradation. Moreover, our findings suggest that introducing an additional bottleneck in the loss space can significantly enhance the ability to detect out-of-distribution examples, only leveraging either representation features or the variance of their underlying distribution.
• Abstract（参考訳）: 近年、自己教師あり学習は、ラベルなしのデータから有意義な表現を得ることで、機械学習の進歩において重要な役割を果たしている。 興味深い研究の道は、情報理論の枠組みの中で自己教師付きモデルを開発することであるが、多くの研究は、目的を導出するときの確率的仮定から逸脱する。 この問題に対する深い洞察を得るためには,確率的埋め込みによる表現を明示的にモデル化し,その効果,情報圧縮,分散検出の可能性を評価することを提案する。 情報理論の観点から,情報ボトルネックに対する確率モデルの影響を考察し,表現空間と損失空間における情報の圧縮と保存のトレードオフに光を当てる。 これら2つの空間を区別することの重要性を強調し、一方の制約が他方にどのように影響し、潜在的に性能劣化につながるかを実証する。 さらに, 損失空間に新たなボトルネックを導入することにより, 分布の表現的特徴や分散を生かして, 分布外例を検出する能力が著しく向上することが示唆された。

関連論文リスト

• Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
  そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
  論文  参考訳（メタデータ） (2024-08-24T18:28:19Z)
• Self-Distilled Disentangled Learning for Counterfactual Prediction [49.84163147971955]
  我々は、SD2$として知られる自己蒸留遠絡フレームワークを提案する。 情報理論を基礎として、複雑な相互情報推定器の設計を伴わずに、理論上独立に不整合表現を鳴らす。 人工と実世界の両方のデータセットを用いて実験を行い,本手法の有効性を確認した。
  論文  参考訳（メタデータ） (2024-06-09T16:58:19Z)
• Bridging Generative and Discriminative Models for Unified Visual Perception with Diffusion Priors [56.82596340418697]
  本稿では,豊富な生成前駆体を含む事前学習型安定拡散(SD)モデルと,階層的表現を統合可能な統一型ヘッド(Uヘッド)と,識別前駆体を提供する適応型専門家からなる,シンプルで効果的なフレームワークを提案する。 包括的調査では、異なる時間ステップで潜伏変数に隠された知覚の粒度や様々なU-netステージなど、バーマスの潜在的な特性が明らかになった。 有望な結果は,有望な学習者としての拡散モデルの可能性を示し,情報的かつ堅牢な視覚表現の確立にその意義を定めている。
  論文  参考訳（メタデータ） (2024-01-29T10:36:57Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• Study of Distractors in Neural Models of Code [4.043200001974071]
  ニューラルネットワークの予測に寄与する重要な特徴を見つけることは、説明可能なAIの研究の活発な領域である。 本研究では,その予測に対するモデルの信頼度に影響を与えることによって,予測に疑問を呈する特徴について考察する。 さまざまなタスク、モデル、コードのデータセットにわたる実験により、トークンの削除が予測におけるモデルの信頼性に大きな影響を与えることが判明した。
  論文  参考訳（メタデータ） (2023-03-03T06:54:01Z)
• Robust Transferable Feature Extractors: Learning to Defend Pre-Trained Networks Against White Box Adversaries [69.53730499849023]
  また, 予測誤差を誘導するために, 逆例を独立に学習した別のモデルに移すことが可能であることを示す。 本稿では,頑健な伝達可能な特徴抽出器(RTFE)と呼ばれる,ディープラーニングに基づく事前処理機構を提案する。
  論文  参考訳（メタデータ） (2022-09-14T21:09:34Z)
• Generalizable Information Theoretic Causal Representation [37.54158138447033]
  本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。 この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
  論文  参考訳（メタデータ） (2022-02-17T00:38:35Z)
• Latent Space Explanation by Intervention [16.43087660376697]
  本研究では,個別の変分オートエンコーダに基づいて,予測クラスをシフトする介入機構を用いることで,隠れた概念を明らかにすることを目的とする。 説明モデルは、任意の隠された層とその対応するインターバルド表現から符号化された情報を視覚化する。
  論文  参考訳（メタデータ） (2021-12-09T13:23:19Z)
• Fair Representation Learning using Interpolation Enabled Disentanglement [9.043741281011304]
  a) 下流タスクに対する学習された表現の有用性を確保しつつ、公平な不整合表現を同時に学べるか、(b) 提案手法が公正かつ正確であるかどうかに関する理論的知見を提供する。 前者に対応するために,補間可能外乱を用いた公正表現学習法FRIEDを提案する。
  論文  参考訳（メタデータ） (2021-07-31T17:32:12Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。