論文の概要: Generalized Cauchy-Schwarz Divergence and Its Deep Learning Applications

• arxiv url: http://arxiv.org/abs/2405.04061v3
• Date: Thu, 6 Jun 2024 02:02:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 20:33:09.126664
• Title: Generalized Cauchy-Schwarz Divergence and Its Deep Learning Applications
• Title（参考訳）: 一般化コーシーシュワルツ分岐とその応用
• Authors: Mingfei Lu, Chenxu Li, Shujian Yu, Robert Jenssen, Badong Chen,
• Abstract要約: 多様性の尺度は、深層学習において中心的な役割を担い、ますます不可欠になりつつある。 一般化コーシーシュワルツ発散(GCSD)と呼ばれる複数の分布に適した新しい測度を導入する。
• 参考スコア（独自算出の注目度）: 37.349358118385155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Divergence measures play a central role and become increasingly essential in deep learning, yet efficient measures for multiple (more than two) distributions are rarely explored. This becomes particularly crucial in areas where the simultaneous management of multiple distributions is both inevitable and essential. Examples include clustering, multi-source domain adaptation or generalization, and multi-view learning, among others. While computing the mean of pairwise distances between any two distributions is a prevalent method to quantify the total divergence among multiple distributions, it is imperative to acknowledge that this approach is not straightforward and necessitates significant computational resources. In this study, we introduce a new divergence measure tailored for multiple distributions named the generalized Cauchy-Schwarz divergence (GCSD). Additionally, we furnish a kernel-based closed-form sample estimator, making it convenient and straightforward to use in various machine-learning applications. Finally, we explore its profound implications in the realm of deep learning by applying it to tackle two thoughtfully chosen machine-learning tasks: deep clustering and multi-source domain adaptation. Our extensive experimental investigations confirm the robustness and effectiveness of GCSD in both scenarios. The findings also underscore the innovative potential of GCSD and its capability to significantly propel machine learning methodologies that necessitate the quantification of multiple distributions.
• Abstract（参考訳）: 多様性尺度は、深層学習において中心的な役割を担い、ますます不可欠になりつつあるが、複数の(2つ以上の)分布に対する効率的な尺度は、まれに研究される。 これは、複数のディストリビューションの同時管理が必然的かつ必要不可欠な領域において、特に重要となる。 例えばクラスタリング、マルチソースドメイン適応、一般化、マルチビュー学習などがある。 任意の2つの分布間の対距離の平均を計算することは、複数の分布間の全ばらつきを定量化する一般的な方法であるが、このアプローチは単純ではなく、重要な計算資源を必要とすると認識することが必須である。 本研究では、一般化コーシーシュワルツ発散(GCSD)と呼ばれる複数の分布に適した新しい発散尺度を提案する。 さらに、カーネルベースのクローズドフォームサンプル推定器を導入し、様々な機械学習アプリケーションで簡単に利用できるようにした。 最後に、深層クラスタリングとマルチソースドメイン適応という、慎重に選択された2つの機械学習タスクに取り組むことで、ディープラーニングの領域におけるその深い意味を探求する。 両シナリオにおけるGCSDの堅牢性と有効性について検討した。 この発見はまた、GCSDの革新的な可能性と、複数の分布の定量化を必要とする機械学習手法を著しく推進する能力を強調している。

関連論文リスト

• Distribution-Dependent Rates for Multi-Distribution Learning [26.38831409926518]
  最近のマルチディストリビューション学習フレームワークは、環境との動的相互作用において、この目的に対処する。 我々は, MDL体制における分布依存性の保証を行い, 最適値以下の差でスケールし, その結果, 試料サイズへの依存度が向上することを示した。 適応型楽観的アルゴリズム LCB-DR を考案し,マルチアームバンディット文学における均一性と楽観的アロケーションのコントラストを反映した。
  論文  参考訳（メタデータ） (2023-12-20T15:50:16Z)
• Revisiting Modality Imbalance In Multimodal Pedestrian Detection [6.7841188753203046]
  本稿では,マルチモーダルアーキテクチャにおける正規化器を用いた新しいトレーニング構成を導入し,モーダル間の相違を解消する。 具体的には,2つの特徴抽出器を訓練中に同等に重要視することにより,特徴融合法をより堅牢にすることを支援する。
  論文  参考訳（メタデータ） (2023-02-24T11:56:57Z)
• Robust Calibration with Multi-domain Temperature Scaling [86.07299013396059]
  我々は,複数の領域からのデータを活用することで,分散シフトを処理するシステムキャリブレーションモデルを開発した。 提案手法は,分布シフト時のキャリブレーションを改善するために,領域内のロバスト性を利用する。
  論文  参考訳（メタデータ） (2022-06-06T17:32:12Z)
• Investigating Shifts in GAN Output-Distributions [5.076419064097734]
  本稿では,実学習データとGAN生成データの分布の可観測的変化を系統的に調査するためのループ学習手法を提案する。 全体として、これらの手法を組み合わせることで、現在のGANアルゴリズムの自然的制限を爆発的に調査することができる。
  論文  参考訳（メタデータ） (2021-12-28T09:16:55Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Channel Exchanging Networks for Multimodal and Multitask Dense Image Prediction [125.18248926508045]
  本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。 CENは異なるモダリティのワーク間でチャネルを動的に交換する。 濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
  論文  参考訳（メタデータ） (2021-12-04T05:47:54Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Non-decreasing Quantile Function Network with Efficient Exploration for Distributional Reinforcement Learning [14.967168108174466]
  まず、得られた量子関数推定の単調性を保証するために、非減少量子関数ネットワーク(NDQFN)を提案する。 次に、量子関数全体の分布を利用する分布予測誤差(DPE)と呼ばれる一般的な探索フレームワークを設計する。
  論文  参考訳（メタデータ） (2021-05-14T08:12:51Z)
• Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
  本稿では,不対向画像分割のための新しい学習手法を提案する。 提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。 我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2020-01-06T20:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。