論文の概要: Generalized Cauchy-Schwarz Divergence and Its Deep Learning Applications

• arxiv url: http://arxiv.org/abs/2405.04061v1
• Date: Tue, 7 May 2024 07:07:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 15:09:09.435522
• Title: Generalized Cauchy-Schwarz Divergence and Its Deep Learning Applications
• Title（参考訳）: 一般化コーシーシュワルツ分岐とその応用
• Authors: Mingfei Lu, Shujian Yu, Robert Jenssen, Badong Chen,
• Abstract要約: 多様性測定は機械学習において中心的な役割を担い、ディープラーニングにおいてますます不可欠なものになりつつある。 本研究では、一般化コーシーシュワルツ発散(GCSD)と呼ばれる複数の分布に対する新しい発散尺度を導入する。 カーネル密度推定に基づくクローズドフォームサンプル推定器を提案する。
• 参考スコア（独自算出の注目度）: 40.07010774604627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Divergence measures play a central role in machine learning and become increasingly essential in deep learning. However, valid and computationally efficient divergence measures for multiple (more than two) distributions are scarcely investigated. This becomes particularly crucial in areas where the simultaneous management of multiple distributions is both unavoidable and essential. Examples include clustering, multi-source domain adaptation or generalization, and multi-view learning, among others. Although calculating the mean of pairwise distances between any two distributions serves as a common way to quantify the total divergence among multiple distributions, it is crucial to acknowledge that this approach is not straightforward and requires significant computational resources. In this study, we introduce a new divergence measure for multiple distributions named the generalized Cauchy-Schwarz divergence (GCSD), which is inspired by the classic Cauchy-Schwarz divergence. Additionally, we provide a closed-form sample estimator based on kernel density estimation, making it convenient and straightforward to use in various machine-learning applications. Finally, we apply the proposed GCSD to two challenging machine learning tasks, namely deep learning-based clustering and the problem of multi-source domain adaptation. The experimental results showcase the impressive performance of GCSD in both tasks, highlighting its potential application in machine-learning areas that involve quantifying multiple distributions.
• Abstract（参考訳）: 多様性測定は機械学習において中心的な役割を担い、ディープラーニングにおいてますます不可欠なものになりつつある。 しかし、複数の(2つ以上の)分布に対する有効かつ効率的な分散尺度は、ほとんど研究されていない。 これは、複数のディストリビューションの同時管理が避けられず、必要不可欠な領域において、特に重要になる。 例えばクラスタリング、マルチソースドメイン適応、一般化、マルチビュー学習などがある。 任意の2つの分布間の対距離の平均を計算することは、複数の分布間の全ばらつきを定量化する共通の方法であるが、このアプローチは単純ではなく、重要な計算資源を必要とすることを認識することが重要である。 本研究では,古典的なコーシー=シュワルツ発散にインスパイアされた一般コーシー=シュヴァルツ発散(GCSD)と呼ばれる複数の分布に対する新しい発散尺度を導入する。 さらに、カーネル密度推定に基づくクローズドフォームサンプル推定器を提供し、様々な機械学習アプリケーションで簡単に利用できるようにした。 最後に,提案したGCSDを,ディープラーニングベースのクラスタリングとマルチソースドメイン適応の2つの課題に応用する。 実験結果は、両方のタスクにおけるGCSDの印象的なパフォーマンスを示し、複数の分布の定量化に関わる機械学習分野への応用の可能性を強調している。

関連論文リスト

• Distribution-Dependent Rates for Multi-Distribution Learning [26.38831409926518]
  最近のマルチディストリビューション学習フレームワークは、環境との動的相互作用において、この目的に対処する。 我々は, MDL体制における分布依存性の保証を行い, 最適値以下の差でスケールし, その結果, 試料サイズへの依存度が向上することを示した。 適応型楽観的アルゴリズム LCB-DR を考案し,マルチアームバンディット文学における均一性と楽観的アロケーションのコントラストを反映した。
  論文  参考訳（メタデータ） (2023-12-20T15:50:16Z)
• Revisiting Modality Imbalance In Multimodal Pedestrian Detection [6.7841188753203046]
  本稿では,マルチモーダルアーキテクチャにおける正規化器を用いた新しいトレーニング構成を導入し,モーダル間の相違を解消する。 具体的には,2つの特徴抽出器を訓練中に同等に重要視することにより,特徴融合法をより堅牢にすることを支援する。
  論文  参考訳（メタデータ） (2023-02-24T11:56:57Z)
• Robust Calibration with Multi-domain Temperature Scaling [86.07299013396059]
  我々は,複数の領域からのデータを活用することで,分散シフトを処理するシステムキャリブレーションモデルを開発した。 提案手法は,分布シフト時のキャリブレーションを改善するために,領域内のロバスト性を利用する。
  論文  参考訳（メタデータ） (2022-06-06T17:32:12Z)
• Investigating Shifts in GAN Output-Distributions [5.076419064097734]
  本稿では,実学習データとGAN生成データの分布の可観測的変化を系統的に調査するためのループ学習手法を提案する。 全体として、これらの手法を組み合わせることで、現在のGANアルゴリズムの自然的制限を爆発的に調査することができる。
  論文  参考訳（メタデータ） (2021-12-28T09:16:55Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Channel Exchanging Networks for Multimodal and Multitask Dense Image Prediction [125.18248926508045]
  本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。 CENは異なるモダリティのワーク間でチャネルを動的に交換する。 濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
  論文  参考訳（メタデータ） (2021-12-04T05:47:54Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Non-decreasing Quantile Function Network with Efficient Exploration for Distributional Reinforcement Learning [14.967168108174466]
  まず、得られた量子関数推定の単調性を保証するために、非減少量子関数ネットワーク(NDQFN)を提案する。 次に、量子関数全体の分布を利用する分布予測誤差(DPE)と呼ばれる一般的な探索フレームワークを設計する。
  論文  参考訳（メタデータ） (2021-05-14T08:12:51Z)
• Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
  本稿では,不対向画像分割のための新しい学習手法を提案する。 提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。 我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2020-01-06T20:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。