論文の概要: On the Versatile Uses of Partial Distance Correlation in Deep Learning

• arxiv url: http://arxiv.org/abs/2207.09684v1
• Date: Wed, 20 Jul 2022 06:36:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-21 13:28:57.178319
• Title: On the Versatile Uses of Partial Distance Correlation in Deep Learning
• Title（参考訳）: 深層学習における部分距離相関の可逆的利用について
• Authors: Xingjian Zhen, Zihang Meng, Rudrasis Chakraborty, Vikas Singh
• Abstract要約: 本稿では、異なる次元の特徴空間間の相関を評価するために設計された距離相関(および部分変量)と呼ばれる統計学から(広く知られていない)再検討する。 本稿では,大規模モデルへの展開に必要なステップについて述べる。 これは、ある深いモデルw.r.t.を条件付けすること、非絡み合った表現を学習すること、および敵の攻撃に対してより堅牢な多様なモデルを最適化することなど、驚くべき一連のアプリケーションへの扉を開く。
• 参考スコア（独自算出の注目度）: 47.11577420740119
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Comparing the functional behavior of neural network models, whether it is a single network over time or two (or more networks) during or post-training, is an essential step in understanding what they are learning (and what they are not), and for identifying strategies for regularization or efficiency improvements. Despite recent progress, e.g., comparing vision transformers to CNNs, systematic comparison of function, especially across different networks, remains difficult and is often carried out layer by layer. Approaches such as canonical correlation analysis (CCA) are applicable in principle, but have been sparingly used so far. In this paper, we revisit a (less widely known) from statistics, called distance correlation (and its partial variant), designed to evaluate correlation between feature spaces of different dimensions. We describe the steps necessary to carry out its deployment for large scale models -- this opens the door to a surprising array of applications ranging from conditioning one deep model w.r.t. another, learning disentangled representations as well as optimizing diverse models that would directly be more robust to adversarial attacks. Our experiments suggest a versatile regularizer (or constraint) with many advantages, which avoids some of the common difficulties one faces in such analyses. Code is at https://github.com/zhenxingjian/Partial_Distance_Correlation.
• Abstract（参考訳）: ニューラルネットワークモデルの機能的振る舞いを比較することは、トレーニング中の1つのネットワークか2つ(あるいはそれ以上のネットワーク)かに関わらず、学習しているもの(とそうでないもの)を理解し、正規化や効率改善のための戦略を特定する上で不可欠なステップである。 視覚トランスフォーマーとcnnを比較するなどの最近の進歩にもかかわらず、特に異なるネットワーク間での関数の体系的な比較は依然として困難であり、層ごとに行われることが多い。 標準相関解析(CCA)のような手法は原則として適用できるが、これまでは広く用いられてきた。 本稿では,異なる次元の特徴空間間の相関を評価するために,距離相関(とその部分的変種)と呼ばれる統計から(広く知られていない)再検討する。 これは、あるディープモデルw.r.t.をコンディショニングすることから、不連続表現を学習すること、また、敵の攻撃に対して直接よりロバストな多様なモデルを最適化することまで、驚くべきアプリケーション群への扉を開く。 実験では,多彩な正規化器(あるいは制約)に多くの利点があることを示唆する。 コードはhttps://github.com/zhenxingjian/Partial_Distance_Correlationにある。

関連論文リスト

• GSSF: Generalized Structural Sparse Function for Deep Cross-modal Metric Learning [51.677086019209554]
  ペアワイド類似性学習のためのモダリティ間の強力な関係を捕捉する汎用構造スパースを提案する。 距離メートル法は、対角線とブロック対角線の2つの形式を微妙にカプセル化する。 クロスモーダルと2つの余分なユニモーダル検索タスクの実験は、その優位性と柔軟性を検証した。
  論文  参考訳（メタデータ） (2024-10-20T03:45:50Z)
• Harmony in Diversity: Merging Neural Networks with Canonical Correlation Analysis [17.989809995141044]
  相関解析に基づくCCAマージを提案する。 2モデル以上のモデルがマージされた場合、CCAは過去の方法よりもはるかにうまく機能することを示す。
  論文  参考訳（メタデータ） (2024-07-07T14:21:04Z)
• Reducing Computational Costs in Sentiment Analysis: Tensorized Recurrent Networks vs. Recurrent Networks [0.12891210250935145]
  特定のテキストに対する聴衆の反応を期待することは、政治、研究、商業産業など、社会のいくつかの側面に不可欠である。 感性分析(英: Sentiment Analysis、SA)は、語彙・統計・深層学習法を用いて、異なるサイズのテキストが肯定的、否定的、中立的な感情を示すかどうかを判断する有用な自然言語処理(NLP)技術である。
  論文  参考訳（メタデータ） (2023-06-16T09:18:08Z)
• Compare learning: bi-attention network for few-shot learning [6.559037166322981]
  距離学習と呼ばれる数ショットの学習手法の1つは、画像のペアが同じカテゴリに属しているかどうかを判断するために、まず遠距離計量を学習することで、この課題に対処する。 本稿では, インスタンスの埋め込みの類似性を正確に, グローバルかつ効率的に測定できる, Bi-attention Network という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-25T07:39:10Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• The Devil Is in the Details: An Efficient Convolutional Neural Network for Transport Mode Detection [3.008051369744002]
  トランスポートモード検出は、マルチモーダル信号が与えられたユーザのトランスポートモードを推測できるアルゴリズムを設計することを目的とした分類問題である。 小型で最適化されたモデルが、現在のディープモデルと同様に動作可能であることを示す。
  論文  参考訳（メタデータ） (2021-09-16T08:05:47Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。