論文の概要: A Metric Topology of Deep Learning for Data Classification

• arxiv url: http://arxiv.org/abs/2501.11265v1
• Date: Mon, 20 Jan 2025 04:19:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:25:25.170490
• Title: A Metric Topology of Deep Learning for Data Classification
• Title（参考訳）: データ分類のための深層学習のメトリクストポロジー
• Authors: Jwo-Yuh Wu, Liang-Chi Huang, Wen-Hsuan Li, Chun-Hung Liu,
• Abstract要約: ディープラーニング(DL)は、実用的な応用において前例のない成功を収めた。 DLは謎の「ブラックボックス」を残し、その数学的基盤を構築するための最近の理論研究を引き起こした。
• 参考スコア（独自算出の注目度）: 9.21215885702746
• License:
• Abstract: Empirically, Deep Learning (DL) has demonstrated unprecedented success in practical applications. However, DL remains by and large a mysterious "black-box", spurring recent theoretical research to build its mathematical foundations. In this paper, we investigate DL for data classification through the prism of metric topology. Considering that conventional Euclidean metric over the network parameter space typically fails to discriminate DL networks according to their classification outcomes, we propose from a probabilistic point of view a meaningful distance measure, whereby DL networks yielding similar classification performances are close. The proposed distance measure defines such an equivalent relation among network parameter vectors that networks performing equally well belong to the same equivalent class. Interestingly, our proposed distance measure can provably serve as a metric on the quotient set modulo the equivalent relation. Then, under quite mild conditions it is shown that, apart from a vanishingly small subset of networks likely to predict non-unique labels, our proposed metric space is compact, and coincides with the well-known quotient topological space. Our study contributes to fundamental understanding of DL, and opens up new ways of studying DL using fruitful metric space theory.
• Abstract（参考訳）: 実証的に、Deep Learning (DL) は実践的応用において前例のない成功を収めた。 しかし、DLは謎の「ブラックボックス」を残し、その数学的基盤を構築するための最近の理論研究を引き起こした。 本稿では,計量トポロジのプリズムによるデータ分類のためのDLについて検討する。 ネットワークパラメータ空間上の従来のユークリッド計量は、その分類結果に従ってDLネットワークを識別できないのが典型的であることを考慮し、確率論的距離測定の観点から、同様の分類性能を持つDLネットワークが近接していることを示す。 提案した距離測度は、ネットワークパラメーターベクトル間の等価な関係を定義し、ネットワークが同じ等価なクラスに属している。 興味深いことに、提案した距離測度は、同値関係の商集合変調の計量として証明可能である。 そして、非常に穏やかな条件下では、不均一なラベルを予測しそうなネットワークの極めて小さな部分集合とは別に、提案した距離空間はコンパクトであり、よく知られた商位相空間と一致することが示される。 本研究は,DLの基本的な理解に寄与し,実測距離空間理論を用いたDLの新たな研究方法を開く。

関連論文リスト

• Piecewise-Linear Manifolds for Deep Metric Learning [8.670873561640903]
  教師なしの深度学習は、ラベルなしデータのみを使用して意味表現空間を学習することに焦点を当てる。 本稿では,各低次元線形片が点の小さな近傍でデータ多様体を近似して高次元データ多様体をモデル化することを提案する。 我々は、この類似度推定が、現在の最先端技術の類似度推定よりも基礎的真理と相関していることを実証的に示す。
  論文  参考訳（メタデータ） (2024-03-22T06:22:20Z)
• Improving Deep Representation Learning via Auxiliary Learnable Target Coding [69.79343510578877]
  本稿では,深層表現学習の補助的正規化として,新たな学習対象符号化を提案する。 具体的には、より差別的な表現を促進するために、マージンベースの三重項損失と、提案した目標符号上の相関整合損失を設計する。
  論文  参考訳（メタデータ） (2023-05-30T01:38:54Z)
• Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
  複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。 論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。 本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2023-05-19T08:22:23Z)
• Robust-by-Design Classification via Unitary-Gradient Neural Networks [66.17379946402859]
  安全クリティカルシステムにおけるニューラルネットワークの使用には、敵攻撃が存在するため、安全で堅牢なモデルが必要である。 任意の入力 x の最小逆摂動を知るか、または同値に、分類境界から x の距離は、分類ロバスト性を評価し、証明可能な予測を与える。 Unitary-Gradient Neural Networkと呼ばれる新しいネットワークアーキテクチャが紹介される。 実験結果から,提案アーキテクチャは符号付き距離を近似し,単一の推論コストでxのオンライン分類が可能であることがわかった。
  論文  参考訳（メタデータ） (2022-09-09T13:34:51Z)
• Distance Learner: Incorporating Manifold Prior to Model Training [1.6752182911522522]
  本稿では,最新のDeep Neural Networks (DNN) において,多様体仮説を先行として組み込む新しい手法である距離学習器を提案する。 分類において、距離学習者は最も近い予測されたクラス多様体に対応するクラスを選択する。 本手法は, 対向ロバスト性(対向ロバスト性)の課題において評価し, 標準分類器を大きなマージンで上回るだけでなく, 最先端の対向訓練によって訓練された分類器と同等に性能を発揮することを示した。
  論文  参考訳（メタデータ） (2022-07-14T13:07:08Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• SetMargin Loss applied to Deep Keystroke Biometrics with Circle Packing Interpretation [67.0845003374569]
  本研究は,新しい距離距離学習法(DML)に基づくキーストロークバイオメトリックスのための新しい深層学習手法を提案する。 提案手法の有効性を実験的に証明し, キーストロークの生体認証を78,000名の被験者に対して行った。
  論文  参考訳（メタデータ） (2021-09-02T13:26:57Z)
• Deep Relational Metric Learning [84.95793654872399]
  本稿では,画像クラスタリングと検索のためのディープリレーショナルメトリック学習フレームワークを提案する。 我々は、クラス間分布とクラス内分布の両方をモデル化するために、異なる側面から画像を特徴付ける特徴のアンサンブルを学ぶ。 広く使われているCUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、我々のフレームワークが既存の深層学習方法を改善し、非常に競争力のある結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-08-23T09:31:18Z)
• Robust Similarity and Distance Learning via Decision Forests [8.587164648430251]
  距離学習のための新たな決定森林アルゴリズムを提案し,これをSimisity and Metric Random Forests(SMERF)と呼ぶ。 任意の距離を近似し、重要な特徴を識別する能力は、シミュレーションデータセット上で実証的に実証されている。
  論文  参考訳（メタデータ） (2020-07-27T20:17:42Z)
• Learning Flat Latent Manifolds with VAEs [16.725880610265378]
  本稿では、ユークリッド計量がデータポイント間の類似性のプロキシとなる変分自動エンコーダのフレームワークの拡張を提案する。 我々は、変分オートエンコーダで一般的に使用されるコンパクトな以前のものを、最近発表されたより表現力のある階層型に置き換える。 提案手法は,ビデオ追跡ベンチマークを含む,さまざまなデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2020-02-12T09:54:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。