論文の概要: A Metric Topology of Deep Learning for Data Classification

• arxiv url: http://arxiv.org/abs/2501.11265v1
• Date: Mon, 20 Jan 2025 04:19:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:25:25.170490
• Title: A Metric Topology of Deep Learning for Data Classification
• Title（参考訳）: データ分類のための深層学習のメトリクストポロジー
• Authors: Jwo-Yuh Wu, Liang-Chi Huang, Wen-Hsuan Li, Chun-Hung Liu,
• Abstract要約: ディープラーニング(DL)は、実用的な応用において前例のない成功を収めた。 DLは謎の「ブラックボックス」を残し、その数学的基盤を構築するための最近の理論研究を引き起こした。
• 参考スコア（独自算出の注目度）: 9.21215885702746
• License:
• Abstract: Empirically, Deep Learning (DL) has demonstrated unprecedented success in practical applications. However, DL remains by and large a mysterious "black-box", spurring recent theoretical research to build its mathematical foundations. In this paper, we investigate DL for data classification through the prism of metric topology. Considering that conventional Euclidean metric over the network parameter space typically fails to discriminate DL networks according to their classification outcomes, we propose from a probabilistic point of view a meaningful distance measure, whereby DL networks yielding similar classification performances are close. The proposed distance measure defines such an equivalent relation among network parameter vectors that networks performing equally well belong to the same equivalent class. Interestingly, our proposed distance measure can provably serve as a metric on the quotient set modulo the equivalent relation. Then, under quite mild conditions it is shown that, apart from a vanishingly small subset of networks likely to predict non-unique labels, our proposed metric space is compact, and coincides with the well-known quotient topological space. Our study contributes to fundamental understanding of DL, and opens up new ways of studying DL using fruitful metric space theory.
• Abstract（参考訳）: 実証的に、Deep Learning (DL) は実践的応用において前例のない成功を収めた。 しかし、DLは謎の「ブラックボックス」を残し、その数学的基盤を構築するための最近の理論研究を引き起こした。 本稿では,計量トポロジのプリズムによるデータ分類のためのDLについて検討する。 ネットワークパラメータ空間上の従来のユークリッド計量は、その分類結果に従ってDLネットワークを識別できないのが典型的であることを考慮し、確率論的距離測定の観点から、同様の分類性能を持つDLネットワークが近接していることを示す。 提案した距離測度は、ネットワークパラメーターベクトル間の等価な関係を定義し、ネットワークが同じ等価なクラスに属している。 興味深いことに、提案した距離測度は、同値関係の商集合変調の計量として証明可能である。 そして、非常に穏やかな条件下では、不均一なラベルを予測しそうなネットワークの極めて小さな部分集合とは別に、提案した距離空間はコンパクトであり、よく知られた商位相空間と一致することが示される。 本研究は,DLの基本的な理解に寄与し,実測距離空間理論を用いたDLの新たな研究方法を開く。

関連論文リスト

• Exploring the Small World of Word Embeddings: A Comparative Study on Conceptual Spaces from LLMs of Different Scales [47.52062992606549]
  概念空間は概念をノードとして、意味的関連性はエッジとして表現する。 様々なスケールの大規模言語モデルから単語埋め込みを用いて概念空間を構築する。 我々は,概念的ペア,WordNet関係,質的な単語に対する言語間セマンティックネットワークを解析する。
  論文  参考訳（メタデータ） (2025-02-17T02:52:07Z)
• Memorization With Neural Nets: Going Beyond the Worst Case [5.03863830033243]
  実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。 本稿では、3層ニューラルネットワークを時間内に補間する単純なランダム化アルゴリズムを提案する。 サンプル数に依存しない保証を得るため、最悪の記憶能力限界を超えて移動します。
  論文  参考訳（メタデータ） (2023-09-30T10:06:05Z)
• Improving Deep Representation Learning via Auxiliary Learnable Target Coding [69.79343510578877]
  本稿では,深層表現学習の補助的正規化として,新たな学習対象符号化を提案する。 具体的には、より差別的な表現を促進するために、マージンベースの三重項損失と、提案した目標符号上の相関整合損失を設計する。
  論文  参考訳（メタデータ） (2023-05-30T01:38:54Z)
• Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
  複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。 論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。 本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2023-05-19T08:22:23Z)
• Robust-by-Design Classification via Unitary-Gradient Neural Networks [66.17379946402859]
  安全クリティカルシステムにおけるニューラルネットワークの使用には、敵攻撃が存在するため、安全で堅牢なモデルが必要である。 任意の入力 x の最小逆摂動を知るか、または同値に、分類境界から x の距離は、分類ロバスト性を評価し、証明可能な予測を与える。 Unitary-Gradient Neural Networkと呼ばれる新しいネットワークアーキテクチャが紹介される。 実験結果から,提案アーキテクチャは符号付き距離を近似し,単一の推論コストでxのオンライン分類が可能であることがわかった。
  論文  参考訳（メタデータ） (2022-09-09T13:34:51Z)
• Distance Learner: Incorporating Manifold Prior to Model Training [1.6752182911522522]
  本稿では,最新のDeep Neural Networks (DNN) において,多様体仮説を先行として組み込む新しい手法である距離学習器を提案する。 分類において、距離学習者は最も近い予測されたクラス多様体に対応するクラスを選択する。 本手法は, 対向ロバスト性(対向ロバスト性)の課題において評価し, 標準分類器を大きなマージンで上回るだけでなく, 最先端の対向訓練によって訓練された分類器と同等に性能を発揮することを示した。
  論文  参考訳（メタデータ） (2022-07-14T13:07:08Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• SetMargin Loss applied to Deep Keystroke Biometrics with Circle Packing Interpretation [67.0845003374569]
  本研究は,新しい距離距離学習法(DML)に基づくキーストロークバイオメトリックスのための新しい深層学習手法を提案する。 提案手法の有効性を実験的に証明し, キーストロークの生体認証を78,000名の被験者に対して行った。
  論文  参考訳（メタデータ） (2021-09-02T13:26:57Z)
• Deep Relational Metric Learning [84.95793654872399]
  本稿では,画像クラスタリングと検索のためのディープリレーショナルメトリック学習フレームワークを提案する。 我々は、クラス間分布とクラス内分布の両方をモデル化するために、異なる側面から画像を特徴付ける特徴のアンサンブルを学ぶ。 広く使われているCUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、我々のフレームワークが既存の深層学習方法を改善し、非常に競争力のある結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-08-23T09:31:18Z)
• Robust Similarity and Distance Learning via Decision Forests [8.587164648430251]
  距離学習のための新たな決定森林アルゴリズムを提案し,これをSimisity and Metric Random Forests(SMERF)と呼ぶ。 任意の距離を近似し、重要な特徴を識別する能力は、シミュレーションデータセット上で実証的に実証されている。
  論文  参考訳（メタデータ） (2020-07-27T20:17:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。