論文の概要: Feature Space Topology Control via Hopkins Loss
- arxiv url: http://arxiv.org/abs/2509.11154v1
- Date: Sun, 14 Sep 2025 08:16:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-16 17:26:22.947667
- Title: Feature Space Topology Control via Hopkins Loss
- Title(参考訳): ホプキンスロスによる特徴空間位相制御
- Authors: Einari Vaaras, Manu Airaksinen,
- Abstract要約: 本稿では,ホプキンス統計を利用して所望の機能空間トポロジーを強制する新しい損失関数,ホプキンス損失を導入する。
ホプキンス損失が音声,テキスト,画像データに与える影響を,分類と次元化の2つのシナリオで評価した。
- 参考スコア(独自算出の注目度): 1.503974529275767
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Feature space topology refers to the organization of samples within the feature space. Modifying this topology can be beneficial in machine learning applications, including dimensionality reduction, generative modeling, transfer learning, and robustness to adversarial attacks. This paper introduces a novel loss function, Hopkins loss, which leverages the Hopkins statistic to enforce a desired feature space topology, which is in contrast to existing topology-related methods that aim to preserve input feature topology. We evaluate the effectiveness of Hopkins loss on speech, text, and image data in two scenarios: classification and dimensionality reduction using nonlinear bottleneck autoencoders. Our experiments show that integrating Hopkins loss into classification or dimensionality reduction has only a small impact on classification performance while providing the benefit of modifying feature topology.
- Abstract(参考訳): 特徴空間トポロジー(英: Feature space topology)は、特徴空間内のサンプルの整理を指す。
このトポロジを変更することは、ディメンタリティの低減、生成モデリング、トランスファーラーニング、敵攻撃に対する堅牢性など、機械学習の応用において有用である。
本稿では, ホプキンス統計を利用した新たな損失関数であるホプキンス損失を導入し, 入力特徴トポロジの保存を目的とした既存のトポロジ関連手法とは対照的な, 所望の特徴空間トポロジを強制する。
我々は,音声,テキスト,画像データに対するホプキンス損失の有効性を,非線形ボトルネックオートエンコーダを用いた分類と次元化の2つのシナリオで評価した。
実験の結果,ホプキンスの損失を分類や次元の低減に組み込むことは,特徴トポロジの変更のメリットを享受しつつも,分類性能に少なからぬ影響を及ぼすことがわかった。
関連論文リスト
- TopoMortar: A dataset to evaluate image segmentation methods focused on topology accuracy [0.5892638927736115]
TopoMortarは、トポロジーに焦点を当てた画像セグメンテーション手法を評価するために特別に設計された最初のデータセットである。
TopoMortar 上で clDice が最も位相的に正確なセグメンテーションを達成したことを示す。
また,データ拡張と自己蒸留によりクロスエントロピーDice損失が増加し,ほとんどのトポロジ損失関数を超えることを示す。
論文 参考訳(メタデータ) (2025-03-05T10:42:41Z) - Unraveling the Hessian: A Key to Smooth Convergence in Loss Function Landscapes [0.0]
我々は、完全に連結されたニューラルネットワークにおける損失景観の収束を理論的に解析し、新しいオブジェクトをサンプルに追加する際の損失関数値の差について上限を導出する。
画像分類作業における損失関数面の収束を実証し,これらの結果を様々なデータセットで検証した。
論文 参考訳(メタデータ) (2024-09-18T14:04:15Z) - SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。
本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
論文 参考訳(メタデータ) (2024-07-23T20:34:23Z) - Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。
埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。
ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
論文 参考訳(メタデータ) (2024-07-03T13:44:20Z) - Reduced Jeffries-Matusita distance: A Novel Loss Function to Improve
Generalization Performance of Deep Classification Models [0.0]
本稿では,深層分類モデルの学習における損失関数として,Reduced Jeffries-Matusitaという距離を導入する。
その結果、新しい距離測定はトレーニングプロセスを著しく安定化させ、一般化能力を高め、精度とF1スコアの指標におけるモデルの性能を向上させることを示した。
論文 参考訳(メタデータ) (2024-03-13T10:51:38Z) - A topological description of loss surfaces based on Betti Numbers [8.539445673580252]
多層ニューラルネットワークの場合の損失複雑性を評価するためのトポロジカル尺度を提供する。
損失関数やモデルアーキテクチャの特定のバリエーション、例えば$ell$正規化項の追加やフィードフォワードネットワークでの接続のスキップは、特定のケースにおける損失には影響しない。
論文 参考訳(メタデータ) (2024-01-08T11:20:04Z) - Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class
Incremental Learning [120.53458753007851]
FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。
我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。
我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
論文 参考訳(メタデータ) (2023-02-06T18:39:40Z) - A survey and taxonomy of loss functions in machine learning [51.35995529962554]
本稿では, 回帰, 分類, 生成モデル, ランキング, エネルギーベースモデリングなど, 主要なアプリケーションにまたがる最も広く使われている損失関数について概観する。
直感的な分類法で構築された43個の個別の損失関数を導入し,それらの理論的基礎,特性,最適な適用状況を明らかにした。
論文 参考訳(メタデータ) (2023-01-13T14:38:24Z) - Fundamental Limits of Two-layer Autoencoders, and Achieving Them with
Gradient Methods [91.54785981649228]
本稿では,非線形二層型オートエンコーダについて述べる。
本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。
符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
論文 参考訳(メタデータ) (2022-12-27T12:37:34Z) - A Fair Loss Function for Network Pruning [70.35230425589592]
本稿では, 刈り込み時のバイアスの抑制に使用できる簡易な改良型クロスエントロピー損失関数である, 性能重み付き損失関数を提案する。
CelebA、Fitzpatrick17k、CIFAR-10データセットを用いた実験は、提案手法が単純で効果的なツールであることを実証している。
論文 参考訳(メタデータ) (2022-11-18T15:17:28Z) - Numerical Exploration of Training Loss Level-Sets in Deep Neural
Networks [1.3706331473063877]
パラメータ空間内の経路を、固定された近ゼロのトレーニング損失を持つ集合に制約する。
この経路内の異なる点における正則化関数とテスト損失を測定することにより、パラメータ空間内の同じ固定トレーニング損失の異なる点が一般化能力においてどのように比較されるかを検討する。
我々の結果は、ディープニューラルネットワークの損失状況に関する新しい情報と、テスト損失を減らすための新しい戦略を提供する。
論文 参考訳(メタデータ) (2020-11-09T04:49:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。