論文の概要: Data-Efficient Learning via Minimizing Hyperspherical Energy

• arxiv url: http://arxiv.org/abs/2206.15204v1
• Date: Thu, 30 Jun 2022 11:39:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-01 14:38:44.193369
• Title: Data-Efficient Learning via Minimizing Hyperspherical Energy
• Title（参考訳）: 超球面エネルギー最小化によるデータ効率学習
• Authors: Xiaofeng Cao, Weiyang Liu, Ivor W. Tsang
• Abstract要約: 本稿では,少数の代表データを用いたスクラッチからのデータ効率学習の問題について考察する。 我々は,MHEに基づくアクティブラーニング(MHEAL)アルゴリズムを提案し,MHEALの包括的な理論的保証を提供する。
• 参考スコア（独自算出の注目度）: 48.47217827782576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning on large-scale data is dominant nowadays. The unprecedented scale of data has been arguably one of the most important driving forces for the success of deep learning. However, there still exist scenarios where collecting data or labels could be extremely expensive, e.g., medical imaging and robotics. To fill up this gap, this paper considers the problem of data-efficient learning from scratch using a small amount of representative data. First, we characterize this problem by active learning on homeomorphic tubes of spherical manifolds. This naturally generates feasible hypothesis class. With homologous topological properties, we identify an important connection -- finding tube manifolds is equivalent to minimizing hyperspherical energy (MHE) in physical geometry. Inspired by this connection, we propose a MHE-based active learning (MHEAL) algorithm, and provide comprehensive theoretical guarantees for MHEAL, covering convergence and generalization analysis. Finally, we demonstrate the empirical performance of MHEAL in a wide range of applications on data-efficient learning, including deep clustering, distribution matching, version space sampling and deep active learning.
• Abstract（参考訳）: 近年,大規模データの深層学習が主流となっている。 前例のないデータの規模は、ディープラーニングを成功させる上で、おそらく最も重要な推進力の1つです。 しかし、医療画像やロボティクスなど、データやラベルの収集が非常に費用がかかるシナリオは依然として存在する。 このギャップを埋めるため,本論文では,少数の代表データを用いて,スクラッチからデータ効率のよい学習の問題を考察する。 まず、球面多様体の同型管の能動的学習によりこの問題を特徴づける。 これは自然に可能な仮説クラスを生成する。 ホモロジー的位相特性により、重要な接続を同定し、チューブ多様体を見つけることは、物理幾何学における超球面エネルギー(MHE)を最小化することと同値である。 この接続に着想を得て,MHEに基づく能動学習(MHEAL)アルゴリズムを提案し,収束と一般化解析を網羅した理論的保証を提供する。 最後に,深層クラスタリング,分散マッチング,バージョンスペースサンプリング,深層アクティブ学習など,データ効率のよい学習に関する幅広いアプリケーションにおいて,mhealの実証的性能を示す。

関連論文リスト

• Hardness of Learning Neural Networks under the Manifold Hypothesis [3.2635082758250693]
  多様体仮説は、高次元データが低次元多様体上または近辺にあると仮定する。 多様体仮説に基づく学習の難しさについて検討する。 データ多様体の体積に関する追加の仮定は、これらの基本的な制限を緩和することを示します。
  論文  参考訳（メタデータ） (2024-06-03T15:50:32Z)
• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• Manifold Learning with Sparse Regularised Optimal Transport [0.17205106391379024]
  実世界のデータセットはノイズの多い観測とサンプリングを受けており、基礎となる多様体に関する情報を蒸留することが大きな課題である。 本稿では,2次正規化を用いた最適輸送の対称版を利用する多様体学習法を提案する。 得られたカーネルは連続的な極限においてLaplace型演算子と整合性を証明し、ヘテロスケダスティックノイズに対する堅牢性を確立し、これらの結果をシミュレーションで示す。
  論文  参考訳（メタデータ） (2023-07-19T08:05:46Z)
• A Survey of Learning on Small Data: Generalization, Optimization, and Challenge [101.27154181792567]
  ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。 この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。 効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
  論文  参考訳（メタデータ） (2022-07-29T02:34:19Z)
• Differentiable Agent-based Epidemiology [71.81552021144589]
  GradABM(GradABM)は、エージェントベースのモデリングのためのスケーラブルで微分可能な設計で、勾配に基づく学習と自動微分が可能である。 GradABMは、コモディティハードウェア上で数秒で数百万の人口をシミュレートし、ディープニューラルネットワークと統合し、異種データソースを取り込みます。
  論文  参考訳（メタデータ） (2022-07-20T07:32:02Z)
• SubOmiEmbed: Self-supervised Representation Learning of Multi-omics Data for Cancer Type Classification [4.992154875028543]
  マルチオミクスデータの統合と解析により腫瘍の広い視野が得られ,臨床診断の精度が向上する。 SubOmiEmbedは、非常に小さなネットワークを持つベースラインであるOmiEmbedに匹敵する結果を生成する。 この作業は、突然変異に基づくゲノムデータを統合するために改善される。
  論文  参考訳（メタデータ） (2022-02-03T16:39:09Z)
• Distributed Learning via Filtered Hyperinterpolation on Manifolds [2.2046162792653017]
  本稿では,実数値関数を多様体上で学習する問題について検討する。 大規模なデータセットを扱うという問題に触発され、並列データ処理アプローチが提示される。 学習関数の近似品質と多様体全体の量的関係を証明した。
  論文  参考訳（メタデータ） (2020-07-18T10:05:18Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。