論文の概要: A Unified Approach to Coreset Learning
- arxiv url: http://arxiv.org/abs/2111.03044v1
- Date: Thu, 4 Nov 2021 17:48:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-05 15:25:52.802890
- Title: A Unified Approach to Coreset Learning
- Title（参考訳）: コアセット学習への統一的アプローチ
- Authors: Alaa Maalouf and Gilad Eini and Ben Mussay and Dan Feldman and
Margarita Osadchy
- Abstract要約: 与えられたデータセットと損失関数のコアセットは、通常、与えられたクエリの集合からの全てのクエリの損失を近似する小さな重み付きセットである。
コアセット構築のための一般学習型アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 24.79658173754555
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coreset of a given dataset and loss function is usually a small weighed set
that approximates this loss for every query from a given set of queries.
Coresets have shown to be very useful in many applications. However, coresets
construction is done in a problem dependent manner and it could take years to
design and prove the correctness of a coreset for a specific family of queries.
This could limit coresets use in practical applications. Moreover, small
coresets provably do not exist for many problems.
To address these limitations, we propose a generic, learning-based algorithm
for construction of coresets. Our approach offers a new definition of coreset,
which is a natural relaxation of the standard definition and aims at
approximating the \emph{average} loss of the original data over the queries.
This allows us to use a learning paradigm to compute a small coreset of a given
set of inputs with respect to a given loss function using a training set of
queries. We derive formal guarantees for the proposed approach. Experimental
evaluation on deep networks and classic machine learning problems show that our
learned coresets yield comparable or even better results than the existing
algorithms with worst-case theoretical guarantees (that may be too pessimistic
in practice). Furthermore, our approach applied to deep network pruning
provides the first coreset for a full deep network, i.e., compresses all the
network at once, and not layer by layer or similar divide-and-conquer methods.
- Abstract（参考訳）: 与えられたデータセットと損失関数のコアセットは、通常、与えられたクエリセットからのクエリ毎にこの損失を近似する小さな重み付き集合である。
coresetsは多くのアプリケーションで非常に有用であることが示されている。
しかし、コアセットの構築は問題依存的な方法で行われ、特定のクエリの族に対するコアセットの設計と正しさを証明するのに何年もかかる可能性がある。
これは実用用途でのcoresetの使用を制限する可能性がある。
さらに、小さなコアセットは多くの問題に対して確実に存在しない。
これらの制約に対処するため,コアセット構築のための汎用学習アルゴリズムを提案する。
提案手法は,コアセットの新しい定義を提供する。これは標準定義の自然な緩和であり,クエリ上での元のデータの損失を近似することを目的としている。
これにより、学習パラダイムを使用して、与えられた入力セットの小さなコアセットを、トレーニングされたクエリセットを使用して、与えられた損失関数に対して計算することができる。
提案手法の形式的保証を導出する。
深層ネットワークと古典的機械学習の問題を実験的に評価した結果、我々の学習したコアセットは、(実際には悲観的すぎるかもしれない)既存の理論的な保証アルゴリズムと同等あるいはそれ以上の結果をもたらすことがわかった。
さらに、ディープ・ネットワーク・プルーニング(deep network pruning)に適用したアプローチは、完全なディープ・ネットワークのための最初のコアセット、すなわち、すべてのネットワークを一度に圧縮する。
関連論文リスト
- Refined Coreset Selection: Towards Minimal Coreset Size under Model
Performance Constraints [69.27190330994635]
コアセットの選択は、計算コストの削減とディープラーニングアルゴリズムのデータ処理の高速化に強力である。
本稿では,モデル性能とコアセットサイズに対する最適化優先順序を維持する革新的な手法を提案する。
実験的に、広範な実験によりその優位性が確認され、しばしばより小さなコアセットサイズでモデル性能が向上する。
論文 参考訳（メタデータ） (2023-11-15T03:43:04Z) - AutoCoreset: An Automatic Practical Coreset Construction Framework [65.37876706107764]
コアセットは入力セットの小さな重み付き部分集合であり、損失関数によく似ている。
本稿では,ユーザからの入力データと所望のコスト関数のみを必要とするコアセット構築のための自動フレームワークを提案する。
この集合は有限であるが、コア集合は極めて一般であることを示す。
論文 参考訳（メタデータ） (2023-05-19T19:59:52Z) - Coresets for Relational Data and The Applications [8.573878018370547]
coresetは、元の入力データセットの構造を保存できる小さなセットである。
我々は、クラスタリング、ロジスティック回帰、SVMといった機械学習タスクにコアセットアプローチを適用することができることを示す。
論文 参考訳（メタデータ） (2022-10-09T12:46:27Z) - An Empirical Evaluation of $k$-Means Coresets [4.45709593827781]
利用可能な$k$-meansコアセットの品質を比較する作業はありません。
我々はコアセットの計算が困難であると主張するベンチマークを提案する。
我々は理論と実践から最もよく使われるコアセットアルゴリズムの徹底的な評価を行う。
論文 参考訳（メタデータ） (2022-07-03T06:47:53Z) - A Novel Sequential Coreset Method for Gradient Descent Algorithms [21.40879052693993]
Coresetは、これまで広く研究されてきた一般的なデータ圧縮技術である。
擬似次元と全感度境界を効果的に回避する「逐次コアセット」と呼ばれる新しいフレームワークを提案する。
本手法は, コアセットサイズをさらに小さくすることで, 次元に依存した多対数しか持たない場合のスパース最適化に特に適している。
論文 参考訳（メタデータ） (2021-12-05T08:12:16Z) - Learning to Detect Critical Nodes in Sparse Graphs via Feature Importance Awareness [53.351863569314794]
クリティカルノード問題(CNP)は、削除が残余ネットワークのペア接続性を最大に低下させるネットワークから臨界ノードの集合を見つけることを目的としている。
本研究は,ノード表現のための特徴重要度対応グラフアテンションネットワークを提案する。
ダブルディープQネットワークと組み合わせて、初めてCNPを解くエンドツーエンドのアルゴリズムを作成する。
論文 参考訳（メタデータ） (2021-12-03T14:23:05Z) - KNAS: Green Neural Architecture Search [49.36732007176059]
我々は新しいカーネルベースのアーキテクチャ探索手法KNASを提案する。
実験により、KNASは画像分類タスクにおける「列車試験」パラダイムよりも桁違いに高速な競合結果が得られることが示された。
検索されたネットワークは、2つのテキスト分類タスクで強力なベースラインであるRoBERTAよりも優れています。
論文 参考訳（メタデータ） (2021-11-26T02:11:28Z) - An Information Theory-inspired Strategy for Automatic Network Pruning [88.51235160841377]
深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。
既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。
本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
論文 参考訳（メタデータ） (2021-08-19T07:03:22Z) - Introduction to Core-sets: an Updated Survey [18.059360820527687]
機械学習問題では、ある候補解の空間上での目的関数の最小化または最大化が目的である。
従来のアルゴリズムは、無限分散ストリームの並列リアルタイム計算を必要とする現代のシステムを扱うことはできない。
この調査は、こうした構成をふりかえりとして要約し、最先端を統一し、単純化することを目的としている。
論文 参考訳（メタデータ） (2020-11-18T16:31:34Z) - Discretization-Aware Architecture Search [81.35557425784026]
本稿では,離散化対応アーキテクチャサーチ(DAtextsuperscript2S)を提案する。
中心となる考え方は、超ネットワークを所望のトポロジの構成に向けることであり、離散化による精度損失がほとんど軽減される。
標準画像分類ベンチマークの実験は、我々のアプローチの優位性を実証している。
論文 参考訳（メタデータ） (2020-07-07T01:18:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。