論文の概要: Minimizing FLOPs to Learn Efficient Sparse Representations

• arxiv url: http://arxiv.org/abs/2004.05665v1
• Date: Sun, 12 Apr 2020 18:09:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 05:04:02.330100
• Title: Minimizing FLOPs to Learn Efficient Sparse Representations
• Title（参考訳）: 効率的なスパース表現学習のためのFLOPの最小化
• Authors: Biswajit Paria, Chih-Kuan Yeh, Ian E.H. Yen, Ning Xu, Pradeep Ravikumar, Barnab\'as P\'oczos
• Abstract要約: 密度埋め込みと類似の表現能力を持つ高次元およびスパース表現を学習する。 我々のアプローチは他のベースラインと競合し、実用的なデータセット上で同様の、あるいはより優れたスピードvs精度のトレードオフをもたらす。
• 参考スコア（独自算出の注目度）: 36.24540913526988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep representation learning has become one of the most widely adopted approaches for visual search, recommendation, and identification. Retrieval of such representations from a large database is however computationally challenging. Approximate methods based on learning compact representations, have been widely explored for this problem, such as locality sensitive hashing, product quantization, and PCA. In this work, in contrast to learning compact representations, we propose to learn high dimensional and sparse representations that have similar representational capacity as dense embeddings while being more efficient due to sparse matrix multiplication operations which can be much faster than dense multiplication. Following the key insight that the number of operations decreases quadratically with the sparsity of embeddings provided the non-zero entries are distributed uniformly across dimensions, we propose a novel approach to learn such distributed sparse embeddings via the use of a carefully constructed regularization function that directly minimizes a continuous relaxation of the number of floating-point operations (FLOPs) incurred during retrieval. Our experiments show that our approach is competitive to the other baselines and yields a similar or better speed-vs-accuracy tradeoff on practical datasets.
• Abstract（参考訳）: 深層表現学習は、視覚検索、レコメンデーション、識別において最も広く採用されているアプローチの1つとなっている。 しかし、大規模なデータベースからのそのような表現の検索は計算的に難しい。 コンパクト表現の学習に基づく近似法は,局所性に敏感なハッシュ,製品量子化,PCAなど,この問題に対して広く研究されている。 本研究では,コンパクト表現の学習とは対照的に,密度埋め込みと類似する表現能力を持つ高次元およびスパース表現を学習する一方で,密度乗算よりも高速であるスパース行列乗算演算により効率的であることを提案する。 非零エントリが一様に次元に分散されるような埋め込みのスパースによって操作数が二乗的に減少するという重要な知見に従い、検索中に発生する浮動小数点演算(flops)の数の連続緩和を直接最小化する注意深く構築された正規化関数を用いて、そのような分散スパース埋め込みを学ぶための新しいアプローチを提案する。 我々の実験は、我々のアプローチが他のベースラインと競合し、実用的なデータセットに対する速度vs精度のトレードオフをもたらすことを示している。

関連論文リスト

• Efficient Fairness-Performance Pareto Front Computation [51.558848491038916]
  最適公正表現はいくつかの有用な構造特性を持つことを示す。 そこで,これらの近似問題は,凹凸プログラミング法により効率的に解けることを示す。
  論文  参考訳（メタデータ） (2024-09-26T08:46:48Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Enhancing Representation Learning on High-Dimensional, Small-Size Tabular Data: A Divide and Conquer Method with Ensembled VAEs [7.923088041693465]
  特徴空間の部分集合の後方部分集合を学習するための軽量なVAEのアンサンブルを, 新規な分割コンカレントアプローチで結合後部分集合に集約する。 このアプローチは推論時に部分的な機能に対して堅牢であることを示し、ほとんどの機能が欠落していても、パフォーマンスの劣化がほとんどないことを示します。
  論文  参考訳（メタデータ） (2023-06-27T17:55:31Z)
• Provably Efficient Representation Learning with Tractable Planning in Low-Rank POMDP [81.00800920928621]
  部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究 まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。 次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:04:03Z)
• Federated Representation Learning via Maximal Coding Rate Reduction [109.26332878050374]
  本稿では,複数のクライアントに分散したデータセットから低次元表現を学習する手法を提案する。 提案手法はFLOWと呼ばれ, MCR2を選択の対象とし, その結果, クラス間判別とクラス内圧縮の両方が可能な表現が得られた。
  論文  参考訳（メタデータ） (2022-10-01T15:43:51Z)
• Learning Optical Flow from a Few Matches [67.83633948984954]
  密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。 実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
  論文  参考訳（メタデータ） (2021-04-05T21:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。