論文の概要: Making Online Sketching Hashing Even Faster

• arxiv url: http://arxiv.org/abs/2010.04948v1
• Date: Sat, 10 Oct 2020 08:50:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 22:46:26.529309
• Title: Making Online Sketching Hashing Even Faster
• Title（参考訳）: オンラインのハッシュ処理を高速化する
• Authors: Xixian Chen, Haiqin Yang, Shenglin Zhao, Michael R. Lyu, and Irwin King
• Abstract要約: 本稿では,FROSH(FasteR Online Sketching Hashing)アルゴリズムを提案する。 提案したFROSHがより少ない時間を消費し、同等のスケッチ精度を実現することを保証するための理論的正当性を提供する。 また、FROSHの分散実装であるDFROSHを拡張して、FROSHのトレーニング時間コストをさらに削減する。
• 参考スコア（独自算出の注目度）: 63.16042585506435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data-dependent hashing methods have demonstrated good performance in various machine learning applications to learn a low-dimensional representation from the original data. However, they still suffer from several obstacles: First, most of existing hashing methods are trained in a batch mode, yielding inefficiency for training streaming data. Second, the computational cost and the memory consumption increase extraordinarily in the big data setting, which perplexes the training procedure. Third, the lack of labeled data hinders the improvement of the model performance. To address these difficulties, we utilize online sketching hashing (OSH) and present a FasteR Online Sketching Hashing (FROSH) algorithm to sketch the data in a more compact form via an independent transformation. We provide theoretical justification to guarantee that our proposed FROSH consumes less time and achieves a comparable sketching precision under the same memory cost of OSH. We also extend FROSH to its distributed implementation, namely DFROSH, to further reduce the training time cost of FROSH while deriving the theoretical bound of the sketching precision. Finally, we conduct extensive experiments on both synthetic and real datasets to demonstrate the attractive merits of FROSH and DFROSH.
• Abstract（参考訳）: データ依存ハッシュ手法は、さまざまな機械学習アプリケーションにおいて、元のデータから低次元表現を学ぶための優れた性能を示している。 まず、既存のハッシュメソッドのほとんどはバッチモードでトレーニングされ、ストリーミングデータのトレーニングに非効率になります。 第二に、ビッグデータの設定では計算コストとメモリ消費が著しく増加し、トレーニング手順が複雑になる。 第3に、ラベル付きデータの欠如は、モデルパフォーマンスの改善を妨げる。 これらの問題に対処するために、オンラインスケッチハッシュ(OSH)とFROSH(FasteR Online Sketching Hashing)アルゴリズムを用いて、独立変換によりよりコンパクトな形式でデータをスケッチする。 我々は、提案するFROSHがより少ない時間を消費し、OSHと同じメモリコストで同等のスケッチ精度を達成することを保証するための理論的正当性を提供する。 また、FROSHの分散実装であるDFROSHを拡張して、スケッチ精度の理論的境界を導出しながら、FROSHのトレーニング時間コストをさらに削減する。 最後に、FROSHとDFROSHの魅力を示すために、合成データと実データの両方について広範な実験を行った。

関連論文リスト

• E2EDiff: Direct Mapping from Noise to Data for Enhanced Diffusion Models [15.270657838960114]
  拡散モデルは生成モデリングの強力なフレームワークとして登場し、様々なタスクで最先端のパフォーマンスを実現している。 トレーニングサンプリングのギャップ、プログレッシブノイズ発生過程における情報漏洩、およびトレーニング中の知覚的および敵対的損失のような高度な損失関数を組み込むことができないことなど、いくつかの固有の制限に直面している。 本稿では,最終的な再構築出力を直接最適化することで,トレーニングとサンプリングのプロセスを整合させる,革新的なエンドツーエンドトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-30T16:06:31Z)
• Exploring Learning Complexity for Efficient Downstream Dataset Pruning [8.990878450631596]
  既存のデータセットプルーニングメソッドでは、データセット全体のトレーニングが必要になる。 本稿では、DLC(Distorting-based Learning Complexity)という、単純で、新規で、トレーニング不要な難易度スコアを提案する。 本手法は,より高速に学習できるサンプルを少ないパラメータで学習できるという観察結果に動機付けられている。
  論文  参考訳（メタデータ） (2024-02-08T02:29:33Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
  本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。 最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。 提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
  論文  参考訳（メタデータ） (2021-11-26T18:44:59Z)
• FDDH: Fast Discriminative Discrete Hashing for Large-Scale Cross-Modal Retrieval [41.125141897096874]
  クロスモーダルハッシュはその有効性と効率性に好まれる。 既存のほとんどのメソッドは、ハッシュコードを学ぶ際に意味情報の識別力を十分に利用していない。 大規模クロスモーダル検索のためのFDDH(Fast Discriminative Discrete Hashing)手法を提案する。
  論文  参考訳（メタデータ） (2021-05-15T03:53:48Z)
• Fast Class-wise Updating for Online Hashing [196.14748396106955]
  本稿では,FCOH(Fast Class-wise Updating for Online Hashing)と呼ばれる新しいオンラインハッシュ方式を提案する。 クラスワイズ更新法は、バイナリコード学習を分解し、代わりにクラスワイズ方式でハッシュ関数を更新する。 オンラインの効率をより高めるために,異なるバイナリ制約を独立に扱うことで,オンライントレーニングを高速化する半緩和最適化を提案する。
  論文  参考訳（メタデータ） (2020-12-01T07:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。