Fugu-MT 論文翻訳(概要): Compressive Learning of Generative Networks

論文の概要: Compressive Learning of Generative Networks

arxiv url: http://arxiv.org/abs/2002.05095v2
Date: Mon, 2 Mar 2020 10:52:43 GMT
ステータス: 処理完了
システム内更新日: 2023-01-01 19:21:15.545393
Title: Compressive Learning of Generative Networks
Title（参考訳）: 生成ネットワークの圧縮学習
Authors: Vincent Schellekens and Laurent Jacques
Abstract要約: 我々は,最近の圧縮学習の枠組みに生成ネットワークトレーニングを取り入れた。まず,1回のスケッチベクトルとして1回のパスで圧縮することで,大規模データセットの計算負担を低減する。
参考スコア（独自算出の注目度）: 13.704881067616995
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Generative networks implicitly approximate complex densities from their sampling with impressive accuracy. However, because of the enormous scale of modern datasets, this training process is often computationally expensive. We cast generative network training into the recent framework of compressive learning: we reduce the computational burden of large-scale datasets by first harshly compressing them in a single pass as a single sketch vector. We then propose a cost function, which approximates the Maximum Mean Discrepancy metric, but requires only this sketch, which makes it time- and memory-efficient to optimize.
Abstract（参考訳）: 生成ネットワークは、サンプリングした複雑な密度を印象的な精度で暗黙的に近似する。しかし、現代のデータセットの膨大な規模のため、このトレーニングプロセスはしばしば計算コストがかかる。我々は,1回のスケッチベクトルとして1回のパスで圧縮することで,大規模データセットの計算負担を軽減することで,最近の圧縮学習の枠組みに生成ネットワークトレーニングを取り入れた。次に、最大平均離散度を近似したコスト関数を提案するが、このスケッチしか必要とせず、時間とメモリ効率を最適化する。

関連論文リスト

A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks [81.2624272756733]
密集検索では、ディープエンコーダは入力とターゲットの両方に埋め込みを提供する。我々は、古いキャッシュされたターゲット埋め込みを調整できる小さなパラメトリック補正ネットワークを訓練する。私たちのアプローチは、トレーニング中にターゲット埋め込み更新が行われなくても、最先端の結果と一致します。
論文参考訳（メタデータ） (2024-09-03T13:29:13Z)
Randomized Polar Codes for Anytime Distributed Machine Learning [66.46612460837147]
本稿では,低速な計算ノードに対して堅牢で,線形演算の近似計算と精度の両立が可能な分散コンピューティングフレームワークを提案する。本稿では,復号化のための計算複雑性を低く保ちながら,実数値データを扱うための逐次復号アルゴリズムを提案する。大規模行列乗算やブラックボックス最適化など,様々な文脈において,このフレームワークの潜在的な応用を実証する。
論文参考訳（メタデータ） (2023-09-01T18:02:04Z)
Dataset Condensation with Distribution Matching [30.571335208276246]
データセットの凝縮は、元々の大きなトレーニングセットを、はるかに小さな学習された合成セットに置き換えることを目的としている。トレーニングコストを大幅に削減する,単純かつ効果的なデータセット凝縮手法を提案する。その効率により、我々はより現実的で大規模なデータセットに適用し、洗練されたニューラルアーキテクチャを持つ。
論文参考訳（メタデータ） (2021-10-08T15:02:30Z)
Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
論文参考訳（メタデータ） (2020-12-24T19:34:56Z)
A Partial Regularization Method for Network Compression [0.0]
本稿では, モデル圧縮を高速に行うために, 完全正則化と言われる全てのパラメータをペナライズする元の形式ではなく, 部分正則化のアプローチを提案する。実験結果から, ほぼすべての状況において, 走行時間の減少を観測することにより, 計算複雑性を低減できることが示唆された。驚くべきことに、複数のデータセットのトレーニングフェーズとテストフェーズの両方において、回帰フィッティング結果や分類精度などの重要な指標を改善するのに役立ちます。
論文参考訳（メタデータ） (2020-09-03T00:38:27Z)
Improving compute efficacy frontiers with SliceOut [31.864949424541344]
SliceOut - 最終テスト精度に影響を与えることなく、ディープラーニングモデルを高速にトレーニングするためのドロップアウトインスパイアされたスキームだ。テスト時に、SliceOutをオフにすると、テストの正確性を保持する一連のアーキテクチャに暗黙のアンサンブルが実行される。これにより、大規模な計算ワークロード全体の処理が高速化され、結果として生じるエネルギー消費とCO2エミッションが大幅に削減される。
論文参考訳（メタデータ） (2020-07-21T15:59:09Z)
Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文参考訳（メタデータ） (2020-06-22T10:57:43Z)
On Coresets for Support Vector Machines [61.928187390362176]
coresetは、元のデータポイントの小さな、代表的なサブセットである。我々は,本アルゴリズムを用いて,既製のSVMソルバをストリーミング,分散,動的データ設定に適用可能であることを示す。
論文参考訳（メタデータ） (2020-02-15T23:25:12Z)
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。