論文の概要: Neural Group Testing to Accelerate Deep Learning

• arxiv url: http://arxiv.org/abs/2011.10704v2
• Date: Sun, 9 May 2021 23:03:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 22:59:09.053343
• Title: Neural Group Testing to Accelerate Deep Learning
• Title（参考訳）: ディープラーニングを加速するニューラルグループテスト
• Authors: Weixin Liang, James Zou
• Abstract要約: 既存の研究は主に、ニューラルネットワークの各前方通過を加速することに焦点を当てている。 我々は,1つの前列パスでサンプルのグループをテストすることで,加速するニューラルグループテストを提案する。 ニューラルグループテストでは、1回のパスで最大16のイメージをグループ化でき、全体のコストを73%以上削減できることがわかった。
• 参考スコア（独自算出の注目度）: 20.09404891618634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in deep learning have made the use of large, deep neural networks with tens of millions of parameters. The sheer size of these networks imposes a challenging computational burden during inference. Existing work focuses primarily on accelerating each forward pass of a neural network. Inspired by the group testing strategy for efficient disease testing, we propose neural group testing, which accelerates by testing a group of samples in one forward pass. Groups of samples that test negative are ruled out. If a group tests positive, samples in that group are then retested adaptively. A key challenge of neural group testing is to modify a deep neural network so that it could test multiple samples in one forward pass. We propose three designs to achieve this without introducing any new parameters and evaluate their performances. We applied neural group testing in an image moderation task to detect rare but inappropriate images. We found that neural group testing can group up to 16 images in one forward pass and reduce the overall computation cost by over 73% while improving detection performance.
• Abstract（参考訳）: 近年のディープラーニングの進歩により、数千万のパラメータを持つ大規模深層ニューラルネットワークが使用されている。 これらのネットワークの大きさは、推論中に難しい計算負担を課す。 既存の研究は主にニューラルネットワークの各フォワードパスの高速化に重点を置いている。 効率的な疾患検査のための群検定戦略に着想を得て, 群検定を1回前向きに行うことにより, グループ検定を高速化するニューラル群検定法を提案する。 陰性検査を行うサンプルのグループは除外される。 グループが陽性であれば、そのグループのサンプルは適応的に再テストされる。 ニューラルグループテストの重要な課題は、ディープニューラルネットワークを1回のフォワードパスで複数のサンプルをテストできるように修正することだ。 新たなパラメータを導入せず,性能評価を行う3つの設計を提案する。 画像モデレーションタスクにニューラルグループテストを適用し,まれだが不適切な画像を検出する。 ニューラルグループテストでは,1回のフォワードパスで最大16イメージをグループ化でき,全体の計算コストが73%以上削減され,検出性能が向上した。

関連論文リスト

• Training Guarantees of Neural Network Classification Two-Sample Tests by Kernel Analysis [58.435336033383145]
  2つのデータセットが同じ分布から来たかどうかを判断するために、ニューラルネットワークの2サンプルテストを構築し、分析する。 NTK2サンプルテストがデータセット間の偏差レベルを検出するのに必要となる、理論的に最小限のトレーニング時間を導出する。 ニューラルネットワークのトレーニングサンプルとテスト評価サンプルが無限に近づくにつれて、ニューラルネットワークの2サンプルテストに関連する統計的パワーは1になる。
  論文  参考訳（メタデータ） (2024-07-05T18:41:16Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Adversarial Sampling for Fairness Testing in Deep Neural Network [0.0]
  与えられたデータセット内のさまざまなクラスの画像にわたるディープニューラルネットワークモデルの予測において、公正性をテストするための逆サンプリング。 我々は、元の画像でニューラルネットワークモデルを訓練し、摂動または攻撃された画像でモデルをトレーニングすることはなかった。 モデルに逆方向サンプリングを施すと、逆方向サンプルが属する画像のもともとのカテゴリ/クラスを予測することができた。
  論文  参考訳（メタデータ） (2023-03-06T03:55:37Z)
• TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
  本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。 ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-18T05:43:06Z)
• Revisiting Gaussian Neurons for Online Clustering with Unknown Number of Clusters [0.0]
  参照するクラスタ数の最大限のオンラインクラスタリングを行う、新しいローカルラーニングルールが提示される。 実験結果は,学習パラメータの安定性を多数のトレーニングサンプルで実証した。
  論文  参考訳（メタデータ） (2022-05-02T14:01:40Z)
• The Compact Support Neural Network [6.47243430672461]
  本研究では, 標準ドット生成物に基づくニューロンとRBFニューロンを, 形状パラメータの2つの極端な場合として提示する。 トレーニングされた標準ニューラルネットワークから始めて、必要な値まで形状パラメータを徐々に増加させることで、そのようなニューロンによるニューラルネットワークのトレーニングの難しさを回避する方法を示す。
  論文  参考訳（メタデータ） (2021-04-01T06:08:09Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Group Testing with a Graph Infection Spread Model [61.48558770435175]
  感染は個人間のつながりを通じて広がり、その結果、確率的クラスター形成構造と、個人に対する非i.d.感染状態が生じる。 そこで本研究では,既知の確率的感染拡散モデルを利用する2段階のサンプルグループテストアルゴリズムを提案する。 その結果, 感染率が高い場合でも, 集団検査により必要な検査数を大幅に削減できることが示唆された。
  論文  参考訳（メタデータ） (2021-01-14T18:51:32Z)
• Testing for Normality with Neural Networks [0.0]
  フィードフォワードニューラルネットワークを構築し,その小さなサンプルを検査することで,正常な分布を正確に検出する。 ネットワークの精度は250-1000要素のより大きなサンプルのセットで96%以上であった。
  論文  参考訳（メタデータ） (2020-09-29T07:35:40Z)
• Noisy Adaptive Group Testing using Bayesian Sequential Experimental Design [63.48989885374238]
  病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。 本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
  論文  参考訳（メタデータ） (2020-04-26T23:41:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。