Fugu-MT 論文翻訳(概要): Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference

論文の概要: Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference

arxiv url: http://arxiv.org/abs/2002.10025v2
Date: Tue, 25 Feb 2020 03:27:42 GMT
ステータス: 処理完了
システム内更新日: 2022-12-29 03:19:31.469594
Title: Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference
Title（参考訳）: Triple Wins:入力適応推論の導入による精度、ロバスト性、効率の向上
Authors: Ting-Kuei Hu, Tianlong Chen, Haotao Wang, Zhangyang Wang
Abstract要約: 深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
参考スコア（独自算出の注目度）: 119.19779637025444
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep networks were recently suggested to face the odds between accuracy (on clean natural images) and robustness (on adversarially perturbed images) (Tsipras et al., 2019). Such a dilemma is shown to be rooted in the inherently higher sample complexity (Schmidt et al., 2018) and/or model capacity (Nakkiran, 2019), for learning a high-accuracy and robust classifier. In view of that, give a classification task, growing the model capacity appears to help draw a win-win between accuracy and robustness, yet at the expense of model size and latency, therefore posing challenges for resource-constrained applications. Is it possible to co-design model accuracy, robustness and efficiency to achieve their triple wins? This paper studies multi-exit networks associated with input-adaptive efficient inference, showing their strong promise in achieving a "sweet point" in cooptimizing model accuracy, robustness and efficiency. Our proposed solution, dubbed Robust Dynamic Inference Networks (RDI-Nets), allows for each input (either clean or adversarial) to adaptively choose one of the multiple output layers (early branches or the final one) to output its prediction. That multi-loss adaptivity adds new variations and flexibility to adversarial attacks and defenses, on which we present a systematical investigation. We show experimentally that by equipping existing backbones with such robust adaptive inference, the resulting RDI-Nets can achieve better accuracy and robustness, yet with over 30% computational savings, compared to the defended original models.
Abstract（参考訳）: 深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)堅牢性(Tsipras et al., 2019)の相違に直面することが最近提案された。このようなジレンマは、本質的に高いサンプル複雑性(schmidt et al., 2018)と/またはモデル能力(nakkiran, 2019)に根ざしており、高精度でロバストな分類法を学ぶことができる。分類タスクを与えると、モデルのキャパシティを増大させることは、正確性と堅牢性の間に勝利をもたらすように見えるが、モデルサイズとレイテンシを犠牲にして、リソース制約のあるアプリケーションに挑戦する。モデルの正確性、堅牢性、効率性を同時に設計することで、3勝を達成できるだろうか? 本稿では,入力適応型効率的推論に関連するマルチエクイットネットワークについて検討し,モデルの精度,ロバスト性,効率を共最適化する上での「スイートポイント」を達成する上で,その強い期待を示す。提案手法はロバスト動的推論ネットワーク(rdi-nets)と呼ばれ、各入力(クリーンでも逆でも)が複数の出力層(初期分枝か最終分枝)の1つを適応的に選択してその予測を出力する。マルチロス適応性は、敵の攻撃や防御に新たなバリエーションと柔軟性を与え、体系的な調査を提示する。既存のバックボーンにこのようなロバストな適応推論を組み合わせることで、rdi-netの精度と堅牢性は向上するが、従来のモデルと比較して30%以上の計算節約が可能となることを実験的に示した。

関連論文リスト

Revisiting Cascaded Ensembles for Efficient Inference [32.914852531806]
機械学習推論をより効率的にするための一般的なアプローチは、サンプル固有の適応スキームを使用することである。本研究では適応推論の簡単なスキームについて検討する。私たちは、資源効率の良いモデルから始まり、より大きくより表現力のあるモデルへと成長する、アンサンブルのカスケード(CoE)を構築します。
論文参考訳（メタデータ） (2024-07-02T15:14:12Z)
MixedNUTS: Training-Free Accuracy-Robustness Balance via Nonlinearly Mixed Classifiers [41.56951365163419]
MixedNUTSは、ロバストな分類器の出力ロジットを3つのパラメータしか持たない非線形変換で処理する訓練不要の手法である。 MixedNUTSは変換されたロジットを確率に変換し、それらを全体の出力として混合する。 CIFAR-10、CIFAR-100、ImageNetデータセットでは、MixedNUTSの精度とほぼSOTAの堅牢性を大幅に改善した。
論文参考訳（メタデータ） (2024-02-03T21:12:36Z)
Towards Certified Probabilistic Robustness with High Accuracy [3.957941698534126]
Adrialの例は、ニューラルネットワーク上に構築された多くのクリティカルシステムに対して、セキュリティ上の脅威となる。確実に堅牢で正確なニューラルネットワークモデルを構築する方法はまだオープンな問題だ。本稿では,高い精度と高い確率ロバスト性を実現することを目的とした新しいアプローチを提案する。
論文参考訳（メタデータ） (2023-09-02T09:39:47Z)
RoMa: Robust Dense Feature Matching [17.015362716393216]
特徴マッチングは、3Dシーンの2つの画像間の対応を推定する重要なコンピュータビジョンタスクである。基礎モデルであるDINOv2の凍結事前学習機能を利用するモデルを提案する。頑健性をさらに向上するために, 整列型トランスフォーマーマッチングデコーダを提案する。
論文参考訳（メタデータ） (2023-05-24T17:59:04Z)
Design and Prototyping Distributed CNN Inference Acceleration in Edge Computing [85.74517957717363]
HALPはエッジコンピューティングにおけるエッジデバイス(ED)間のシームレスなコラボレーションを設計することで推論を加速する。実験により、分散推論HALPはVGG-16に対して1.7倍の推論加速を達成することが示された。分散推論HALPを用いたモデル選択は,サービスの信頼性を著しく向上させることができる。
論文参考訳（メタデータ） (2022-11-24T19:48:30Z)
SVNet: Where SO(3) Equivariance Meets Binarization on Point Cloud Representation [65.4396959244269]
本論文は,3次元学習アーキテクチャを構築するための一般的なフレームワークを設計することによる課題に対処する。提案手法はPointNetやDGCNNといった一般的なバックボーンに適用できる。 ModelNet40、ShapeNet、および実世界のデータセットであるScanObjectNNの実験では、この手法が効率、回転、精度の間の大きなトレードオフを達成することを示した。
論文参考訳（メタデータ） (2022-09-13T12:12:19Z)
Deep Ensembles Work, But Are They Necessary? [19.615082441403946]
ニューラルネットワークの組み立ては、精度を高める効果的な方法である。最近の研究は、深いアンサンブルが予測力以上の利益をもたらす可能性を示唆している。単一の(しかし大きな)ニューラルネットワークが、これらの品質を複製できることが示されています。
論文参考訳（メタデータ） (2022-02-14T19:01:01Z)
PDC-Net+: Enhanced Probabilistic Dense Correspondence Network [161.76275845530964]
高度確率密度対応ネットワーク(PDC-Net+)は、精度の高い高密度対応を推定できる。我々は、堅牢で一般化可能な不確実性予測に適したアーキテクチャと強化されたトレーニング戦略を開発する。提案手法は,複数の挑戦的幾何マッチングと光学的フローデータセットに対して,最先端の結果を得る。
論文参考訳（メタデータ） (2021-09-28T17:56:41Z)
Efficient Person Search: An Anchor-Free Approach [86.45858994806471]
パーソンサーチは、クエリーの人物を、リアルで切り刻まれていない画像から、同時にローカライズし、識別することを目的としている。この目標を達成するために、最先端モデルは通常、Faster R-CNNのような2段階検出器にre-idブランチを追加する。本研究では,この課題に対処するためのアンカーフリーな手法を提案する。
論文参考訳（メタデータ） (2021-09-01T07:01:33Z)
Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。