論文の概要: CTBENCH: A Library and Benchmark for Certified Training

• arxiv url: http://arxiv.org/abs/2406.04848v2
• Date: Thu, 10 Oct 2024 10:13:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-11 14:29:11.461353
• Title: CTBENCH: A Library and Benchmark for Certified Training
• Title（参考訳）: CTBENCH: 認定トレーニングのためのライブラリとベンチマーク
• Authors: Yuhao Mao, Stefan Balauca, Martin Vechev,
• Abstract要約: 認定トレーニングのための高品質なベンチマークであるCTBENCHを紹介する。 CTBENCHのほぼ全てのアルゴリズムが、文学における報告された性能を上回っていることを示す。
• 参考スコア（独自算出の注目度）: 2.4829062265865764
• License:
• Abstract: Training certifiably robust neural networks is an important but challenging task. While many algorithms for (deterministic) certified training have been proposed, they are often evaluated on different training schedules, certification methods, and systematically under-tuned hyperparameters, making it difficult to compare their performance. To address this challenge, we introduce CTBENCH, a unified library and a high-quality benchmark for certified training that evaluates all algorithms under fair settings and systematically tuned hyperparameters. We show that (1) almost all algorithms in CTBENCH surpass the corresponding reported performance in literature in the magnitude of algorithmic improvements, thus establishing new state-of-the-art, and (2) the claimed advantage of recent algorithms drops significantly when we enhance the outdated baselines with a fair training schedule, a fair certification method and well-tuned hyperparameters. Based on CTBENCH, we provide new insights into the current state of certified training and suggest future research directions. We are confident that CTBENCH will serve as a benchmark and testbed for future research in certified training.
• Abstract（参考訳）: 確実に堅牢なニューラルネットワークのトレーニングは重要だが、難しい課題だ。 多くの(決定論的)認定トレーニングのためのアルゴリズムが提案されているが、異なるトレーニングスケジュール、認定方法、体系的に過度に調整されたハイパーパラメータで評価されることが多く、性能の比較が困難である。 この課題に対処するために、我々はCTBENCHを導入し、統一ライブラリと認定トレーニングのための高品質なベンチマークを導入し、全てのアルゴリズムを公平な設定で評価し、体系的にハイパーパラメータを調整した。 CTBENCHのほぼ全てのアルゴリズムが,アルゴリズム改良の規模で文献に報告された性能を上回り,新たな最先端のアルゴリズムを確立すること,そして(2)公正なトレーニングスケジュール,公正な認証方法,そして十分に調整されたハイパーパラメータで,時代遅れのベースラインを強化する際に,最近のアルゴリズムの主張する利点は著しく低下することを示す。 CTBENCHに基づき、認定訓練の現状に関する新たな知見を提供し、今後の研究方向性を提案する。 CTBENCHがベンチマークとして機能し、将来の認定トレーニング研究のためのテストベッドになると確信しています。

関連論文リスト

• No Train No Gain: Revisiting Efficient Training Algorithms For Transformer-based Language Models [31.080446886440757]
  本稿では、動的アーキテクチャ(レイヤの積み重ね、ドロップ)、バッチ選択(選択的バックプロップ、ROH損失)、効率的なレイヤ(Lion, Sophia)の3つのカテゴリを再検討する。 トレーニング,検証,ダウンストリームのゲインが,完全に遅延した学習率のベースラインに比べて消失していることが分かりました。 我々は、全ての計算時間を参照システム時間と呼ぶ参照マシンにマッピングすることで、任意の計算でマシンを実行できる評価プロトコルを定義した。
  論文  参考訳（メタデータ） (2023-07-12T20:10:14Z)
• Benchmarking Neural Network Training Algorithms [46.39165332979669]
  トレーニングアルゴリズムは、ディープラーニングパイプラインに不可欠な部分です。 コミュニティとして、トレーニングアルゴリズムの改善を確実に特定することはできない。 固定ハードウェア上で実行される複数のワークロードを使用した,新たな,競争力のある,時間と時間のベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-06-12T15:21:02Z)
• A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
  予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。 シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-16T00:11:04Z)
• Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
  クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。 表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
  論文  参考訳（メタデータ） (2022-06-16T11:44:11Z)
• COPA: Certifying Robust Policies for Offline Reinforcement Learning against Poisoning Attacks [49.15885037760725]
  本研究は, 中毒発生時におけるオフライン強化学習(RL)の堅牢性を検証することに注力する。 本報告では, 許容可能な毒素トラジェクトリの数を認証する最初の認証フレームワークであるCOPAを提案する。 提案手法のいくつかは理論的に厳密であり,一部はNP-Complete問題であることを示す。
  論文  参考訳（メタデータ） (2022-03-16T05:02:47Z)
• Label, Verify, Correct: A Simple Few Shot Object Detection Method [93.84801062680786]
  トレーニングセットから高品質な擬似アノテーションを抽出するための簡単な擬似ラベリング手法を提案する。 擬似ラベリングプロセスの精度を向上させるための2つの新しい手法を提案する。 提案手法は,既存手法と比較して,最先端ないし第2の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-10T18:59:06Z)
• An Automated Knowledge Mining and Document Classification System with Multi-model Transfer Learning [1.1852751647387592]
  サービスマニュアル文書は、サービスエンジニアにガイドラインと知識を提供するため、エンジニアリング会社にとって不可欠である。 本稿では,新しい多モデル移動学習手法を用いた知識マイニングと文書分類システムを提案する。
  論文  参考訳（メタデータ） (2021-06-24T03:03:46Z)
• Training ELECTRA Augmented with Multi-word Selection [53.77046731238381]
  本稿では,マルチタスク学習に基づくELECTRAの改良を目的としたテキストエンコーダ事前学習手法を提案する。 具体的には、識別器を訓練し、置換トークンを同時に検出し、候補集合から元のトークンを選択する。
  論文  参考訳（メタデータ） (2021-05-31T23:19:00Z)
• Regularized Training and Tight Certification for Randomized Smoothed Classifier with Provable Robustness [15.38718018477333]
  我々は新たな正規化リスクを導出し、正規化器はスムーズな手法の精度と堅牢性を適応的に促進することができる。 また、正規化効果を利用して、高い確率で保持されるより厳密なロバスト性の下限を提供する新しい認証アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-02-17T20:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。