論文の概要: On the Efficiency of Training Robust Decision Trees

• arxiv url: http://arxiv.org/abs/2507.10048v1
• Date: Mon, 14 Jul 2025 08:27:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:24.558277
• Title: On the Efficiency of Training Robust Decision Trees
• Title（参考訳）: ロバスト決定木の学習効率について
• Authors: Benedict Gerlach, Marie Anastacio, Holger H. Hoos,
• Abstract要約: 逆向きに堅牢な決定木を訓練するための簡単なパイプラインを考える。 直感や先行作業に頼るのではなく,簡単なアルゴリズムを導入する。 我々は、最先端の対人訓練法を訓練し、それらのトレーニング時間と対人精度の両方について評価する。
• 参考スコア（独自算出の注目度）: 4.918670721753085
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As machine learning gets adopted into the industry quickly, trustworthiness is increasingly in focus. Yet, efficiency and sustainability of robust training pipelines still have to be established. In this work, we consider a simple pipeline for training adversarially robust decision trees and investigate the efficiency of each step. Our pipeline consists of three stages. Firstly, we choose the perturbation size automatically for each dataset. For that, we introduce a simple algorithm, instead of relying on intuition or prior work. Moreover, we show that the perturbation size can be estimated from smaller models than the one intended for full training, and thus significant gains in efficiency can be achieved. Secondly, we train state-of-the-art adversarial training methods and evaluate them regarding both their training time and adversarial accuracy. Thirdly, we certify the robustness of each of the models thus obtained and investigate the time required for this. We find that verification time, which is critical to the efficiency of the full pipeline, is not correlated with training time.
• Abstract（参考訳）: 機械学習が急速に業界に採用されるにつれ、信頼性がますます重視されている。 しかし、堅牢なトレーニングパイプラインの効率性と持続性は依然として確立されなければならない。 本研究では,逆向きに頑健な決定木を学習するための簡単なパイプラインについて検討し,各ステップの効率性について検討する。 私たちのパイプラインは3つのステージで構成されています。 まず、各データセットに対して摂動サイズを自動的に選択する。 そのため、直感や事前の作業に頼るのではなく、単純なアルゴリズムを導入する。 さらに、フルトレーニングを意図したモデルよりも小さなモデルから摂動サイズを推定でき、効率の大幅な向上が達成できることを示す。 第2に、最先端の対人訓練法を訓練し、それらのトレーニング時間と対人精度の両方について評価する。 第3に、得られた各モデルのロバスト性を証明し、これに必要な時間を調べる。 完全なパイプラインの効率に重要な検証時間は、トレーニング時間と相関しないことがわかった。

関連論文リスト

• A Stable Whitening Optimizer for Efficient Neural Network Training [101.89246340672246]
  アルゴリズムのシャンプー系をベースとして,3つの重要な問題を同定・緩和し,SPlus法を提案する。 まず,行列逆が長期にわたってキャッシュされる場合,素早いシャンプーは分岐しがちであることがわかった。 第二に、ネットワーク幅をまたいで学習率の伝達を可能にするために、形状認識スケーリングを適用する。 第3に,高い学習率によってパラメータノイズが大きくなり,より高速な学習をブロックする簡単な反復学習方式を提案する。
  論文  参考訳（メタデータ） (2025-06-08T18:43:31Z)
• Scaling Laws and Compute-Optimal Training Beyond Fixed Training Durations [62.132347451049455]
  スケールは強力な機械学習モデルを得る上で重要な要素となっている。 本研究では,コサインのスケジュールに依存するため,スケールとトレーニングの研究は必然的に複雑である,と論じる。 その結果,重量平均化はトレーニングの軌道に沿って,異なるスケールでのトレーニングコストを伴わずに向上することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T17:33:54Z)
• Modeling of learning curves with applications to pos tagging [0.27624021966289597]
  トレーニングベース全体の学習曲線の進化を推定するアルゴリズムを導入する。 学習手法とは無関係に,所望のタイミングで探索値を反復的に近似する。 本提案は, 作業仮説に関して正式に正しいことを証明し, 信頼性の高い近接条件を含む。
  論文  参考訳（メタデータ） (2024-02-04T15:00:52Z)
• Benchmarking Neural Network Training Algorithms [52.890134877995195]
  トレーニングアルゴリズムは、ディープラーニングパイプラインに不可欠な部分です。 コミュニティとして、トレーニングアルゴリズムの改善を確実に特定することはできない。 固定ハードウェア上で実行される複数のワークロードを使用した,新たな,競争力のある,時間と時間のベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-06-12T15:21:02Z)
• A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking [54.89987482509155]
  ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。 画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。 それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-02-28T04:26:20Z)
• Adversarial Coreset Selection for Efficient Robust Training [11.510009152620666]
  トレーニングデータの小さなサブセットを選択することは、堅牢なトレーニングの時間的複雑さを軽減するための原則的なアプローチを提供する方法を示す。 本手法が敵の訓練を2～3回高速化することを示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-09-13T07:37:53Z)
• Efficient Training of Neural Transducer for Speech Recognition [44.99337868233026]
  スクラッチから高性能なニューラルトランスデューサモデルを構築するために,効率的な3段階プログレッシブトレーニングパイプラインを提案する。 提案されたパイプラインは,最先端のパフォーマンスに近づくトランスデューサモデルを,たった2～3週間で1つのGPUでトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-04-22T09:16:51Z)
• Curriculum Learning: A Regularization Method for Efficient and Stable Billion-Scale GPT Model Pre-Training [18.640076155697415]
  本稿では,自己回帰モデルによる事前学習の収束速度の向上を支援するカリキュラム学習に基づく手法を提案する。 評価の結果,カリキュラム学習により,バッチサイズが8倍,学習速度が4倍のGPT-2モデルを学習できることがわかった。
  論文  参考訳（メタデータ） (2021-08-13T06:32:53Z)
• Adversarial Training is Not Ready for Robot Learning [55.493354071227174]
  対人訓練は,ノルム有界摂動に耐性のあるディープラーニングモデルを訓練する有効な方法である。 敵訓練により得られたニューラルコントローラが3種類の欠陥を受けることを理論的および実験的に示す。 この結果から, ロボット学習にはまだ対応できていないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-15T07:51:31Z)
• How Important is the Train-Validation Split in Meta-Learning? [155.5088631672781]
  メタラーニングにおける一般的な実践は、前者がデータの1つの分割に対してタスクに適応し、その結果の予測器が別の分割に対して評価される列車バリデーション分割(emphtrain-val method)を実行することである。 有病率にもかかわらず、列車の改札の重要性は理論上も実際上もよく理解されていない。 そこで本研究では,実際のメタ学習タスクとシミュレーションの両方において,トレイン・トレイン法がトレイン・ヴァル法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-12T16:48:42Z)
• Improving the affordability of robustness training for DNNs [11.971637253035107]
  逆行訓練の初期段階は冗長であり、計算効率を大幅に向上させる自然な訓練に置き換えることができることを示す。 提案手法は, 各種敵攻撃の強みに対するモデルテスト精度と一般化により, 最大2.5倍の訓練時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2020-02-11T07:29:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。