論文の概要: Certified Training with Branch-and-Bound: A Case Study on Lyapunov-stable Neural Control

• arxiv url: http://arxiv.org/abs/2411.18235v1
• Date: Wed, 27 Nov 2024 11:12:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:27:26.853981
• Title: Certified Training with Branch-and-Bound: A Case Study on Lyapunov-stable Neural Control
• Title（参考訳）: ブランチ・アンド・バウンドによる認定トレーニング:リアプノフ安定神経制御の事例研究
• Authors: Zhouxing Shi, Cho-Jui Hsieh, Huan Zhang,
• Abstract要約: 我々は,CT-BaBという新しい,一般の認定トレーニングフレームワークを開発した。 比較的大きな関心領域を扱うために,我々は,ブランチ・アンド・バウンド(ブランチ・アンド・バウンド)のトレーニングタイムの新しい枠組みを提案する。 私たちの新しいトレーニングフレームワークは、テスト時により効率的に検証可能なモデルを生成することができることを実証しています。
• 参考スコア（独自算出の注目度）: 64.58719561861079
• License:
• Abstract: We study the problem of learning Lyapunov-stable neural controllers which provably satisfy the Lyapunov asymptotic stability condition within a region-of-attraction. Compared to previous works which commonly used counterexample guided training on this task, we develop a new and generally formulated certified training framework named CT-BaB, and we optimize for differentiable verified bounds, to produce verification-friendly models. In order to handle the relatively large region-of-interest, we propose a novel framework of training-time branch-and-bound to dynamically maintain a training dataset of subregions throughout training, such that the hardest subregions are iteratively split into smaller ones whose verified bounds can be computed more tightly to ease the training. We demonstrate that our new training framework can produce models which can be more efficiently verified at test time. On the largest 2D quadrotor dynamical system, verification for our model is more than 5X faster compared to the baseline, while our size of region-of-attraction is 16X larger than the baseline.
• Abstract（参考訳）: 本研究では、リアプノフの漸近安定性条件を確実に満たすリアプノフ安定型神経制御器の学習課題について検討する。 本研究は,本課題における反例指導トレーニングをよく用いた従来の研究と比較し,CT-BaBという新たな認証トレーニングフレームワークを開発し,検証に適したモデルを生成するために,検証可能な検証境界を最適化する。 比較的大きな関心領域を扱うために、トレーニングを通してサブリージョンのトレーニングデータセットを動的に維持する訓練時間分岐バウンドの新たなフレームワークを提案する。 私たちの新しいトレーニングフレームワークは、テスト時により効率的に検証可能なモデルを生成することができることを実証しています。 最大2次元二次力学系では,モデルの検証はベースラインよりも5倍以上高速であり,アトラクション領域のサイズはベースラインより16倍大きい。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• A Multi-Level Framework for Accelerating Training Transformer Models [5.268960238774481]
  大規模ディープラーニングモデルの訓練は、コンピューティングパワーに対する前例のない需要をもたらしている。 本稿では,Coalescing, De-Coalescing, Interpolation に基づく,加速度のトレーニングのためのマルチレベルフレームワークを提案する。 提案手法は,BERT/GPT-Baseモデルのトレーニングにおいて約20%,BERT-Largeモデルのトレーニングにおいて最大51.6%のコスト削減を実現する。
  論文  参考訳（メタデータ） (2024-04-07T03:04:34Z)
• Always-Sparse Training by Growing Connections with Guided Stochastic Exploration [46.4179239171213]
  本研究では,より大規模かつスペーサーなモデルへのスケーリングに優れる,効率的な常時スパーストレーニングアルゴリズムを提案する。 我々は,VGGモデルとVTモデルを用いて,CIFAR-10/100 と ImageNet の手法を評価し,様々なスペーサー化手法と比較した。
  論文  参考訳（メタデータ） (2024-01-12T21:32:04Z)
• TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
  パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。 結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-02T16:45:19Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• CURTAINs Flows For Flows: Constructing Unobserved Regions with Maximum Likelihood Estimation [0.0]
  両領域間の条件正規化フローをトレーニングすることでCURTAINs法を大幅に改善する。 CURTAINF4Fは、他の完全なデータ駆動アプローチよりも多くの信号領域をカバーするために、計算資源をかなり少なくする。
  論文  参考訳（メタデータ） (2023-05-08T11:58:49Z)
• Structured State Space Models for In-Context Reinforcement Learning [30.189834820419446]
  構造化状態空間列(S4)モデルは、最近、長距離シーケンスモデリングタスクにおいて最先端の性能を達成した。 隠れた状態を並列に初期化およびリセットできるS4の変種に対する修正を提案する。 変更したアーキテクチャはシーケンス長のTransformerよりも高速に動作し、単純なメモリベースのタスクでRNNよりもパフォーマンスがよいことを示す。
  論文  参考訳（メタデータ） (2023-03-07T15:32:18Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free [115.81899803240758]
  敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。 本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。 提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
  論文  参考訳（メタデータ） (2020-10-22T16:06:34Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。