論文の概要: Uncovering the Limits of Proof Sharing for Neural Networks
- arxiv url: http://arxiv.org/abs/2608.19351v2
- Date: Tue, 25 Aug 2026 23:52:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:14.765046
- Title: Uncovering the Limits of Proof Sharing for Neural Networks
- Title(参考訳): ニューラルネットワークにおける証明共有の限界を明らかにする
- Authors: Kanak Das, Shubham Ugare, Bor-Yuh Evan Chang, Sasa Misailovic, Gagandeep Singh, Manu Sridharan,
- Abstract要約: テンプレートベースのアクセラレーションの有効性と限界について検討する。
我々は、ニューラルネットワーク層にまたがってテンプレートを自動的に分散する新しいテクニックであるFastCertを紹介する。
FastCertは、既存のテンプレートベースの再利用技術で平均1.13倍のスピードアップを達成した。
- 参考スコア(独自算出の注目度): 11.93611847716769
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robustness verification of neural networks is increasingly important, due to their use in many critical domains. In certain scenarios, proof sharing has been shown to accelerate incomplete verification techniques by reusing intermediate-layer abstract states, or templates, across queries. However, questions remain as to the robustness of template-based acceleration across varying network architectures, properties, datasets, and training methods. In this work, we perform a systematic study of the effectiveness of template-based acceleration and its limits. Our study shows that template subsumption rates can vary widely across scenarios. We present a novel metric of jointly stable neurons to explain this variation, showing that in some cases template-based techniques are very unlikely to provide any speedup. Then, we present FastCert, a novel technique for automatically distributing templates across neural network layers to increase performance impact, eschewing templates entirely if they are unlikely to produce a speedup. Across a large set of covering-design based $L_0$-verification tasks, FastCert achieved an average speedup of 1.13x over an extant template-based reuse technique.
- Abstract(参考訳): ニューラルネットワークのロバスト性検証は、多くの重要なドメインで使用されているため、ますます重要になっている。
あるシナリオでは、中間層抽象状態(テンプレート)をクエリ間で再利用することにより、証明共有が不完全な検証テクニックを加速することが示されている。
しかしながら、さまざまなネットワークアーキテクチャ、プロパティ、データセット、トレーニングメソッドにわたるテンプレートベースのアクセラレーションの堅牢性については、依然として疑問が残る。
本研究では,テンプレートベースのアクセラレーションの有効性とその限界について,系統的研究を行った。
本研究は,テンプレートの昇降率がシナリオによって大きく異なることを示す。
この変動を説明するために、新しい安定なニューロンのメトリクスを提示し、テンプレートベースの手法がスピードアップをもたらす可能性が極めて低いことを示す。
次に、我々は、ニューラルネットワーク層にまたがってテンプレートを自動的に分散してパフォーマンスへの影響を増大させる新しいテクニックであるFastCertを紹介します。
多くのカバーデザインベースの$L_0$-verificationタスクの中で、FastCertは既存のテンプレートベースの再利用技術よりも平均1.13倍のスピードアップを達成した。
関連論文リスト
- The critical slowing down in diffusion models [8.207196072624464]
パラメータ学習において,正確な解と一致する1層ネットワークアーキテクチャを用いてスコアモデルをトレーニングすると,パラメータ学習における臨界速度低下の一形態が示される。
この速度低下は生成過程にも影響し、学習された生成モデルでさえ、臨界点近くをサンプリングすることのよく知られた困難さが持続することを示している。
2層アーキテクチャを使用することで、システムサイズを2次的にではなく、対数的にスケールするトレーニング時間によって、致命的な遅延を劇的に削減できることがわかった。
論文 参考訳(メタデータ) (2026-05-12T18:00:02Z) - A Survey on Cache Methods in Diffusion Models: Toward Efficient Multi-Modal Generation [15.689880312464004]
拡散モデルは、異常な生成品質と制御性のために、現代の生成AIの基盤となっている。
Diffusion Cachingは、トレーニングのない、アーキテクチャに依存しない、効率的な推論パラダイムを提供する。
計算機能レベルのクロスステップの再利用と層間スケジューリングを有効にすることにより、モデルパラメータを変更することなく削減できる。
論文 参考訳(メタデータ) (2025-10-22T16:46:05Z) - Predictive Feature Caching for Training-free Acceleration of Molecular Geometry Generation [67.20779609022108]
フローマッチングモデルは、高忠実度分子ジオメトリを生成するが、推論中にかなりの計算コストを発生させる。
本研究は,分子幾何生成を加速する学習自由キャッシング戦略について論じる。
GEOM-Drugsデータセットの実験は、キャッシングがウォールクロックの推測時間の2倍の削減を実現することを示した。
論文 参考訳(メタデータ) (2025-10-06T09:49:14Z) - Towards a Real-Time Simulation of Elastoplastic Deformation Using Multi-Task Neural Networks [0.0]
本研究では, 適切な分解, 長期記憶ネットワーク, マルチタスク学習を組み合わせ, 弾塑性変形をリアルタイムで正確に予測するサロゲート・モデリング・フレームワークを提案する。
このフレームワークは、様々な状態変数に対して0.40%未満の平均絶対誤差を達成する。
我々の場合、事前訓練されたマルチタスクモデルでは、20のサンプルしか持たない追加変数を効果的にトレーニングすることができ、複雑なシナリオの深い理解を示すことができます。
論文 参考訳(メタデータ) (2024-11-08T14:04:17Z) - Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳(メタデータ) (2024-06-14T13:12:07Z) - QuEST: Low-bit Diffusion Model Quantization via Efficient Selective Finetuning [52.157939524815866]
本稿では,不均衡な活性化分布を量子化困難の原因として同定する。
我々は,これらの分布を,より量子化しやすいように微調整することで調整することを提案する。
本手法は3つの高解像度画像生成タスクに対して有効性を示す。
論文 参考訳(メタデータ) (2024-02-06T03:39:44Z) - Contextualizing MLP-Mixers Spatiotemporally for Urban Data Forecast at Scale [54.15522908057831]
本稿では,STTD予測を大規模に行うためのコンピュータ・ミクサーの適応版を提案する。
我々の結果は、この単純な効率の良いソリューションが、いくつかのトラフィックベンチマークでテストした場合、SOTAベースラインに匹敵する可能性があることを驚くほど示している。
本研究は, 実世界のSTTD予測において, 簡便な有効モデルの探索に寄与する。
論文 参考訳(メタデータ) (2023-07-04T05:19:19Z) - Automated and Formal Synthesis of Neural Barrier Certificates for
Dynamical Models [70.70479436076238]
バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。
このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。
その結果,音のBCsを最大2桁の速度で合成できることがわかった。
論文 参考訳(メタデータ) (2020-07-07T07:39:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。