論文の概要: Shifting-based Optimizable Linear Relaxations for General Activation Functions

• arxiv url: http://arxiv.org/abs/2606.20292v1
• Date: Thu, 18 Jun 2026 14:32:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.916756
• Title: Shifting-based Optimizable Linear Relaxations for General Activation Functions
• Title（参考訳）: 一般活性化関数に対するシフトベース最適線形緩和法
• Authors: Philipp Kern, László Antal, Erika Ábráham, Carsten Sinz,
• Abstract要約: 安全およびセキュリティクリティカル領域におけるニューラルネットワーク(NN)の新たな検証手法を開発した。 我々のアプローチ SLiR (Shifting-based Linear Relaxations) はリプシッツ定数や臨界点の集合だけを必要とする。 実験により、SLiRは様々な実用的なアクティベーション関数に対して厳密な緩和を発生し、最大7.8倍のプロパティの検証を可能にすることが示されている。
• 参考スコア（独自算出の注目度）: 0.2449909275410287
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The use of neural networks (NNs) is rapidly increasing, including in safety- and security-critical domains. To provide formal guarantees about NN behavior, many verification methods rely on optimizable linear relaxations of activation functions. However, existing techniques depend on hand-crafted relaxations for each activation function. Extension to state-of-the-art activation functions therefore requires substantial manual effort. In contrast, our approach SLiR (Shifting-based Linear Relaxations) is broadly applicable, requiring only a Lipschitz constant or a set of critical points. SLiR parameterizes relaxations by their slope and computes the corresponding offset via a shifting procedure that ensures sound upper and lower bounds over the input domain, enabling efficient optimization while maintaining correctness. Our experiments show that SLiR produces tight relaxations across a wide range of practical activation functions and enables verification of up to 7.8x more properties compared to state-of-the-art methods.
• Abstract（参考訳）: 安全およびセキュリティクリティカルなドメインを含むニューラルネットワーク(NN)の利用は急速に増加している。 NN動作に関する公式な保証を提供するため、多くの検証手法は、活性化関数の最適化可能な線形緩和に依存している。 しかし、既存の技術はアクティベーション関数ごとに手作りの緩和に依存している。 したがって、最先端のアクティベーション関数の拡張には、かなりの手作業が必要である。 対照的に、我々のアプローチ SLiR (Shifting-based Linear Relaxations) は広く適用でき、リプシッツ定数や臨界点の集合だけを必要とする。 SLiRは、傾きによる緩和をパラメータ化し、入力領域上の音の上下境界を保証するシフト処理によって対応するオフセットを計算し、正確性を維持しながら効率的な最適化を可能にする。 実験により,SLiRは多種多様なアクティベーション関数に対して厳密な緩和効果を示し,最先端の手法と比較して最大7.8倍の特性の検証が可能であった。

関連論文リスト

• Efficient Differentiable Approximation of Generalized Low-rank Regularization [64.73416824444328]
  低ランク正規化(LRR)は様々な機械学習タスクに広く応用されている。 本稿では,LRRの効率的な微分可能近似を提案する。
  論文  参考訳（メタデータ） (2025-05-21T11:49:17Z)
• Achieving the Tightest Relaxation of Sigmoids for Formal Verification [9.118502451414082]
  本稿では,シグイド関数の上下の調整可能な超平面を導出する。 $alpha$-sigにより、Sigoidアクティベーション関数の可能な、要素単位の凸緩和を形式的な検証フレームワークに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2024-08-20T02:22:27Z)
• Nonlinearity Enhanced Adaptive Activation Functions [0.0]
  標準正則線形単位(ReLU)に基づく例を示す。 関連する精度の改善は、MNIST桁データセットのコンテキストと畳み込みニューラルネットワーク(CNN)ベンチマークの例の両方で定量化される。
  論文  参考訳（メタデータ） (2024-03-29T00:33:37Z)
• Pessimistic Nonlinear Least-Squares Value Iteration for Offline Reinforcement Learning [53.97335841137496]
  非線形関数近似を用いたオフラインRLにおけるPNLSVI(Pessimistic Least-Square Value Iteration)と呼ばれるオラクル効率のアルゴリズムを提案する。 本アルゴリズムは,関数クラスの複雑性に強く依存する後悔境界を享受し,線形関数近似に特化して最小限のインスタンス依存後悔を実現する。
  論文  参考訳（メタデータ） (2023-10-02T17:42:01Z)
• Active Nearest Neighbor Regression Through Delaunay Refinement [79.93030583257597]
  近接回帰に基づく能動関数近似アルゴリズムを提案する。 我々のActive Nearest Neighbor Regressor (ANNR) は計算幾何学の Voronoi-Delaunay フレームワークに頼り、空間を一定の関数値のセルに分割する。
  論文  参考訳（メタデータ） (2022-06-16T10:24:03Z)
• Efficient Neural Network Analysis with Sum-of-Infeasibilities [64.31536828511021]
  凸最適化における総和係数法に着想を得て,広範な分岐関数を持つネットワーク上での検証クエリを解析するための新しい手法を提案する。 標準ケース分析に基づく完全探索手順の拡張は、各検索状態で実行される凸手順をDeepSoIに置き換えることによって達成できる。
  論文  参考訳（メタデータ） (2022-03-19T15:05:09Z)
• LinSyn: Synthesizing Tight Linear Bounds for Arbitrary Neural Network Activation Functions [4.03308187036005]
  LinSyn は任意の任意の活性化関数に対して厳密な境界を達成する最初のアプローチである。 提案手法は,2～5倍の出力バウンダリと4倍以上の信頼性を達成できることを示す。
  論文  参考訳（メタデータ） (2022-01-31T17:00:50Z)
• Optimistic Policy Optimization is Provably Efficient in Non-stationary MDPs [113.8752163061151]
  非定常線形カーネルマルコフ決定過程(MDP)におけるエピソード強化学習(RL)の研究 線形最適化アンダーライン最適化アルゴリズム(PROPO)を提案する。 PROPOはスライディングウィンドウベースのポリシー評価と周期的リスタートベースのポリシー改善の2つのメカニズムを特徴としている。
  論文  参考訳（メタデータ） (2021-10-18T02:33:20Z)
• Investigating the interaction between gradient-only line searches and different activation functions [0.0]
  勾配専用線探索(GOLS)は、ニューラルネットワークトレーニングにおける不連続損失関数の探索方向に沿ったステップサイズを適応的に決定する。 GOLSは様々なアクティベーション機能に対して堅牢であるが,標準フィードフォワードアーキテクチャにおけるRectified Linear Unit(ReLU)アクティベーション機能に敏感であることがわかった。
  論文  参考訳（メタデータ） (2020-02-23T12:28:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。