論文の概要: Safety Performance of Neural Networks in the Presence of Covariate Shift

• arxiv url: http://arxiv.org/abs/2307.12716v1
• Date: Mon, 24 Jul 2023 11:55:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 14:31:43.310602
• Title: Safety Performance of Neural Networks in the Presence of Covariate Shift
• Title（参考訳）: 共変量シフトを考慮したニューラルネットワークの安全性能
• Authors: Chih-Hong Cheng, Harald Ruess, Konstantinos Theodorou
• Abstract要約: 本稿では,運用データの近似に基づいて,デプロイ前の安全性能評価に使用される初期テストセットを再構築することを提案する。 この近似は、操作中にネットワーク内のニューロンの活性化パターンの分布を観察し、学習することによって得られる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Covariate shift may impact the operational safety performance of neural networks. A re-evaluation of the safety performance, however, requires collecting new operational data and creating corresponding ground truth labels, which often is not possible during operation. We are therefore proposing to reshape the initial test set, as used for the safety performance evaluation prior to deployment, based on an approximation of the operational data. This approximation is obtained by observing and learning the distribution of activation patterns of neurons in the network during operation. The reshaped test set reflects the distribution of neuron activation values as observed during operation, and may therefore be used for re-evaluating safety performance in the presence of covariate shift. First, we derive conservative bounds on the values of neurons by applying finite binning and static dataflow analysis. Second, we formulate a mixed integer linear programming (MILP) constraint for constructing the minimum set of data points to be removed in the test set, such that the difference between the discretized test and operational distributions is bounded. We discuss potential benefits and limitations of this constraint-based approach based on our initial experience with an implemented research prototype.
• Abstract（参考訳）: 共変量シフトは、ニューラルネットワークの運用安全性能に影響を与える可能性がある。 しかし、安全性能の再評価には、新しい運用データを収集し、対応する真理ラベルを作成する必要がある。 そこで我々は,運用データの近似に基づいて,デプロイ前の安全性能評価に使用される初期テストセットを再構築することを提案している。 この近似は、動作中にネットワーク内のニューロンの活性化パターンの分布を観察し学習することで得られる。 再形成されたテストセットは、動作中に観察されたニューロン活性化値の分布を反映しており、コバルトシフトの存在下での安全性性能の再評価に使用できる。 まず,有限二分法と静的データフロー解析を用いて,ニューロンの値の保存的境界を求める。 第2に、テストセットで削除されるデータポイントの最小セットを構成するための混合整数線形プログラミング(milp)制約を定式化し、離散化テストと操作分布との差が有界になるようにする。 我々は,この制約に基づくアプローチの利点と限界について,実装した研究プロトタイプを用いた初期経験に基づいて検討する。

関連論文リスト

• Simulation-Free Training of Neural ODEs on Paired Data [20.36333430055869]
  我々は,NODEのシミュレーションフリートレーニングにフローマッチングフレームワークを用いる。 ペアデータ間で直接フローマッチングを適用することは、しばしば不定義のフローにつながることを示す。 データペアの埋め込み空間にフローマッチングを適用するための簡単な拡張を提案する。
  論文  参考訳（メタデータ） (2024-10-30T11:18:27Z)
• Function-Space Regularization in Neural Networks: A Probabilistic Perspective [51.133793272222874]
  所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。 本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
  論文  参考訳（メタデータ） (2023-12-28T17:50:56Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
  離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。 このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
  論文  参考訳（メタデータ） (2023-07-02T21:46:30Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Toward Robust Uncertainty Estimation with Random Activation Functions [3.0586855806896045]
  本稿では,ランダムアクティベーション関数(RAF)アンサンブルを用いた不確実性定量化手法を提案する。 RAF アンサンブルは、合成データセットと実世界のデータセットの両方において、最先端のアンサンブル不確実性定量化手法より優れている。
  論文  参考訳（メタデータ） (2023-02-28T13:17:56Z)
• Robust and Adaptive Temporal-Difference Learning Using An Ensemble of Gaussian Processes [70.80716221080118]
  本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。 OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。 1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:15:09Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Guiding Neural Network Initialization via Marginal Likelihood Maximization [0.9137554315375919]
  活性化関数と共分散関数を持つガウス過程モデルとニューラルネットワークの関係を利用して、超パラメータ値を推定する。 本実験では,mnist分類タスクにおいて限界一貫性が最適に近い予測性能をもたらすことを示唆する。
  論文  参考訳（メタデータ） (2020-12-17T21:46:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。