論文の概要: Can convolutional ResNets approximately preserve input distances? A frequency analysis perspective

• arxiv url: http://arxiv.org/abs/2106.02469v1
• Date: Fri, 4 Jun 2021 13:12:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 22:02:54.306241
• Title: Can convolutional ResNets approximately preserve input distances? A frequency analysis perspective
• Title（参考訳）: 畳み込みResNetは入力距離をおよそ保存できるか? 周波数解析の展望
• Authors: Lewis Smith, Joost van Amersfoort, Haiwen Huang, Stephen Roberts, Yarin Gal
• Abstract要約: 正規化スキームとbi-Lipschitznessの理論的関係は、実際には成り立たない条件下でのみ有効であることを示す。 距離保存条件に対する逆例を探索する簡単な構成的アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 31.897568775099558
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: ResNets constrained to be bi-Lipschitz, that is, approximately distance preserving, have been a crucial component of recently proposed techniques for deterministic uncertainty quantification in neural models. We show that theoretical justifications for recent regularisation schemes trying to enforce such a constraint suffer from a crucial flaw -- the theoretical link between the regularisation scheme used and bi-Lipschitzness is only valid under conditions which do not hold in practice, rendering existing theory of limited use, despite the strong empirical performance of these models. We provide a theoretical explanation for the effectiveness of these regularisation schemes using a frequency analysis perspective, showing that under mild conditions these schemes will enforce a lower Lipschitz bound on the low-frequency projection of images. We then provide empirical evidence supporting our theoretical claims, and perform further experiments which demonstrate that our broader conclusions appear to hold when some of the mathematical assumptions of our proof are relaxed, corresponding to the setup used in prior work. In addition, we present a simple constructive algorithm to search for counter examples to the distance preservation condition, and discuss possible implications of our theory for future model design.
• Abstract（参考訳）: バイリプシッツ(bi-lipschitz)に制約されたresnetは、ほぼ距離保存であり、最近提案された神経モデルにおける決定論的不確かさの定量化技術の重要な要素である。 このような制約を強制しようとする最近の正規化スキームの理論的正当性は重大な欠陥に悩まされていることを示し、このモデルが強い経験的性能を示したにもかかわらず、実際に保持されない条件下では、正規化スキームとバイリプシッツネスの理論的結びつきは有効である。 周波数解析の観点からこれらの正規化スキームの有効性を理論的に説明し、穏やかな条件下では、これらのスキームは画像の低周波射影に対して下リプシッツを強制することを示す。 次に、我々の理論的主張を裏付ける実証的な証拠を提供し、我々のより広範な結論が、我々の証明の数学的仮定のいくつかが緩和されたときに、以前の研究で使われた設定に従って成立することを示すさらなる実験を行う。 さらに, 距離保存条件に対する反例を探索する簡単な構成的アルゴリズムを提案し, 将来のモデル設計における理論の可能性について論じる。

関連論文リスト

• Rethinking State Disentanglement in Causal Reinforcement Learning [78.12976579620165]
  因果性は、根底にある状態が識別可能性によって一意に回復できることを保証するための厳密な理論的支援を提供する。 我々はこの研究ラインを再考し、RL固有のコンテキストを取り入れることで、潜在状態に対する以前の識別可能性分析における不要な仮定を低減できることを示した。 本稿では, 従来手法の複雑な構造制約を, 遷移と報酬保存の2つの簡単な制約に置き換えることにより, 一般に部分的に観測可能なマルコフ決定過程(POMDP)を提案する。
  論文  参考訳（メタデータ） (2024-08-24T06:49:13Z)
• Empirical Tests of Optimization Assumptions in Deep Learning [41.05664717242051]
  本稿では,理論解析において制御しなければならない重要な量を追跡するための新しい経験的指標を開発する。 テストされたすべての仮定は、確実に最適化性能を捉えられません。 このことは、理論解析に使用される解析的仮定の新しい実証的検証の必要性を強調している。
  論文  参考訳（メタデータ） (2024-07-01T21:56:54Z)
• General bounds on the quality of Bayesian coresets [13.497835690074151]
  この研究は、KL(Kulback-Leibler)上の一般上界と下界を示す。 下限は、コアセット近似の質に関する基本的な制限を得るために適用される。 上界は最近のサブサンプル最適化手法の性能解析に使用される。
  論文  参考訳（メタデータ） (2024-05-20T04:46:14Z)
• Generalization Bounds for Causal Regression: Insights, Guarantees and Sensitivity Analysis [0.66567375919026]
  このような保証を提供する一般化境界に基づく理論を提案する。 新たな測定の不等式の変化を導入することで、モデル損失を厳格に拘束することが可能になります。 半合成データと実データの境界を実証し、その顕著な厳密さと実用性を示す。
  論文  参考訳（メタデータ） (2024-05-15T17:17:27Z)
• Uncertainty Regularized Evidential Regression [5.874234972285304]
  Evidential Regression Network (ERN)は、深層学習とDempster-Shaferの理論を統合する新しいアプローチである。 特定のアクティベーション関数は非負の値を強制するために使わなければならない。 本稿では,この限界を理論的に解析し,克服するための改善を提案する。
  論文  参考訳（メタデータ） (2024-01-03T01:18:18Z)
• Towards Characterizing Domain Counterfactuals For Invertible Latent Causal Models [15.817239008727789]
  本研究では,異なるドメインで生成された場合,サンプルがどのようなものであったのかを仮定した,ドメイン反事実と呼ばれる特定のタイプの因果クエリを解析する。 本研究では, 潜在構造因果モデル (SCM) の回復は, ドメイン・デファクト・デファクトを推定するために不要であることを示す。 また、モデル生成過程を単純化し、生成モデル推定を行うための理論的基盤となる実用的なアルゴリズムも開発する。
  論文  参考訳（メタデータ） (2023-06-20T04:19:06Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Deep Grey-Box Modeling With Adaptive Data-Driven Models Toward Trustworthy Estimation of Theory-Driven Models [88.63781315038824]
  本稿では,ニューラルネットワークのアーキテクチャとトレーニング目標にわずかな変化を伴って,レギュレータの動作を経験的に分析することのできるフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-24T10:42:26Z)
• Log-linear Guardedness and its Implications [116.87322784046926]
  線形性を仮定する神経表現から人間の解釈可能な概念を消去する方法は、抽出可能で有用であることが判明した。 この研究は、対数線ガードネスの概念を、敵が表現から直接その概念を予測することができないものとして正式に定義している。 バイナリの場合、ある仮定の下では、下流の対数線形モデルでは消去された概念を復元できないことを示す。
  論文  参考訳（メタデータ） (2022-10-18T17:30:02Z)
• On the Minimal Adversarial Perturbation for Deep Neural Networks with Provable Estimation Error [65.51757376525798]
  敵の摂動の存在は、証明可能な堅牢性に関する興味深い研究ラインを開いた。 検証可能な結果は、コミットしたエラーを見積り、バウンドするものではない。 本稿では,最小対向摂動を求めるための2つの軽量戦略を提案する。 その結果, 提案手法は, 分類に近い試料の理論的距離とロバスト性を近似し, 敵攻撃に対する確実な保証が得られた。
  論文  参考訳（メタデータ） (2022-01-04T16:40:03Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。