論文の概要: An Analytic Framework for Robust Training of Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2205.13502v1
• Date: Thu, 26 May 2022 17:16:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 17:49:49.126337
• Title: An Analytic Framework for Robust Training of Artificial Neural Networks
• Title（参考訳）: ニューラルネットワークのロバストトレーニングのための分析フレームワーク
• Authors: Ramin Barati, Reza Safabakhsh, Mohammad Rahmati
• Abstract要約: 機械学習における問題の複雑な性質から、この現象を説明することは困難である。 本稿では, ニューラルネットワークに対する頑健な学習ルールを提供するために, 複素解析と正則性を利用する。
• 参考スコア（独自算出の注目度）: 5.7365885616661405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The reliability of a learning model is key to the successful deployment of machine learning in various industries. Creating a robust model, particularly one unaffected by adversarial attacks, requires a comprehensive understanding of the adversarial examples phenomenon. However, it is difficult to describe the phenomenon due to the complicated nature of the problems in machine learning. Consequently, many studies investigate the phenomenon by proposing a simplified model of how adversarial examples occur and validate it by predicting some aspect of the phenomenon. While these studies cover many different characteristics of the adversarial examples, they have not reached a holistic approach to the geometric and analytic modeling of the phenomenon. This paper propose a formal framework to study the phenomenon in learning theory and make use of complex analysis and holomorphicity to offer a robust learning rule for artificial neural networks. With the help of complex analysis, we can effortlessly move between geometric and analytic perspectives of the phenomenon and offer further insights on the phenomenon by revealing its connection with harmonic functions. Using our model, we can explain some of the most intriguing characteristics of adversarial examples, including transferability of adversarial examples, and pave the way for novel approaches to mitigate the effects of the phenomenon.
• Abstract（参考訳）: 学習モデルの信頼性は、さまざまな産業における機械学習の展開の成功の鍵となる。 強靭なモデル、特に敵の攻撃の影響を受けないモデルを作成するには、敵の事例現象を包括的に理解する必要がある。 しかし,機械学習の問題の複雑な性質から,この現象を説明することは困難である。 その結果, 逆例の簡易モデルを提案し, この現象のいくつかの側面を予測して検証する研究が数多く行われている。 これらの研究は、逆の例の多くの異なる特徴をカバーしているが、この現象の幾何学的および分析的モデリングに対する全体論的アプローチには達していない。 本稿では,学習理論の現象を研究するための公式な枠組みを提案し,複雑な解析と正則性を利用して,ニューラルネットワークの堅牢な学習ルールを提案する。 複雑な解析の助けを借りて,この現象の幾何学的視点と解析的視点を無力に移動させ,調和関数との関係を明らかにすることにより,現象に関するさらなる洞察を与えることができる。 本モデルを用いて, 敵例の移動可能性など, 敵例の最も興味深い特徴をいくつか説明し, 現象の影響を緩和するための新しいアプローチの道を開くことができる。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• SoK: On Finding Common Ground in Loss Landscapes Using Deep Model Merging Techniques [4.013324399289249]
  本稿では,モデルマージ手法の新たな分類法を提案する。 これらの分野における文献からの反復的な経験的観察を,ロスランドスケープ幾何学の4つの主要な側面のキャラクタリゼーションに用いた。
  論文  参考訳（メタデータ） (2024-10-16T18:14:05Z)
• The Impact of Geometric Complexity on Neural Collapse in Transfer Learning [6.554326244334867]
  損失面の平坦さと神経崩壊は、最近、有用な事前学習指標として現れている。 実験と理論を通じて、事前学習されたネットワークの幾何学的複雑さに影響を与えるメカニズムが神経崩壊に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2024-05-24T16:52:09Z)
• Revealing Multimodal Contrastive Representation Learning through Latent Partial Causal Models [85.67870425656368]
  マルチモーダルデータに特化して設計された統一因果モデルを提案する。 マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。 実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• Targeted Reduction of Causal Models [55.11778726095353]
  因果表現学習(Causal Representation Learning)は、シミュレーションで解釈可能な因果パターンを明らかにするための有望な道を提供する。 本稿では、複雑な相互作用可能なモデルを因果因子の簡潔な集合に凝縮する方法であるTCR(Targeted Causal Reduction)を紹介する。 複雑なモデルから解釈可能な高レベルな説明を生成する能力は、玩具や機械システムで実証されている。
  論文  参考訳（メタデータ） (2023-11-30T15:46:22Z)
• A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
  逆の例では、機械学習モデルを操作して誤った予測を行うことができます。 敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。 本研究は, 対角移動可能性の展望を考察した。
  論文  参考訳（メタデータ） (2023-10-26T17:45:26Z)
• When and How to Fool Explainable Models (and Humans) with Adversarial Examples [1.439518478021091]
  説明可能な機械学習モデルに対する敵攻撃の可能性と限界について検討する。 まず、逆例の概念を拡張して、説明可能な機械学習シナリオに適合する。 次に、説明可能なモデルに対して、逆例を生成できるかどうかを総合的に検討する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-07-05T11:20:55Z)
• Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles [69.9674326582747]
  本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。 これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T13:04:21Z)
• On the Transferability of Adversarial Attacksagainst Neural Text Classifier [121.6758865857686]
  テキスト分類モデルの逆例の転送可能性について検討する。 本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。 これらの逆例からモデル診断に使用できる単語置換規則を導出する。
  論文  参考訳（メタデータ） (2020-11-17T10:45:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。