論文の概要: Understanding Automatic Differentiation Pitfalls

• arxiv url: http://arxiv.org/abs/2305.07546v1
• Date: Fri, 12 May 2023 15:17:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-15 12:18:48.425564
• Title: Understanding Automatic Differentiation Pitfalls
• Title（参考訳）: 自動微分落としの理解
• Authors: Jan H\"uckelheim, Harshitha Menon, William Moses, Bruce Christianson, Paul Hovland, Laurent Hasco\"et
• Abstract要約: 自動微分は、バックプロパゲーション(英語版)、AD(英語版)、オートディフ(英語版)、アルゴリズム微分(英語版)としても知られ、コンピュータプログラムの微分を正確かつ効率的に計算するための一般的な手法である。 しかし、ADによって計算された微分は誤って解釈されることがある。 本稿では、ADの問題点を大まかに分類し、カオス、時間平均振動、離散化、固定点ループ、ルックアップテーブル、線形解法などのカテゴリについて説明する。
• 参考スコア（独自算出の注目度）: 0.3463527836552467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic differentiation, also known as backpropagation, AD, autodiff, or algorithmic differentiation, is a popular technique for computing derivatives of computer programs accurately and efficiently. Sometimes, however, the derivatives computed by AD could be interpreted as incorrect. These pitfalls occur systematically across tools and approaches. In this paper we broadly categorize problematic usages of AD and illustrate each category with examples such as chaos, time-averaged oscillations, discretizations, fixed-point loops, lookup tables, and linear solvers. We also review debugging techniques and their effectiveness in these situations. With this article we hope to help readers avoid unexpected behavior, detect problems more easily when they occur, and have more realistic expectations from AD tools.
• Abstract（参考訳）: 自動微分(automatic differentiation)またはバックプロパゲーション(backpropagation)、アド(ad)、オートディフ(autodiff)、アルゴリズム的微分( algorithmic differentiation)は、コンピュータプログラムの微分を正確かつ効率的に計算するための一般的な手法である。 しかし、ADによって計算された微分は誤って解釈されることがある。 これらの落とし穴は、ツールやアプローチで体系的に発生します。 本稿では,adの問題点を広く分類し,カオス,時間平均振動,離散化,固定点ループ,ルックアップテーブル,線形解法といった各カテゴリを例示する。 また,これらの状況におけるデバッグ手法とその有効性についても検討する。 この記事では、読者が予期せぬ行動を回避し、発生した問題をより容易に検出し、ADツールからより現実的な期待を得ることを望んでいる。

関連論文リスト

• Differentiable Inductive Logic Programming for Fraud Detection [3.0846824529023382]
  本研究では、Fraud Detectionに対するAIアプローチとして、DILP(diffariable Inductive Logic Programming)の適用性について検討する。 処理においては、Decision Treesのようなより伝統的なメソッドや、Deep Symbolic Classificationのような最近のメソッドには大きなアドバンテージを提供していないが、それでも同等の結果が得られている。 私たちは、その制限と改善すべきポイントと、従来の方法よりもずっと便利なユースケースを示します。
  論文  参考訳（メタデータ） (2024-10-29T10:43:06Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• AI Enhanced Control Engineering Methods [66.08455276899578]
  我々は、AIツールがアプリケーションを制御するのにどのように役立つかを探求する。 直近の2つの応用は、局所安定性解析やカルマンフィルタを用いた状態推定のための系力学の線形化である。 さらに、モデル予測制御アプリケーションにおける状態ベクトルのグローバルパラメータ化と制御入力に対する機械学習モデルの利用について検討する。
  論文  参考訳（メタデータ） (2023-06-08T20:31:14Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• Automatic differentiation of nonsmooth iterative algorithms [0.0]
  適切な非膨張条件下での非平滑ピギーバック自動分化(AD)について検討した。 非平滑なピギーバック反復の引き付け集合は、保守的枠組みに残る固定点の集合値であることを示す。 本研究は,Multiple-Ball法と同様に,フォワード・バックワード,ダグラス・ラフフォード,オルタネート・ディレクト・オブ・マルチプライアのアルゴリズムを用いたパラメトリック凸最適化問題について述べる。
  論文  参考訳（メタデータ） (2022-05-31T07:58:37Z)
• DeepFIB: Self-Imputation for Time Series Anomaly Detection [5.4921159672644775]
  時系列異常検出(AD)は、金融および医療監視における不正検出など、様々な応用において重要な役割を果たす。 時系列におけるADのための新しい自己教師型学習手法,すなわちemphDeepFIBを提案する。 我々は、DeepFIBが最先端の手法を大きなマージンで上回り、F1スコアの相対的な改善を65.2%まで達成していることを示す。
  論文  参考訳（メタデータ） (2021-12-12T14:28:06Z)
• DA-DGCEx: Ensuring Validity of Deep Guided Counterfactual Explanations With Distribution-Aware Autoencoder Loss [0.0]
  ディープラーニングモデルは、解釈可能性の欠如により、しばしばブラックボックスと見なされる。 本稿では,DA-DGCEx(Deep Guided Counterfactual Explanations)について述べる。 DGCExのコスト関数に、分散の反ファクトなインスタンスからペナルティを課す用語を追加する。
  論文  参考訳（メタデータ） (2021-04-19T05:44:18Z)
• Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View [82.80085730891126]
  線形多クラス分類の最初の現代的精度解析を行う。 分析の結果,分類精度は分布に依存していることがわかった。 得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
  論文  参考訳（メタデータ） (2020-11-16T05:17:29Z)
• Overcoming the curse of dimensionality with Laplacian regularization in semi-supervised learning [80.20302993614594]
  ラプラシア正規化の欠点を克服するための統計的解析を提供する。 望ましい振る舞いを示すスペクトルフィルタリング法を多数発表する。 我々は,本手法を大量のデータで利用できるようにするために,現実的な計算ガイドラインを提供する。
  論文  参考訳（メタデータ） (2020-09-09T14:28:54Z)
• Local error quantification for Neural Network Differential Equation solvers [6.09170287691728]
  NN DEソルバをより正確かつ効率的にする手法を開発した。 本手法は,NNDEの精度の高い予測誤差をポイントワイズで推定する手法によって実現される。 非線形システムとカオスシステムでテストすることで,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-08-24T08:22:58Z)
• Learning with Differentiable Perturbed Optimizers [54.351317101356614]
  本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
  論文  参考訳（メタデータ） (2020-02-20T11:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。