Fugu-MT 論文翻訳(概要): Software-based Automatic Differentiation is Flawed

論文の概要: Software-based Automatic Differentiation is Flawed

arxiv url: http://arxiv.org/abs/2305.03863v1
Date: Fri, 5 May 2023 22:25:42 GMT
ステータス: 処理完了
システム内更新日: 2023-05-09 19:03:01.969873
Title: Software-based Automatic Differentiation is Flawed
Title（参考訳）: ソフトウェアベースの自動差別化は違法である
Authors: Daniel Johnson, Trevor Maxfield, Yongxu Jin, Ronald Fedkiw
Abstract要約: このようなフレームワークは、(チェーンルールを通じて達成される)式を評価する前に単純化するメカニズムを持っていません。以下に示すように、結果として生じるエラーは非有界であることが多い。
参考スコア（独自算出の注目度）: 4.959713288473563
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Various software efforts embrace the idea that object oriented programming enables a convenient implementation of the chain rule, facilitating so-called automatic differentiation via backpropagation. Such frameworks have no mechanism for simplifying the expressions (obtained via the chain rule) before evaluating them. As we illustrate below, the resulting errors tend to be unbounded.
Abstract（参考訳）: 様々なソフトウェアの取り組みは、オブジェクト指向プログラミングがチェーンルールの便利な実装を可能にし、バックプロパゲーションによるいわゆる自動微分を促進するという考えを受け入れている。このようなフレームワークは、評価する前に式(チェーンルールによって保持される)を単純化するメカニズムを持たない。以下に示すように、結果として生じるエラーは無制限になる傾向がある。

関連論文リスト

Weakly Supervised Semantic Parsing with Execution-based Spurious Program Filtering [19.96076749160955]
本稿では,プログラムの実行結果に基づくドメインに依存しないフィルタリング機構を提案する。私たちはこれらの表現に対して多数決を行い、他のプログラムと大きく異なる意味を持つプログラムを特定し、フィルタリングします。
論文参考訳（メタデータ） (2023-11-02T11:45:40Z)
Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
論文参考訳（メタデータ） (2023-09-11T22:42:50Z)
Automatic Program Instrumentation for Automatic Verification (Extended Technical Report) [0.0]
帰納的検証とソフトウェアモデルチェックでは、特定の仕様言語構造を扱うことが問題となる。本稿では,様々なアドホックなアプローチを仮定する統一検証パラダイムとして,インスツルメンテーションを提案する。我々は,プログラムのアグリゲーションによる検証に適したMonoCeraツールにアプローチを実装した。
論文参考訳（メタデータ） (2023-05-26T14:55:35Z)
Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
反復的洗練は表現学習に有用なパラダイムである。トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
論文参考訳（メタデータ） (2022-07-02T10:00:35Z)
Resolving label uncertainty with implicit posterior models [71.62113762278963]
本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
論文参考訳（メタデータ） (2022-02-28T18:09:44Z)
Composition Machines: Programming Self-Organising Software Models for the Emergence of Sequential Program Spaces [0.0]
本稿では,そのようなモデルの定義と実行を可能にする,合成機械と呼ばれる抽象機械を提案する。一般的な抽象機械とは異なり、提案手法は個々のプログラムを計算せず、一度に複数のプログラムが出現することを可能にする。
論文参考訳（メタデータ） (2021-08-11T18:39:47Z)
Causally-motivated Shortcut Removal Using Auxiliary Labels [63.686580185674195]
このようなリスク不変予測器の学習に重要な課題はショートカット学習である。この課題に対処するために、フレキシブルで因果的なアプローチを提案する。この因果的動機付けされた正規化スキームが堅牢な予測子を生み出すことを理論的および実証的に示す。
論文参考訳（メタデータ） (2021-05-13T16:58:45Z)
Learning explanations that are hard to vary [75.30552491694066]
例を越えた平均化は、異なる戦略を縫合する記憶とパッチワークのソリューションに有利であることを示す。そこで我々は論理ANDに基づく単純な代替アルゴリズムを提案し,実験的に検証する。
論文参考訳（メタデータ） (2020-09-01T10:17:48Z)
A mathematical model for automatic differentiation in machine learning [0.0]
簡単な関数のクラス、非滑らかな計算を提供し、それらが近似法にどのように適用されるかを示す。また、アルゴリズムの微分によって生成された人工臨界点の問題も証明し、通常の手法がそれらの点を確率1で避けていることを示す。
論文参考訳（メタデータ） (2020-06-03T07:33:29Z)
Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。