論文の概要: JacNet: Learning Functions with Structured Jacobians

• arxiv url: http://arxiv.org/abs/2408.13237v1
• Date: Fri, 23 Aug 2024 17:21:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 14:11:01.043045
• Title: JacNet: Learning Functions with Structured Jacobians
• Title（参考訳）: JacNet: 構造化ジャコビアンによる関数の学習
• Authors: Jonathan Lorraine, Safwan Hossain,
• Abstract要約: 本稿では,ニューラルネットワークを用いて入力出力関数のジャコビアンを学習することを提案する。 我々は、可逆性を許容するために導関数を構造化することに注力し、また、$k$-Lipschitzのような他の有用な先例を強制できることを実証する。
• 参考スコア（独自算出の注目度）: 3.4376560669160394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are trained to learn an approximate mapping from an input domain to a target domain. Incorporating prior knowledge about true mappings is critical to learning a useful approximation. With current architectures, it is challenging to enforce structure on the derivatives of the input-output mapping. We propose to use a neural network to directly learn the Jacobian of the input-output function, which allows easy control of the derivative. We focus on structuring the derivative to allow invertibility and also demonstrate that other useful priors, such as $k$-Lipschitz, can be enforced. Using this approach, we can learn approximations to simple functions that are guaranteed to be invertible and easily compute the inverse. We also show similar results for 1-Lipschitz functions.
• Abstract（参考訳）: ニューラルネットワークは、入力ドメインからターゲットドメインへの近似マッピングを学ぶために訓練される。 真のマッピングに関する事前知識を組み込むことは、有用な近似を学ぶために重要である。 現在のアーキテクチャでは、入出力マッピングの導関数に構造を強制することは困難である。 本稿では,ニューラルネットワークを用いて入力出力関数のジャコビアンを直接学習し,導関数の制御を容易にすることを提案する。 我々は、可逆性を許容するために導関数を構造化することに注力し、また、$k$-Lipschitzのような他の有用な先例を強制できることを実証する。 このアプローチを用いることで、逆関数の可逆性を保証し、逆関数を容易に計算できる単純な関数への近似を学習することができる。 また, 1-Lipschitz関数についても同様の結果を示す。

関連論文リスト

• Efficient uniform approximation using Random Vector Functional Link networks [0.0]
  ランダムベクトル関数リンク(英: Random Vector Functional Link, RVFL)は、ランダムな内部ノードとバイアスを持つディープ2ニューラルネットワークである。 本稿では、ReLUアクティベートされたRVFLがLipschitzターゲット関数を近似できることを示す。 我々の証明法は理論と調和解析に根ざしている。
  論文  参考訳（メタデータ） (2023-06-30T09:25:03Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• A Use of Even Activation Functions in Neural Networks [0.35172332086962865]
  本稿では,データ構造に関する既存の知識や仮説を統合するために,独自のアクティベーション関数を構築する方法を提案する。 完全に接続されたレイヤの1つで偶発的なアクティベーション関数を使用することで、ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-23T20:33:13Z)
• Estimating Multiplicative Relations in Neural Networks [0.0]
  対数関数の特性を用いて、積を線形表現に変換し、バックプロパゲーションを用いて学習できるアクティベーション関数のペアを提案する。 いくつかの複雑な算術関数に対してこのアプローチを一般化し、トレーニングセットとの不整合分布の精度を検証しようと試みる。
  論文  参考訳（メタデータ） (2020-10-28T14:28:24Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Tunable Quantum Neural Networks for Boolean Functions [0.0]
  ブール関数を学習するためにゲートを調整できる汎用量子回路のアイデアを導入する。 学習課題を実行するために,測定の欠如を利用したアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2020-03-31T11:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。