論文の概要: Learning Energy Networks with Generalized Fenchel-Young Losses

• arxiv url: http://arxiv.org/abs/2205.09589v1
• Date: Thu, 19 May 2022 14:32:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-20 12:35:11.924646
• Title: Learning Energy Networks with Generalized Fenchel-Young Losses
• Title（参考訳）: フェンシェル・ヤング損失を一般化した学習エネルギーネットワーク
• Authors: Mathieu Blondel, Felipe Llinares-L\'opez, Robert Dadashi, L\'eonard Hussenot, Matthieu Geist
• Abstract要約: エネルギーに基づくモデル、すなわちエネルギーネットワークはエネルギー関数を最適化することで推論を行う。 学習エネルギーネットワークの自然損失構造であるFenchel-Young損失の一般化を提案する。
• 参考スコア（独自算出の注目度）: 34.46284877812228
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Energy-based models, a.k.a. energy networks, perform inference by optimizing an energy function, typically parametrized by a neural network. This allows one to capture potentially complex relationships between inputs and outputs. To learn the parameters of the energy function, the solution to that optimization problem is typically fed into a loss function. The key challenge for training energy networks lies in computing loss gradients, as this typically requires argmin/argmax differentiation. In this paper, building upon a generalized notion of conjugate function, which replaces the usual bilinear pairing with a general energy function, we propose generalized Fenchel-Young losses, a natural loss construction for learning energy networks. Our losses enjoy many desirable properties and their gradients can be computed efficiently without argmin/argmax differentiation. We also prove the calibration of their excess risk in the case of linear-concave energies. We demonstrate our losses on multilabel classification and imitation learning tasks.
• Abstract（参考訳）: エネルギーベースのモデル、すなわちエネルギーネットワークは、通常ニューラルネットワークによってパラメータ化されたエネルギー関数を最適化することで推論を行う。 これにより、入力と出力の間の潜在的に複雑な関係をキャプチャできる。 エネルギー関数のパラメータを学習するために、最適化問題の解は通常損失関数に供給される。 エネルギーネットワークのトレーニングにおける重要な課題は、一般的にargmin/argmax微分を必要とするため、損失勾配の計算にある。 本稿では,通常の双線型ペアリングを一般エネルギー関数に置き換えた共役関数の一般化概念に基づいて,学習エネルギーネットワークの自然損失構造である一般化Fenchel-Young損失を提案する。 我々の損失は多くの望ましい特性を享受し、その勾配はargmin/argmax微分なしで効率的に計算できる。 また, 線形対流エネルギーの場合, 余剰リスクの校正を実証する。 マルチラベル分類と模倣学習における損失を実証する。

関連論文リスト

• Learning Iterative Reasoning through Energy Diffusion [90.24765095498392]
  我々は,エネルギー拡散による反復的推論(IRED)を紹介した。 IREDは入力条件と所望の出力の間の制約を表現するためにエネルギー関数を学ぶ。 IREDは、連続空間推論、離散空間推論、計画タスクにおいて既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-17T03:36:47Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Energy-Dissipative Evolutionary Deep Operator Neural Networks [12.764072441220172]
  エネルギー分散進化的深層演算子ニューラルネットワーク(Energy-Dissipative Evolutionary Deep Operator Neural Network)は、ニューラルネットワークを学習するオペレータである。 偏微分方程式のクラスに対する数値解をシードするように設計されている。
  論文  参考訳（メタデータ） (2023-06-09T22:11:16Z)
• On Feature Diversity in Energy-based Models [98.78384185493624]
  エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。 EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。
  論文  参考訳（メタデータ） (2023-06-02T12:30:42Z)
• Uncovering Energy-Efficient Practices in Deep Learning Training: Preliminary Steps Towards Green AI [8.025202812165412]
  我々は、エネルギー消費を精度に等しい重要性の指標とみなし、無関係なタスクやエネルギー使用量を減らす。 持続可能性の観点から深層学習パイプラインの訓練段階について検討する。 ディープラーニングモデルをトレーニングするための革新的で有望なエネルギー効率のプラクティスを強調します。
  論文  参考訳（メタデータ） (2023-03-24T12:48:21Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Energy Transformer [64.22957136952725]
  我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。 本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-02-14T18:51:22Z)
• An End-to-End learnable Flow Regularized Model for Brain Tumor Segmentation [1.253312107729806]
  本稿では,終端から終端までのトレーニング可能なニューラルネットワーク機能をエネルギー関数に組み込むことを提案する。 我々のディープニューラルネットワーク機能は、U-netのスキップ接続を伴うダウンサンプリング層とアップサンプリング層から抽出される。 セグメンテーションはADMMソルバによって原始双対形式で解かれる。
  論文  参考訳（メタデータ） (2021-09-01T21:34:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。