論文の概要: Energy Transformer

• arxiv url: http://arxiv.org/abs/2302.07253v2
• Date: Wed, 1 Nov 2023 00:14:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 18:06:11.047862
• Title: Energy Transformer
• Title（参考訳）: エネルギー変換器
• Authors: Benjamin Hoover, Yuchen Liang, Bao Pham, Rameswar Panda, Hendrik Strobelt, Duen Horng Chau, Mohammed J. Zaki, Dmitry Krotov
• Abstract要約: 我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。 本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 64.22957136952725
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Our work combines aspects of three promising paradigms in machine learning, namely, attention mechanism, energy-based models, and associative memory. Attention is the power-house driving modern deep learning successes, but it lacks clear theoretical foundations. Energy-based models allow a principled approach to discriminative and generative tasks, but the design of the energy functional is not straightforward. At the same time, Dense Associative Memory models or Modern Hopfield Networks have a well-established theoretical foundation, and allow an intuitive design of the energy function. We propose a novel architecture, called the Energy Transformer (or ET for short), that uses a sequence of attention layers that are purposely designed to minimize a specifically engineered energy function, which is responsible for representing the relationships between the tokens. In this work, we introduce the theoretical foundations of ET, explore its empirical capabilities using the image completion task, and obtain strong quantitative results on the graph anomaly detection and graph classification tasks.
• Abstract（参考訳）: 我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。 注目は、モダンなディープラーニングの成功を駆動するパワーハウスであるが、明確な理論的基礎が欠けている。 エネルギーベースのモデルでは、識別的および生成的タスクに対する原則的なアプローチが可能であるが、エネルギー汎関数の設計は単純ではない。 同時に、Dense Associative Memory ModelやModern Hopfield Networksは、よく確立された理論基盤を持ち、エネルギー関数の直感的な設計を可能にしている。 本研究では, トークン間の関係を表現できる, 特別に設計されたエネルギー関数を最小化するために設計された, 一連のアテンション層を用いた, エネルギートランスフォーマ (et) と呼ばれる新しいアーキテクチャを提案する。 本研究では,ETの理論的基礎を紹介し,画像補完タスクを用いてその経験的能力を探究し,グラフ異常検出およびグラフ分類タスクに関する強力な定量的結果を得る。

関連論文リスト

• Learning Iterative Reasoning through Energy Diffusion [90.24765095498392]
  我々は,エネルギー拡散による反復的推論(IRED)を紹介した。 IREDは入力条件と所望の出力の間の制約を表現するためにエネルギー関数を学ぶ。 IREDは、連続空間推論、離散空間推論、計画タスクにおいて既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-17T03:36:47Z)
• A Proposed Quantum Hamiltonian Encoding Framework for Time Evolution Operator Design of Potential Energy Function [1.2277343096128712]
  この研究は、量子化学と凝縮物質物理学にまたがる応用のためのポテンシャルエネルギー関数による時間進化の操作について検討する。 アルゴリズムはシミュレータとIBM量子ハードウェアで実装され、その有効性を証明した。
  論文  参考訳（メタデータ） (2023-08-12T07:37:42Z)
• On Feature Diversity in Energy-based Models [98.78384185493624]
  エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。 EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。
  論文  参考訳（メタデータ） (2023-06-02T12:30:42Z)
• Joint Feature and Differentiable $ k $-NN Graph Learning using Dirichlet Energy [103.74640329539389]
  特徴選択と識別可能な$k $-NNグラフ学習を同時に行うディープFS法を提案する。 我々は、ニューラルネットワークで$ k $-NNグラフを学習する際の非微分可能性問題に対処するために、最適輸送理論を用いる。 本モデルの有効性を,合成データセットと実世界のデータセットの両方で広範な実験により検証する。
  論文  参考訳（メタデータ） (2023-05-21T08:15:55Z)
• Energy-frugal and Interpretable AI Hardware Design using Learning Automata [5.514795777097036]
  Tsetlin Machineと呼ばれる新しい機械学習アルゴリズムが提案されている。 本稿では,エネルギーフルーガルな人工知能ハードウェア設計手法について検討する。 本研究は, 資源配分が, 頑健かつ解釈可能な学習を達成しつつ, 決定的なエネルギー削減をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-05-19T15:11:18Z)
• Robust and Controllable Object-Centric Learning through Energy-based Models [95.68748828339059]
  我々の研究は概念的にシンプルで一般的なアプローチであり、エネルギーベースモデルを通してオブジェクト中心の表現を学習する。 既存のアーキテクチャに容易に統合でき、高品質なオブジェクト中心表現を効果的に抽出できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:11:15Z)
• Energy Consumption of Neural Networks on NVIDIA Edge Boards: an Empirical Model [6.809944967863927]
  近年、レイテンシの低減とデータプライバシの保護のために、ディープラーニング推論タスクの実行を、ユーザに近いネットワークのエッジにシフトする傾向があります。 本研究では,現代のエッジノードにおける推論タスクのエネルギ消費をプロファイリングすることを目的とする。 そこで我々は, 検討ボード上である推論タスクのエネルギー消費を推定できる, 単純で実用的なモデルを構築した。
  論文  参考訳（メタデータ） (2022-10-04T14:12:59Z)
• Learning Energy Networks with Generalized Fenchel-Young Losses [34.46284877812228]
  エネルギーに基づくモデル、すなわちエネルギーネットワークはエネルギー関数を最適化することで推論を行う。 学習エネルギーネットワークの自然損失構造であるFenchel-Young損失の一般化を提案する。
  論文  参考訳（メタデータ） (2022-05-19T14:32:04Z)
• Attention Mechanism with Energy-Friendly Operations [61.58748425876866]
  我々はエネルギー消費の観点から注意機構を再考する。 我々は、乗算を選択的操作または加算に置き換えることで、新しい注意モデルを構築する。 3つの機械翻訳タスクにおける実験結果から,提案手法が再現可能な精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-04-28T08:50:09Z)
• Learning Energy-Based Approximate Inference Networks for Structured Applications in NLP [8.426855646402238]
  論文はエネルギーモデルへの一般的な導入から始まる。 構造エネルギー関数の下でargmax推論を行うようにニューラルネットワークを訓練する手法を提案する。 そこで我々は,対立学習フレームワークを用いて,エネルギー関数と推論ネットワークを協調的に学習する方法を開発した。
  論文  参考訳（メタデータ） (2021-08-27T22:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。