論文の概要: Learning Energy-Based Approximate Inference Networks for Structured
Applications in NLP
- arxiv url: http://arxiv.org/abs/2108.12522v1
- Date: Fri, 27 Aug 2021 22:48:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-01 09:17:06.766886
- Title: Learning Energy-Based Approximate Inference Networks for Structured
Applications in NLP
- Title(参考訳): NLPにおける構造化アプリケーションのためのエネルギーベース近似ネットワークの学習
- Authors: Lifu Tu
- Abstract要約: 論文はエネルギーモデルへの一般的な導入から始まる。
構造エネルギー関数の下でargmax推論を行うようにニューラルネットワークを訓練する手法を提案する。
そこで我々は,対立学習フレームワークを用いて,エネルギー関数と推論ネットワークを協調的に学習する方法を開発した。
- 参考スコア(独自算出の注目度): 8.426855646402238
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Structured prediction in natural language processing (NLP) has a long
history. The complex models of structured application come at the difficulty of
learning and inference. These difficulties lead researchers to focus more on
models with simple structure components (e.g., local classifier). Deep
representation learning has become increasingly popular in recent years. The
structure components of their method, on the other hand, are usually relatively
simple. We concentrate on complex structured models in this dissertation. We
provide a learning framework for complicated structured models as well as an
inference method with a better speed/accuracy/search error trade-off. The
dissertation begins with a general introduction to energy-based models. In NLP
and other applications, an energy function is comparable to the concept of a
scoring function. In this dissertation, we discuss the concept of the energy
function and structured models with different energy functions. Then, we
propose a method in which we train a neural network to do argmax inference
under a structured energy function, referring to the trained networks as
"inference networks" or "energy-based inference networks". We then develop ways
of jointly learning energy functions and inference networks using an
adversarial learning framework. Despite the inference and learning difficulties
of energy-based models, we present approaches in this thesis that enable
energy-based models more easily to be applied in structured NLP applications.
- Abstract(参考訳): 自然言語処理(NLP)における構造化予測には長い歴史がある。
構造化されたアプリケーションの複雑なモデルは、学習と推論の難しさを伴います。
これらの困難により、研究者は単純な構造コンポーネント(例えば局所分類器)を持つモデルにもっと焦点をあてるようになる。
近年、深層表現学習が盛んに行われている。
一方、それらの手法の構造的構成要素は、通常比較的単純である。
この論文では複雑な構造モデルに焦点を当てる。
複雑な構造化モデルのための学習フレームワークと、より高速/高精度/探索誤差トレードオフを備えた推論手法を提供する。
論文はエネルギーモデルへの一般的な導入から始まる。
NLPや他の応用では、エネルギー関数はスコアリング関数の概念に匹敵する。
この論文では、エネルギー関数と異なるエネルギー関数を持つ構造モデルの概念について議論する。
そこで我々は,ニューラルネットワークを学習して,構造エネルギー関数の下でargmax推論を行う手法を提案し,トレーニングされたネットワークを"推論ネットワーク"あるいは"エネルギーベース推論ネットワーク"と呼ぶ。
次に,相反学習フレームワークを用いて,エネルギー関数と推論ネットワークを共同で学習する方法を開発する。
エネルギーベースモデルの推論と学習の難しさにもかかわらず、エネルギーベースモデルを構造化NLPアプリケーションに適用しやすくする手法を提案する。
関連論文リスト
- Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳(メタデータ) (2024-02-20T15:23:24Z) - Energy Transformer [64.22957136952725]
我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。
本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-02-14T18:51:22Z) - Learning with latent group sparsity via heat flow dynamics on networks [5.076419064097734]
機械学習問題における説明変数上のグループまたはクラスタ構造は非常に一般的な現象である。
このようなグループ構造下での学習には,グループアイデンティティに関する事前情報を必要としないアプローチに寄与する。
我々は、利用可能なデータに基づいて、そのようなネットワークを構築する手順を実証する。
論文 参考訳(メタデータ) (2022-01-20T17:45:57Z) - Constructing Neural Network-Based Models for Simulating Dynamical
Systems [59.0861954179401]
データ駆動モデリングは、真のシステムの観測からシステムの力学の近似を学ぼうとする代替パラダイムである。
本稿では,ニューラルネットワークを用いた動的システムのモデル構築方法について検討する。
基礎的な概要に加えて、関連する文献を概説し、このモデリングパラダイムが克服すべき数値シミュレーションから最も重要な課題を概説する。
論文 参考訳(メタデータ) (2021-11-02T10:51:42Z) - On Energy-Based Models with Overparametrized Shallow Neural Networks [44.74000986284978]
エネルギーベースモデル(EBM)は、ジェネレーションモデリングの強力なフレームワークです。
この研究では、浅いニューラルネットワークに焦点を当てます。
我々は、いわゆる「アクティブ」体制で訓練されたモデルが、関連する「怠慢」またはカーネル体制に対して統計的に有利であることを示す。
論文 参考訳(メタデータ) (2021-04-15T15:34:58Z) - Learning Discrete Energy-based Models via Auxiliary-variable Local
Exploration [130.89746032163106]
離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。
エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。
本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
論文 参考訳(メタデータ) (2020-11-10T19:31:29Z) - Neural Function Modules with Sparse Arguments: A Dynamic Approach to
Integrating Information across Layers [84.57980167400513]
Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。
トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。
私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
論文 参考訳(メタデータ) (2020-10-15T20:43:17Z) - Learnergy: Energy-based Machine Learners [0.0]
ディープラーニングアーキテクチャの文脈では、機械学習技術が広く推奨されている。
制限ボルツマンマシン(Restricted Boltzmann Machine)と呼ばれるエキサイティングなアルゴリズムは、分類、再構成、画像と信号の生成など、最も多様な応用に取り組むために、エネルギーと確率に基づく性質に依存している。
論文 参考訳(メタデータ) (2020-03-16T21:14:32Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳(メタデータ) (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。