論文の概要: Understanding the Mechanics of SPIGOT: Surrogate Gradients for Latent
Structure Learning
- arxiv url: http://arxiv.org/abs/2010.02357v1
- Date: Mon, 5 Oct 2020 21:56:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 20:20:38.121226
- Title: Understanding the Mechanics of SPIGOT: Surrogate Gradients for Latent
Structure Learning
- Title(参考訳): SPIGOTのメカニズムを理解する:潜在構造学習のためのサロゲート勾配
- Authors: Tsvetomila Mihaylova, Vlad Niculae, Andr\'e F. T. Martins
- Abstract要約: 潜在構造モデルは、言語データをモデリングするための強力なツールである。
これらのモデルのエンドツーエンドトレーニングの課題の1つは、ヌル勾配を持つargmax演算である。
下流学習目標を引き上げる角度から潜在構造学習を探索する。
- 参考スコア(独自算出の注目度): 20.506232306308977
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Latent structure models are a powerful tool for modeling language data: they
can mitigate the error propagation and annotation bottleneck in pipeline
systems, while simultaneously uncovering linguistic insights about the data.
One challenge with end-to-end training of these models is the argmax operation,
which has null gradient. In this paper, we focus on surrogate gradients, a
popular strategy to deal with this problem. We explore latent structure
learning through the angle of pulling back the downstream learning objective.
In this paradigm, we discover a principled motivation for both the
straight-through estimator (STE) as well as the recently-proposed SPIGOT - a
variant of STE for structured models. Our perspective leads to new algorithms
in the same family. We empirically compare the known and the novel pulled-back
estimators against the popular alternatives, yielding new insight for
practitioners and revealing intriguing failure cases.
- Abstract(参考訳): 潜在構造モデルは、言語データのモデリングのための強力なツールであり、パイプラインシステムにおけるエラーの伝播とアノテーションのボトルネックを軽減し、同時にデータに関する言語的洞察を明らかにする。
これらのモデルのエンドツーエンドトレーニングの課題の1つは、ヌル勾配を持つargmax演算である。
本稿では,この問題に対する一般的な戦略であるsurrogategradientsに着目した。
我々は,下流の学習目標を後退させる角度から潜伏構造学習を検討する。
このパラダイムでは、ストレートスルー推定器(STE)と、最近提案された構造モデルに対するSTEの変種であるSPIGOTの両方に対する基本的動機を見出す。
私たちの視点は、同じ家族の新たなアルゴリズムにつながります。
我々は、既知のものと、小説の引き戻し推定を、人気のある代替案と比較し、実践者に新たな洞察を与え、興味深い失敗事例を明らかにします。
関連論文リスト
- The Edge-of-Reach Problem in Offline Model-Based Reinforcement Learning [37.387280102209274]
オフライン強化学習は、事前に収集されたデータセットからエージェントをトレーニング可能にすることを目的としている。
モデルベースの手法は、エージェントが学習されたダイナミックスモデルでロールアウトを介して追加の合成データを収集できるようにすることで、ソリューションを提供する。
しかし、学習したダイナミックスモデルを真のエラーフリーなダイナミックスに置き換えると、既存のモデルベースのメソッドは完全に失敗する。
本稿では, エッジ・オブ・リーチ問題に直接対処する単純で堅牢な手法であるReach-Aware Value Learning (RAVL)を提案する。
論文 参考訳(メタデータ) (2024-02-19T20:38:00Z) - Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from
a Parametric Perspective [114.70886320845715]
大規模言語モデル(LLM)は本質的に、広範囲なコーパスの事前学習を通じて、パラメータ内の豊富な知識を符号化する。
本稿では,パラメトリックの観点から,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。
論文 参考訳(メタデータ) (2023-10-17T17:58:34Z) - Using Explanations to Guide Models [68.64377323216817]
モデルガイダンスは、時にはモデルパフォーマンスも改善できることを示す。
本研究では,物体の特徴に着目したモデルの有効性を示す新しいエネルギー損失を提案する。
また、バウンディングボックスアノテーションのわずかな部分でも、これらのゲインが達成可能であることも示しています。
論文 参考訳(メタデータ) (2023-03-21T15:34:50Z) - A Detailed Study of Interpretability of Deep Neural Network based Top
Taggers [3.8541104292281805]
説明可能なAI(XAI)の最近の進歩により、研究者はディープニューラルネットワーク(DNN)の内部動作を探索できる。
大型ハドロン衝突型加速器(LHC)における高エネルギー陽子-陽子衝突におけるトップクォーク崩壊からのジェットの解釈可能性について検討する。
本研究は,既存のXAI手法の大きな落とし穴を明らかにし,これらのモデルの一貫性と意味のある解釈をいかに克服できるかを説明する。
論文 参考訳(メタデータ) (2022-10-09T23:02:42Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳(メタデータ) (2022-04-10T11:38:33Z) - Towards Interpretable Deep Reinforcement Learning Models via Inverse
Reinforcement Learning [27.841725567976315]
本稿では,逆逆強化学習を利用した新しいフレームワークを提案する。
このフレームワークは、強化学習モデルによる決定のグローバルな説明を提供する。
モデルの意思決定過程を要約することで、モデルが従う直感的な傾向を捉える。
論文 参考訳(メタデータ) (2022-03-30T17:01:59Z) - Layer-wise Analysis of a Self-supervised Speech Representation Model [26.727775920272205]
自己教師付き学習アプローチは、音声表現モデルの事前学習に成功している。
事前訓練された表現そのものに符号化された情報のタイプや範囲についてはあまり研究されていない。
論文 参考訳(メタデータ) (2021-07-10T02:13:25Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - A Perspective on Machine Learning Methods in Turbulence Modelling [0.0]
本研究は,データ駆動型乱流閉鎖モデルの研究の現状を概観する。
トレーニングデータ、モデル、基礎となる物理、離散化の一貫性は、ML強化モデリング戦略の成功のために考慮すべき重要な問題である、と強調する。
論文 参考訳(メタデータ) (2020-10-23T08:19:30Z) - Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。
具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。
実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
論文 参考訳(メタデータ) (2020-05-13T04:03:21Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳(メタデータ) (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。