論文の概要: Implicit Training of Energy Model for Structure Prediction

• arxiv url: http://arxiv.org/abs/2211.11649v1
• Date: Mon, 21 Nov 2022 17:08:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 18:28:03.987517
• Title: Implicit Training of Energy Model for Structure Prediction
• Title（参考訳）: 構造予測のためのエネルギーモデルのインシシトトレーニング
• Authors: Shiv Shankar, Vihari Piratla
• Abstract要約: 本研究では,既存の推論ネットワークに基づく構造予測手法が,エネルギーモデルによりパラメータ化された動的損失目標を最適化するために間接的に学習されていることを論じる。 次に、暗黙の漸進的手法を用いて、対応する動的目的を学習する。
• 参考スコア（独自算出の注目度）: 14.360826930970765
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Most deep learning research has focused on developing new model and training procedures. On the other hand the training objective has usually been restricted to combinations of standard losses. When the objective aligns well with the evaluation metric, this is not a major issue. However when dealing with complex structured outputs, the ideal objective can be hard to optimize and the efficacy of usual objectives as a proxy for the true objective can be questionable. In this work, we argue that the existing inference network based structure prediction methods ( Tu and Gimpel 2018; Tu, Pang, and Gimpel 2020) are indirectly learning to optimize a dynamic loss objective parameterized by the energy model. We then explore using implicit-gradient based technique to learn the corresponding dynamic objectives. Our experiments show that implicitly learning a dynamic loss landscape is an effective method for improving model performance in structure prediction.
• Abstract（参考訳）: 多くのディープラーニング研究は、新しいモデルとトレーニング手順の開発に焦点を当てている。 一方、トレーニングの目的は通常、標準的損失の組み合わせに限定されている。 目的が評価基準に合致する場合、これは大きな問題ではありません。 しかし、複雑な構造化された出力を扱う場合、理想的な目的は最適化が困難であり、真の目的のプロキシとしての通常の目的の有効性は疑わしい。 本研究では、既存の推論ネットワークに基づく構造予測手法(TuとGimpel 2018; Tu, Pang, Gimpel 2020)がエネルギーモデルによってパラメータ化された動的損失目標を最適化するために間接的に学習されていることを論じる。 次に, 暗黙的勾配に基づく手法を用いて, 対応する動的目標を探索する。 実験の結果,動的損失景観を暗黙的に学習することは,構造予測におけるモデル性能向上に有効な方法であることがわかった。

関連論文リスト

• Goal-conditioned Offline Planning from Curious Exploration [28.953718733443143]
  本研究では,教師なし探索技術の産物から目標条件付き行動を抽出することの課題について考察する。 従来の目標条件強化学習手法では,この困難なオフライン環境では,値関数とポリシの抽出が不十分であることがわかった。 そこで本研究では,学習した値のランドスケープに対するモデルベース計画と,グラフベースの値アグリゲーション手法を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2023-11-28T17:48:18Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
  メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。 SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。 我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T06:45:15Z)
• Simplifying Model-based RL: Learning Representations, Latent-space Models, and Policies with One Objective [142.36200080384145]
  自己整合性を維持しつつ高いリターンを達成するために,潜在空間モデルとポリシーを協調的に最適化する単一目的を提案する。 得られたアルゴリズムは, モデルベースおよびモデルフリーRL手法のサンプル効率に適合するか, 改善することを示した。
  論文  参考訳（メタデータ） (2022-09-18T03:51:58Z)
• DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
  そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。 タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
  論文  参考訳（メタデータ） (2022-04-03T02:29:11Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)
• Discriminator Augmented Model-Based Reinforcement Learning [47.094522301093775]
  学習したモデルが不正確であり、計画が損なわれ、パフォーマンスが悪くなるのは実際には一般的です。 本稿では,真の力学と学習力学の相違を考慮に入れた重要サンプリングフレームワークによる計画の改善を目的とする。
  論文  参考訳（メタデータ） (2021-03-24T06:01:55Z)
• Model-based Meta Reinforcement Learning using Graph Structured Surrogate Models [40.08137765886609]
  グラフ構造化サーロゲートモデル (GSSM) と呼ばれるモデルが, 環境ダイナミクス予測における最先端の手法を上回っていることを示した。 当社のアプローチでは,テスト時間ポリシの勾配最適化を回避して,デプロイメント中の高速実行を実現しつつ,高いリターンを得ることができる。
  論文  参考訳（メタデータ） (2021-02-16T17:21:55Z)
• End-Effect Exploration Drive for Effective Motor Learning [0.0]
  強化学習の主な目的は、効果の標的分布を反転させることである。 目標指向の運動学習を実現する効果的な方法として,エンドエフェクトドライブを提案する。
  論文  参考訳（メタデータ） (2020-06-29T11:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。