論文の概要: How to Train Your Energy-Based Model for Regression
- arxiv url: http://arxiv.org/abs/2005.01698v2
- Date: Fri, 14 Aug 2020 10:08:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 23:52:31.917446
- Title: How to Train Your Energy-Based Model for Regression
- Title(参考訳): エネルギーベースの回帰モデルをどのようにトレーニングするか
- Authors: Fredrik K. Gustafsson, Martin Danelljan, Radu Timofte, Thomas B.
Sch\"on
- Abstract要約: 近年,コンピュータビジョンにおいてエネルギーベースモデル (EBM) が普及している。
近年の作業では、回帰タスクにもESMを適用し、オブジェクト検出と視覚的トラッキングにおける最先端のパフォーマンスを実現している。
最高のレグレッションパフォーマンスのためにEBMをどのようにトレーニングするかは、十分に研究された問題ではありません。
- 参考スコア(独自算出の注目度): 107.54411649704194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Energy-based models (EBMs) have become increasingly popular within computer
vision in recent years. While they are commonly employed for generative image
modeling, recent work has applied EBMs also for regression tasks, achieving
state-of-the-art performance on object detection and visual tracking. Training
EBMs is however known to be challenging. While a variety of different
techniques have been explored for generative modeling, the application of EBMs
to regression is not a well-studied problem. How EBMs should be trained for
best possible regression performance is thus currently unclear. We therefore
accept the task of providing the first detailed study of this problem. To that
end, we propose a simple yet highly effective extension of noise contrastive
estimation, and carefully compare its performance to six popular methods from
literature on the tasks of 1D regression and object detection. The results of
this comparison suggest that our training method should be considered the go-to
approach. We also apply our method to the visual tracking task, achieving
state-of-the-art performance on five datasets. Notably, our tracker achieves
63.7% AUC on LaSOT and 78.7% Success on TrackingNet. Code is available at
https://github.com/fregu856/ebms_regression.
- Abstract(参考訳): 近年,コンピュータビジョンにおいてエネルギーベースモデル (EBM) が普及している。
これらは一般的に生成画像モデリングに使用されるが、最近の研究はEBMを回帰タスクにも適用し、オブジェクト検出と視覚追跡の最先端性能を実現している。
しかしながら、ebmsのトレーニングは困難であることが知られている。
生成モデリングには様々な手法が研究されているが、回帰へのESMの適用はよく研究されている問題ではない。
EBMを最大限のレグレッションパフォーマンスのためにどのようにトレーニングすべきかは現在不明である。
そこで我々は,この問題に関する最初の詳細な研究を行うタスクを受理する。
そこで本研究では,ノイズコントラスト推定の簡易かつ高効率な拡張を提案し,その性能を1次元回帰と物体検出の課題に関する文献から6つの一般的な手法と比較する。
この比較の結果から,本手法はgo-toアプローチであるべきと考えられた。
また,本手法を視覚追跡タスクに適用し,5つのデータセットにおける最先端性能を実現する。
私たちのトラッカーはLaSOTで63.7%、TrackingNetで78.7%成功している。
コードはhttps://github.com/fregu856/ebms_regressionで入手できる。
関連論文リスト
- Learning to Modulate pre-trained Models in RL [22.812215561012874]
訓練済みモデルの微調整は、しばしば破滅的な忘れ込みに悩まされる。
本研究は、ほとんどの微調整アプローチにおいて、事前学習タスクのパフォーマンスが著しく低下していることを示す。
凍結事前学習モデルの情報フローを変調することにより,学習スキルの劣化を回避する新しい手法L2Mを提案する。
論文 参考訳(メタデータ) (2023-06-26T17:53:05Z) - GEO-Bench: Toward Foundation Models for Earth Monitoring [139.77907168809085]
6つの分類と6つのセグメンテーションタスクからなるベンチマークを提案する。
このベンチマークは、さまざまな地球観測タスクの進行の原動力となる。
論文 参考訳(メタデータ) (2023-06-06T16:16:05Z) - Re-Evaluating LiDAR Scene Flow for Autonomous Driving [80.37947791534985]
自己教師型LiDARシーンフローの一般的なベンチマークは、動的動き、非現実的な対応、非現実的なサンプリングパターンの非現実的な速度を持つ。
実世界のデータセットのスイート上で,トップメソッドのスイートを評価する。
学習に重点を置いているにもかかわらず、ほとんどのパフォーマンス向上は前処理と後処理のステップによって引き起こされる。
論文 参考訳(メタデータ) (2023-04-04T22:45:50Z) - TRAK: Attributing Model Behavior at Scale [79.56020040993947]
本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
論文 参考訳(メタデータ) (2023-03-24T17:56:22Z) - Predictive Experience Replay for Continual Visual Control and
Forecasting [62.06183102362871]
視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。
まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。
我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
論文 参考訳(メタデータ) (2023-03-12T05:08:03Z) - Gradient-Guided Importance Sampling for Learning Binary Energy-Based
Models [46.87187776084161]
本研究では,高次元データからエネルギーベースモデル(EBM)を学習するために,勾配誘導重要度サンプリング(RMwGGIS)との比整合を提案する。
合成離散データを用いた密度モデリング実験,グラフ生成,Isingモデルの訓練を行い,提案手法の評価を行った。
提案手法は,比例マッチングの限界を著しく軽減し,実際により効果的に実行し,高次元問題にスケールすることができる。
論文 参考訳(メタデータ) (2022-10-11T20:52:48Z) - Learning Online for Unified Segmentation and Tracking Models [30.146300294418516]
TrackMLPは、部分的な情報のみから学習するために最適化された新しいメタラーニング手法である。
本モデルでは, 競合モデルに対して, 最先端の性能と具体的な改善を達成できることが示される。
論文 参考訳(メタデータ) (2021-11-12T23:52:59Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳(メタデータ) (2020-12-08T18:03:21Z) - An Efficient Method of Training Small Models for Regression Problems
with Knowledge Distillation [1.433758865948252]
回帰問題に対する知識蒸留の新しい定式化を提案する。
まず,教師モデル予測を用いて,教師モデルを用いた学習サンプルの退学率を下げる新たな損失関数,教師の退学率の減少を提案する。
マルチタスクネットワークを考えることで、学生モデルの特徴抽出の訓練がより効果的になる。
論文 参考訳(メタデータ) (2020-02-28T08:46:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。