論文の概要: Are All Vision Models Created Equal? A Study of the Open-Loop to Closed-Loop Causality Gap

• arxiv url: http://arxiv.org/abs/2210.04303v1
• Date: Sun, 9 Oct 2022 16:56:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 14:05:31.542970
• Title: Are All Vision Models Created Equal? A Study of the Open-Loop to Closed-Loop Causality Gap
• Title（参考訳）: すべてのビジョンモデルは等しくなるか? 開ループ対閉ループ因果関係ギャップに関する研究
• Authors: Mathias Lechner, Ramin Hasani, Alexander Amini, Tsun-Hsuan Wang, Thomas A. Henzinger, Daniela Rus
• Abstract要約: オープンループからクローズループ因果性ギャップに関する視覚アーキテクチャについて検討する。 適切なトレーニングガイドラインの下では、すべての視覚モデルが分散配置において不明瞭によく機能することを示す。 その結果,現代のネットワークアーキテクチャを用いたトレーニングガイドラインの提案により,因果関係のギャップを解消できることが示唆された。
• 参考スコア（独自算出の注目度）: 109.46323960299146
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: There is an ever-growing zoo of modern neural network models that can efficiently learn end-to-end control from visual observations. These advanced deep models, ranging from convolutional to patch-based networks, have been extensively tested on offline image classification and regression tasks. In this paper, we study these vision architectures with respect to the open-loop to closed-loop causality gap, i.e., offline training followed by an online closed-loop deployment. This causality gap typically emerges in robotics applications such as autonomous driving, where a network is trained to imitate the control commands of a human. In this setting, two situations arise: 1) Closed-loop testing in-distribution, where the test environment shares properties with those of offline training data. 2) Closed-loop testing under distribution shifts and out-of-distribution. Contrary to recently reported results, we show that under proper training guidelines, all vision models perform indistinguishably well on in-distribution deployment, resolving the causality gap. In situation 2, We observe that the causality gap disrupts performance regardless of the choice of the model architecture. Our results imply that the causality gap can be solved in situation one with our proposed training guideline with any modern network architecture, whereas achieving out-of-distribution generalization (situation two) requires further investigations, for instance, on data diversity rather than the model architecture.
• Abstract（参考訳）: 現代のニューラルネットワークモデルには、視覚的な観察からエンドツーエンドの制御を効率的に学習できる動物園がある。 畳み込みからパッチベースのネットワークまで、これらの高度な深層モデルは、オフラインの画像分類と回帰タスクで広範囲にテストされてきた。 本稿では,オープンループからクローズループへの因果関係のギャップ,すなわちオフライントレーニングとオンラインクローズループ展開について,これらの視覚アーキテクチャについて検討する。 この因果性ギャップは通常、人間の制御コマンドを模倣するためにネットワークを訓練する自律運転のようなロボット工学の応用に現れる。 この設定では、2つの状況が生じる。 1) テスト環境がオフライントレーニングデータとプロパティを共有している場合, 流通時のクローズドループテストを行う。 2)流通シフトとアウト・オブ・ディストリビューションによる閉ループ試験。 最近報告された結果とは対照的に,適切なトレーニングガイドラインの下では,すべての視覚モデルが分散配置において,因果性ギャップを解消し,識別不能に機能することを示した。 状況2では、因果差がモデルアーキテクチャの選択に関係なく性能を損なうことが観察される。 提案するトレーニングガイドラインと現代的なネットワークアーキテクチャを組み合わせることで,因果関係のギャップを解決できることを示すとともに,分散一般化(situation two)を実現するには,例えばモデルアーキテクチャではなく,データ多様性に関するさらなる調査が必要である。

関連論文リスト

• Mitigating Covariate Shift in Imitation Learning for Autonomous Vehicles Using Latent Space Generative World Models [60.87795376541144]
  World Model(ワールドモデル)は、エージェントの次の状態を予測できるニューラルネットワークである。 エンド・ツー・エンドのトレーニングでは、人間のデモで観察された状態と整合してエラーから回復する方法を学ぶ。 クローズドループ試験における先行技術に有意な改善がみられた定性的,定量的な結果を示す。
  論文  参考訳（メタデータ） (2024-09-25T06:48:25Z)
• Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
  様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。 トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。 しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
  論文  参考訳（メタデータ） (2023-05-28T17:09:32Z)
• Linear Connectivity Reveals Generalization Strategies [54.947772002394736]
  微調整されたモデルのいくつかは、それらの間の線形経路における損失を増大させる大きな障壁を持つ。 テスト損失面上で線形に接続されているが、クラスタ外のモデルから切り離されている異なるモデルのクラスタが見つかる。 我々の研究は、損失面の幾何学がモデルを異なる関数へと導く方法を示している。
  論文  参考訳（メタデータ） (2022-05-24T23:43:02Z)
• Characterizing and Understanding the Behavior of Quantized Models for Reliable Deployment [32.01355605506855]
  量子化対応トレーニングは、標準、逆数、ミックスアップトレーニングよりも安定したモデルを生成することができる。 診断は、しばしばトップ1とトップ2の出力確率に近づき、$Margin$は、相違点を区別する他の不確実性指標よりも優れた指標である。 我々は、量子化されたモデルをさらに研究するための新しいベンチマークとして、コードとモデルをオープンソース化した。
  論文  参考訳（メタデータ） (2022-04-08T11:19:16Z)
• Variational Beam Search for Learning with Distribution Shifts [26.345665980534374]
  i)最小限の連続観測に基づく微妙な分布シフトの推論が可能であり、(ii)それに応じてモデルをオンライン方式で適応できるベイズ式メタアルゴリズムを提案する。 私たちの提案するアプローチはモデルに依存しず、教師なしと教師なしの両方の学習に適用可能であり、最先端のベイズオンライン学習アプローチよりも大幅に改善されます。
  論文  参考訳（メタデータ） (2020-12-15T05:28:47Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• From Simulation to Real World Maneuver Execution using Deep Reinforcement Learning [69.23334811890919]
  深層強化学習(Deep Reinforcement Learning)は、さまざまな分野における多くの制御タスクを解決できることが証明されている。 これは主に、シミュレーションデータと実世界のデータ間のドメイン適応の欠如と、トレインデータセットとテストデータセットの区別の欠如による。 本稿では,エージェントが同時に訓練される複数の環境に基づくシステムを提案する。
  論文  参考訳（メタデータ） (2020-05-13T14:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。