論文の概要: Context-Adaptive Deep Neural Networks via Bridge-Mode Connectivity
- arxiv url: http://arxiv.org/abs/2211.15436v1
- Date: Mon, 28 Nov 2022 15:21:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 14:53:50.370282
- Title: Context-Adaptive Deep Neural Networks via Bridge-Mode Connectivity
- Title(参考訳): ブリッジモード接続による文脈適応型ディープニューラルネットワーク
- Authors: Nathan Drenkow, Alvin Tan, Chace Ashcraft, Kiran Karra
- Abstract要約: 文脈依存型モデルを学習するための新しい手法を開発した。
複数のレンズを用いた分類タスクにおける文脈定義について検討する。
実験では、モデルの性能が各シナリオのコンテキストに合わせてうまく調整できることが示されている。
- 参考スコア(独自算出の注目度): 2.294014185517203
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The deployment of machine learning models in safety-critical applications
comes with the expectation that such models will perform well over a range of
contexts (e.g., a vision model for classifying street signs should work in
rural, city, and highway settings under varying lighting/weather conditions).
However, these one-size-fits-all models are typically optimized for average
case performance, encouraging them to achieve high performance in nominal
conditions but exposing them to unexpected behavior in challenging or rare
contexts. To address this concern, we develop a new method for training
context-dependent models. We extend Bridge-Mode Connectivity (BMC) (Garipov et
al., 2018) to train an infinite ensemble of models over a continuous measure of
context such that we can sample model parameters specifically tuned to the
corresponding evaluation context. We explore the definition of context in image
classification tasks through multiple lenses including changes in the risk
profile, long-tail image statistics/appearance, and context-dependent
distribution shift. We develop novel extensions of the BMC optimization for
each of these cases and our experiments demonstrate that model performance can
be successfully tuned to context in each scenario.
- Abstract(参考訳): 安全クリティカルなアプリケーションにおける機械学習モデルのデプロイは、このようなモデルがさまざまな状況でうまく機能することを期待している(例えば、街路標識を分類するためのビジョンモデルは、様々な照明/天候条件下で農村部、都市、高速道路で機能するべきである)。
しかし、これらのワンサイズモデルは通常、平均ケースパフォーマンスに最適化されており、名目上の条件では高いパフォーマンスを達成することを奨励するが、難しい状況や稀な状況では予期せぬ振る舞いに露呈する。
そこで本研究では,文脈依存型モデルを学習するための新しい手法を提案する。
ブリッジモード接続 (bmc) (garipov et al., 2018) を拡張して,モデルの無限アンサンブルを連続的なコンテキストの尺度上でトレーニングし,対応する評価コンテキストに特別に調整したモデルパラメータをサンプリングする。
本研究では,リスクプロファイルの変化,ロングテール画像の統計・出現,コンテキスト依存分布シフトなど,画像分類タスクにおけるコンテキスト定義について検討する。
これらの各ケースに対してbmc最適化の新たな拡張を開発し,各シナリオにおけるモデル性能をコンテキストにうまく調整できることを実験により実証した。
関連論文リスト
- Explore In-Context Segmentation via Latent Diffusion Models [132.26274147026854]
潜在拡散モデル(LDM)は、文脈内セグメンテーションに有効な最小限のモデルである。
画像とビデオの両方のデータセットを含む、新しい、公正なコンテキスト内セグメンテーションベンチマークを構築します。
論文 参考訳(メタデータ) (2024-03-14T17:52:31Z) - Fast Adaptation with Bradley-Terry Preference Models in Text-To-Image
Classification and Generation [0.0]
我々はBradley-Terry選好モデルを利用して、元のモデルを効率的に微調整する高速適応法を開発した。
このフレームワークの能力の広範な証拠は、マルチモーダルテキストや画像理解に関連するさまざまな領域の実験を通じて提供される。
論文 参考訳(メタデータ) (2023-07-15T07:53:12Z) - Conditional Generation from Unconditional Diffusion Models using
Denoiser Representations [94.04631421741986]
本稿では,学習したデノイザネットワークの内部表現を用いて,事前学習した非条件拡散モデルを新しい条件に適用することを提案する。
提案手法により生成した合成画像を用いたTiny ImageNetトレーニングセットの強化により,ResNetベースラインの分類精度が最大8%向上することを示す。
論文 参考訳(メタデータ) (2023-06-02T20:09:57Z) - Pre-training Contextualized World Models with In-the-wild Videos for
Reinforcement Learning [54.67880602409801]
本稿では,視覚制御タスクの学習を効率的に行うために,Wild 動画を多用した事前学習型世界モデルの課題について検討する。
本稿では、コンテキストと動的モデリングを明確に分離したContextualized World Models(ContextWM)を紹介する。
実験により,ContextWMを内蔵したWildビデオ事前学習は,モデルベース強化学習のサンプル効率を大幅に向上できることが示された。
論文 参考訳(メタデータ) (2023-05-29T14:29:12Z) - On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。
我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
論文 参考訳(メタデータ) (2022-11-15T19:56:37Z) - Hierarchical Latent Structure for Multi-Modal Vehicle Trajectory
Forecasting [0.0]
VAEに基づく軌道予測モデルに階層的潜在構造を導入する。
本モデルでは,複数モーダルな軌道分布を明瞭に生成し,予測精度で最先端(SOTA)モデルより優れる。
論文 参考訳(メタデータ) (2022-07-11T04:52:28Z) - Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。
SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。
SFSCは評価データセット上で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-06-16T16:46:32Z) - Slimmable Domain Adaptation [112.19652651687402]
重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。
私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
論文 参考訳(メタデータ) (2022-06-14T06:28:04Z) - Contextformer: A Transformer with Spatio-Channel Attention for Context
Modeling in Learned Image Compression [5.152019611975467]
本稿では,変換器を用いたコンテキストモデルであるContextformerを提案する。
我々は、現代の圧縮フレームワークのコンテキストモデルをContextformerに置き換え、広く使われているKodakイメージデータセット上でテストする。
実験の結果,VVCテストモデル (VVC) と比較すると,提案モデルでは最大10%の削減率が得られることがわかった。
論文 参考訳(メタデータ) (2022-03-04T17:29:32Z) - MAC-ReconNet: A Multiple Acquisition Context based Convolutional Neural
Network for MR Image Reconstruction using Dynamic Weight Prediction [1.978587235008588]
我々は、MRI再構成のためのMAC-ReconNetと呼ばれる複数の取得コンテキストに基づくネットワークを提案する。
提案手法は心臓と脳のデータセットに基づいて複数のコンテキストを扱えることを示す。
また、列車の時刻に見えないコンテキストでテストすることで、モデルの一般化可能性を示す。
論文 参考訳(メタデータ) (2021-11-09T11:14:14Z) - Deep Conditional Transformation Models [0.0]
特徴集合上の結果変数条件の累積分布関数(CDF)を学習することは依然として困難である。
条件変換モデルは、条件付きCDFの大規模なクラスをモデル化できる半パラメトリックなアプローチを提供する。
我々は,新しいネットワークアーキテクチャを提案し,異なるモデル定義の詳細を提供し,適切な制約を導出する。
論文 参考訳(メタデータ) (2020-10-15T16:25:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。