Fugu-MT 論文翻訳(概要): Context-Adaptive Deep Neural Networks via Bridge-Mode Connectivity

論文の概要: Context-Adaptive Deep Neural Networks via Bridge-Mode Connectivity

arxiv url: http://arxiv.org/abs/2211.15436v1
Date: Mon, 28 Nov 2022 15:21:54 GMT
ステータス: 処理完了
システム内更新日: 2022-11-29 14:53:50.370282
Title: Context-Adaptive Deep Neural Networks via Bridge-Mode Connectivity
Title（参考訳）: ブリッジモード接続による文脈適応型ディープニューラルネットワーク
Authors: Nathan Drenkow, Alvin Tan, Chace Ashcraft, Kiran Karra
Abstract要約: 文脈依存型モデルを学習するための新しい手法を開発した。複数のレンズを用いた分類タスクにおける文脈定義について検討する。実験では、モデルの性能が各シナリオのコンテキストに合わせてうまく調整できることが示されている。
参考スコア（独自算出の注目度）: 2.294014185517203
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The deployment of machine learning models in safety-critical applications comes with the expectation that such models will perform well over a range of contexts (e.g., a vision model for classifying street signs should work in rural, city, and highway settings under varying lighting/weather conditions). However, these one-size-fits-all models are typically optimized for average case performance, encouraging them to achieve high performance in nominal conditions but exposing them to unexpected behavior in challenging or rare contexts. To address this concern, we develop a new method for training context-dependent models. We extend Bridge-Mode Connectivity (BMC) (Garipov et al., 2018) to train an infinite ensemble of models over a continuous measure of context such that we can sample model parameters specifically tuned to the corresponding evaluation context. We explore the definition of context in image classification tasks through multiple lenses including changes in the risk profile, long-tail image statistics/appearance, and context-dependent distribution shift. We develop novel extensions of the BMC optimization for each of these cases and our experiments demonstrate that model performance can be successfully tuned to context in each scenario.
Abstract（参考訳）: 安全クリティカルなアプリケーションにおける機械学習モデルのデプロイは、このようなモデルがさまざまな状況でうまく機能することを期待している(例えば、街路標識を分類するためのビジョンモデルは、様々な照明/天候条件下で農村部、都市、高速道路で機能するべきである)。しかし、これらのワンサイズモデルは通常、平均ケースパフォーマンスに最適化されており、名目上の条件では高いパフォーマンスを達成することを奨励するが、難しい状況や稀な状況では予期せぬ振る舞いに露呈する。そこで本研究では,文脈依存型モデルを学習するための新しい手法を提案する。ブリッジモード接続 (bmc) (garipov et al., 2018) を拡張して,モデルの無限アンサンブルを連続的なコンテキストの尺度上でトレーニングし,対応する評価コンテキストに特別に調整したモデルパラメータをサンプリングする。本研究では,リスクプロファイルの変化,ロングテール画像の統計・出現,コンテキスト依存分布シフトなど,画像分類タスクにおけるコンテキスト定義について検討する。これらの各ケースに対してbmc最適化の新たな拡張を開発し,各シナリオにおけるモデル性能をコンテキストにうまく調整できることを実験により実証した。

関連論文リスト

Meta-Learning Adaptable Foundation Models [37.458141335750696]
本稿では,PEFTを組み込んだメタラーニングフレームワークを導入し,未知のタスクに容易に適応可能なモデルを学習する。この設定では、適応可能なパラメータの集合を見つけるための標準再訓練の準最適性を示す。次に、これらの理論的洞察をRoBERTaモデルの再訓練に適用し、ConvAI2データセット内の会話の継続を予測する。
論文参考訳（メタデータ） (2024-10-29T17:24:18Z)
Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
論文参考訳（メタデータ） (2024-06-19T08:07:14Z)
Explore In-Context Segmentation via Latent Diffusion Models [132.26274147026854]
潜在拡散モデル(LDM)は、文脈内セグメンテーションに有効な最小限のモデルである。画像とビデオの両方のデータセットを含む、新しい、公正なコンテキスト内セグメンテーションベンチマークを構築します。
論文参考訳（メタデータ） (2024-03-14T17:52:31Z)
Fast Adaptation with Bradley-Terry Preference Models in Text-To-Image Classification and Generation [0.0]
我々はBradley-Terry選好モデルを利用して、元のモデルを効率的に微調整する高速適応法を開発した。このフレームワークの能力の広範な証拠は、マルチモーダルテキストや画像理解に関連するさまざまな領域の実験を通じて提供される。
論文参考訳（メタデータ） (2023-07-15T07:53:12Z)
Conditional Generation from Unconditional Diffusion Models using Denoiser Representations [94.04631421741986]
本稿では,学習したデノイザネットワークの内部表現を用いて,事前学習した非条件拡散モデルを新しい条件に適用することを提案する。提案手法により生成した合成画像を用いたTiny ImageNetトレーニングセットの強化により,ResNetベースラインの分類精度が最大8%向上することを示す。
論文参考訳（メタデータ） (2023-06-02T20:09:57Z)
Pre-training Contextualized World Models with In-the-wild Videos for Reinforcement Learning [54.67880602409801]
本稿では,視覚制御タスクの学習を効率的に行うために,Wild 動画を多用した事前学習型世界モデルの課題について検討する。本稿では、コンテキストと動的モデリングを明確に分離したContextualized World Models(ContextWM)を紹介する。実験により,ContextWMを内蔵したWildビデオ事前学習は,モデルベース強化学習のサンプル効率を大幅に向上できることが示された。
論文参考訳（メタデータ） (2023-05-29T14:29:12Z)
On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
論文参考訳（メタデータ） (2022-11-15T19:56:37Z)
Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。 SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。 SFSCは評価データセット上で最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2022-06-16T16:46:32Z)
Contextformer: A Transformer with Spatio-Channel Attention for Context Modeling in Learned Image Compression [5.152019611975467]
本稿では,変換器を用いたコンテキストモデルであるContextformerを提案する。我々は、現代の圧縮フレームワークのコンテキストモデルをContextformerに置き換え、広く使われているKodakイメージデータセット上でテストする。実験の結果,VVCテストモデル (VVC) と比較すると,提案モデルでは最大10%の削減率が得られることがわかった。
論文参考訳（メタデータ） (2022-03-04T17:29:32Z)
MAC-ReconNet: A Multiple Acquisition Context based Convolutional Neural Network for MR Image Reconstruction using Dynamic Weight Prediction [1.978587235008588]
我々は、MRI再構成のためのMAC-ReconNetと呼ばれる複数の取得コンテキストに基づくネットワークを提案する。提案手法は心臓と脳のデータセットに基づいて複数のコンテキストを扱えることを示す。また、列車の時刻に見えないコンテキストでテストすることで、モデルの一般化可能性を示す。
論文参考訳（メタデータ） (2021-11-09T11:14:14Z)
Deep Conditional Transformation Models [0.0]
特徴集合上の結果変数条件の累積分布関数(CDF)を学習することは依然として困難である。条件変換モデルは、条件付きCDFの大規模なクラスをモデル化できる半パラメトリックなアプローチを提供する。我々は,新しいネットワークアーキテクチャを提案し,異なるモデル定義の詳細を提供し,適切な制約を導出する。
論文参考訳（メタデータ） (2020-10-15T16:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。