論文の概要: Single Domain Generalization with Model-aware Parametric Batch-wise Mixup
- arxiv url: http://arxiv.org/abs/2502.16064v1
- Date: Sat, 22 Feb 2025 03:45:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-25 15:53:22.932360
- Title: Single Domain Generalization with Model-aware Parametric Batch-wise Mixup
- Title（参考訳）: Model-Aware Parametric Batch-wise Mixupによる単一ドメインの一般化
- Authors: Marzi Heidari, Yuhong Guo,
- Abstract要約: 単一ドメインの一般化は、マシンラーニングの分野において、依然として深刻な課題である。
本稿では,モデル認識型パラメトリックバッチ・ワイド・ミックスアップ(Parametric Batch-wise Mixup)と呼ばれる新しいデータ拡張手法を提案する。
機能間相関を利用することで、パラメータ化されたミックスアップジェネレータは、複数のインスタンスにまたがる機能の組み合わせにおいて、さらなる汎用性を導入する。
- 参考スコア（独自算出の注目度）: 22.709796153794507
- License:
- Abstract: Single Domain Generalization (SDG) remains a formidable challenge in the field of machine learning, particularly when models are deployed in environments that differ significantly from their training domains. In this paper, we propose a novel data augmentation approach, named as Model-aware Parametric Batch-wise Mixup (MPBM), to tackle the challenge of SDG. MPBM deploys adversarial queries generated with stochastic gradient Langevin dynamics, and produces model-aware augmenting instances with a parametric batch-wise mixup generator network that is carefully designed through an innovative attention mechanism. By exploiting inter-feature correlations, the parameterized mixup generator introduces additional versatility in combining features across a batch of instances, thereby enhancing the capacity to generate highly adaptive and informative synthetic instances for specific queries. The synthetic data produced by this adaptable generator network, guided by informative queries, is expected to significantly enrich the representation space covered by the original training dataset and subsequently enhance the prediction model's generalizability across diverse and previously unseen domains. To prevent excessive deviation from the training data, we further incorporate a real-data alignment-based adversarial loss into the learning process of MPBM, regularizing any tendencies toward undesirable expansions. We conduct extensive experiments on several benchmark datasets. The empirical results demonstrate that by augmenting the training set with informative synthesis data, our proposed MPBM method achieves the state-of-the-art performance for single domain generalization.
- Abstract（参考訳）: 単一ドメイン一般化(SDG)は、マシンラーニング分野において、特にトレーニングドメインと大きく異なる環境にモデルがデプロイされる場合、依然として大きな課題である。
本稿では,SDGの課題を解決するために,モデル認識型パラメトリックバッチ・ワイド・ミックスアップ(MPBM)と呼ばれる新しいデータ拡張手法を提案する。
MPBMは確率勾配ランゲヴィンダイナミクスで生成された逆クエリをデプロイし、革新的な注意機構を通じて慎重に設計されるパラメトリックバッチワイド混合生成ネットワークを用いてモデル対応拡張インスタンスを生成する。
パラメータ化されたミックスアップジェネレータは、機能間の相関を利用して、複数のインスタンスにまたがる機能を組み合わせることで、特定のクエリに対して高度に適応的で有益な合成インスタンスを生成する能力を向上させる。
この適応可能なジェネレータネットワークによって生成された合成データは、情報的クエリによってガイドされ、元のトレーニングデータセットでカバーされた表現空間を著しく強化し、その後、様々な、以前は目に見えない領域にわたって予測モデルの一般化性を高めることが期待されている。
トレーニングデータからの過度な逸脱を防止するため,MPBMの学習プロセスに実データアライメントに基づく対向損失を取り入れ,望ましくない拡張への傾向を規則化する。
いくつかのベンチマークデータセットに対して広範な実験を行う。
実験により,情報合成データを用いてトレーニングセットを増強することにより,MPBM法は単一領域の一般化のための最先端性能を実現することを示す。
関連論文リスト
- DPGIIL: Dirichlet Process-Deep Generative Model-Integrated Incremental Learning for Clustering in Transmissibility-based Online Structural Anomaly Detection [0.0]
本研究では、クラスタリングのためのディリクレプロセス深層生成モデル統合インクリメンタルラーニング(DPGIIL)を提案する。
DGMの潜在空間に先立ってDPMMを導入することで、DPGIILは抽出された潜在表現の相違を自動的に捕捉し、生成モデリングとクラスタリングの両方を可能にする。
2つのケーススタディにより、提案手法は、構造異常の検出とクラスタリングにおける最先端のアプローチより優れていることが示された。
論文 参考訳（メタデータ） (2024-12-06T05:18:58Z) - MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。
本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
論文 参考訳（メタデータ） (2024-10-12T07:02:33Z) - Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。
私たちのフレームワークは、3つの新しい目標のファミリーにつながります。
Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
論文 参考訳（メタデータ） (2024-10-10T17:18:30Z) - Toward the Identifiability of Comparative Deep Generative Models [7.5479347719819865]
比較深部生成モデル(DGM)における識別可能性の理論を提案する。
これらのモデルは、一般的な混合関数のクラスにおいて識別性に欠けるが、混合関数が断片的アフィンであるときに驚くほど識別可能であることを示す。
また, モデルミス種別の影響についても検討し, 従来提案されていた比較DGMの正則化手法が, 潜伏変数の数が事前に分かっていない場合に, 識別可能性を高めることを実証的に示す。
論文 参考訳（メタデータ） (2024-01-29T06:10:54Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - Implicit Counterfactual Data Augmentation for Robust Learning [24.795542869249154]
本研究では, 突発的相関を除去し, 安定した予測を行うために, インプリシト・カウンセショナル・データ拡張法を提案する。
画像とテキストのデータセットをカバーする様々なバイアス付き学習シナリオで実験が行われてきた。
論文 参考訳（メタデータ） (2023-04-26T10:36:40Z) - Distributional Learning of Variational AutoEncoder: Application to
Synthetic Data Generation [0.7614628596146602]
本稿では,VAEフレームワークの計算上の利点を犠牲にすることなく,モデル容量を拡大する手法を提案する。
VAEモデルのデコーダは、非対称ラプラス分布の無限混合からなる。
提案したモデルを合成データ生成に適用し,特にデータプライバシの調整が容易であることを示す。
論文 参考訳（メタデータ） (2023-02-22T11:26:50Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳（メタデータ） (2023-01-23T15:18:54Z) - Deep Generative Modeling on Limited Data with Regularization by
Nontransferable Pre-trained Models [32.52492468276371]
本稿では,限られたデータを用いた生成モデルの分散を低減するために,正規化深層生成モデル(Reg-DGM)を提案する。
Reg-DGMは、ある発散の重み付け和とエネルギー関数の期待を最適化するために、事前訓練されたモデルを使用する。
実験的に、様々な事前訓練された特徴抽出器とデータ依存エネルギー関数により、Reg-DGMはデータ制限のある強力なDGMの生成性能を一貫して改善する。
論文 参考訳（メタデータ） (2022-08-30T10:28:50Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference [55.35176938713946]
我々は、ガンマ分布の階層構造を用いて、その多確率層生成ネットワークを構築するディープ・オートエンコーディング・トピック・モデル(DATM)を開発した。
Weibull上向き変分エンコーダを提案する。このエンコーダは深層ニューラルネットワークを介して情報を上向きに伝播し,次いで下向き生成モデルを提案する。
大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
論文 参考訳（メタデータ） (2020-06-15T22:22:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。