論文の概要: Improving Distribution Alignment with Diversity-based Sampling

• arxiv url: http://arxiv.org/abs/2410.04235v1
• Date: Sat, 5 Oct 2024 17:26:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 09:11:41.482606
• Title: Improving Distribution Alignment with Diversity-based Sampling
• Title（参考訳）: 多様性に基づくサンプリングによる分布アライメントの改善
• Authors: Andrea Napoli, Paul White,
• Abstract要約: ドメインシフトは機械学習においてユビキタスであり、実際のデータにデプロイすると、モデルのパフォーマンスが大幅に低下する可能性がある。 本稿では,各サンプル小バッチの多様性を誘導することにより,これらの推定値を改善することを提案する。 同時にデータのバランスを保ち、勾配のばらつきを低減し、それによってモデルの一般化能力を高める。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Domain shifts are ubiquitous in machine learning, and can substantially degrade a model's performance when deployed to real-world data. To address this, distribution alignment methods aim to learn feature representations which are invariant across domains, by minimising the discrepancy between the distributions. However, the discrepancy estimates can be extremely noisy when training via stochastic gradient descent (SGD), and shifts in the relative proportions of different subgroups can lead to domain misalignments; these can both stifle the benefits of the method. This paper proposes to improve these estimates by inducing diversity in each sampled minibatch. This simultaneously balances the data and reduces the variance of the gradients, thereby enhancing the model's generalisation ability. We describe two options for diversity-based data samplers, based on the k-determinantal point process (k-DPP) and the k-means++ algorithm, which can function as drop-in replacements for a standard random sampler. On a real-world domain shift task of bioacoustic event detection, we show that both options 1) yield minibatches which are more representative of the full dataset; 2) reduce the distance estimation error between distributions, for a given sample size; and 3) improve out-of-distribution accuracy for two distribution alignment algorithms, as well as standard ERM.
• Abstract（参考訳）: ドメインシフトは機械学習においてユビキタスであり、実際のデータにデプロイすると、モデルのパフォーマンスが大幅に低下する可能性がある。 分散アライメント手法は、分布間の差を最小限にして、領域間で不変な特徴表現を学習することを目的としている。 しかし、確率勾配勾配(SGD)によるトレーニングでは、差分推定は極めてうるさくなり、異なる部分群の相対比のシフトはドメインの不整合を招きかねない。 本稿では,各サンプル小バッチの多様性を誘導することにより,これらの推定値を改善することを提案する。 これによりデータのバランスが取れ、勾配のばらつきが軽減され、モデルの一般化能力が向上する。 我々は,k-決定点プロセス(k-DPP)とk-means++アルゴリズムに基づく多様性に基づくデータサンプリングの2つの選択肢について述べる。 生体音響事象検出における実世界のドメインシフトタスクについて、両選択肢について示す。 1) 完全なデータセットのより代表的なミニバッチを得る。 2 所定のサンプルサイズの分布間の距離推定誤差を低減し、 3) 2つの分布アライメントアルゴリズムと標準EMMにおける分布外精度の改善を行った。

関連論文リスト

• Reducing Semantic Ambiguity In Domain Adaptive Semantic Segmentation Via Probabilistic Prototypical Pixel Contrast [7.092718945468069]
  ドメイン適応は、ソースとターゲットドメイン間のドメインシフトに起因するターゲットドメインのモデル劣化を低減することを目的としています。 確率的原型画素コントラスト(probabilistic proto-typeal pixel contrast、PPPC)は、各画素の埋め込みを確率としてモデル化する普遍的な適応フレームワークである。 PPPCは、画素レベルでの曖昧さに対処するだけでなく、識別的表現をもたらすだけでなく、合成からリアルタイム、および日毎の適応タスクにおいて大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-09-27T08:25:03Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Deep Generative Sampling in the Dual Divergence Space: A Data-efficient & Interpretative Approach for Generative AI [29.13807697733638]
  自然画像の生成的サンプリングにおける顕著な成果の上に構築する。 我々は、画像に似たサンプルを生成するという、画期的な挑戦を、潜在的に過度に野心的に提案する。 統計上の課題は、小さなサンプルサイズであり、時には数百人の被験者で構成されている。
  論文  参考訳（メタデータ） (2024-04-10T22:35:06Z)
• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• The Bures Metric for Generative Adversarial Networks [10.69910379275607]
  GAN(Generative Adversarial Networks)は、高品質なサンプルを生成する高性能な生成手法である。 実バッチの多様性と偽バッチの多様性を一致させることを提案する。 多様性マッチングはモード崩壊を著しく低減し, サンプル品質に肯定的な影響を及ぼす。
  論文  参考訳（メタデータ） (2020-06-16T12:04:41Z)
• Global Distance-distributions Separation for Unsupervised Person Re-identification [93.39253443415392]
  既存の教師なしのReIDアプローチは、距離ベースのマッチング/ランク付けを通じて正のサンプルと負のサンプルを正しく識別するのに失敗することが多い。 本研究では,2つの分布に対する大域的距離分布分離の制約を導入し,大域的視点から正と負のサンプルを明確に分離することを奨励する。 本研究では,本手法がベースラインを大幅に改善し,最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2020-06-01T07:05:39Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。