論文の概要: Deep Stable Learning for Out-Of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2104.07876v1
• Date: Fri, 16 Apr 2021 03:54:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-19 14:38:40.810515
• Title: Deep Stable Learning for Out-Of-Distribution Generalization
• Title（参考訳）: out-of-distribution generalizationのための深層安定学習
• Authors: Xingxuan Zhang, Peng Cui, Renzhe Xu, Linjun Zhou, Yue He, Zheyan Shen
• Abstract要約: 深層ニューラルネットワークに基づくアプローチは、同様の分布を持つデータとトレーニングデータをテストする際に顕著なパフォーマンスを達成した。 トレーニングとテストデータ間の分散シフトの影響を排除することは、パフォーマンス向上の深層モデルの構築に不可欠です。 トレーニングサンプルの学習重みによる特徴間の依存関係を除去し,この問題に対処することを提案する。
• 参考スコア（独自算出の注目度）: 27.437046504902938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Approaches based on deep neural networks have achieved striking performance when testing data and training data share similar distribution, but can significantly fail otherwise. Therefore, eliminating the impact of distribution shifts between training and testing data is crucial for building performance-promising deep models. Conventional methods assume either the known heterogeneity of training data (e.g. domain labels) or the approximately equal capacities of different domains. In this paper, we consider a more challenging case where neither of the above assumptions holds. We propose to address this problem by removing the dependencies between features via learning weights for training samples, which helps deep models get rid of spurious correlations and, in turn, concentrate more on the true connection between discriminative features and labels. Extensive experiments clearly demonstrate the effectiveness of our method on multiple distribution generalization benchmarks compared with state-of-the-art counterparts. Through extensive experiments on distribution generalization benchmarks including PACS, VLCS, MNIST-M, and NICO, we show the effectiveness of our method compared with state-of-the-art counterparts.
• Abstract（参考訳）: ディープニューラルネットワークに基づくアプローチは、データテストとトレーニングデータは同じ分布を共有している場合、顕著なパフォーマンスを達成したが、それ以外は著しく失敗する可能性がある。 したがって、トレーニングとテストデータ間の分散シフトの影響を排除することは、パフォーマンスを期待する深いモデルを構築する上で重要である。 従来の手法では、トレーニングデータの既知の不均一性(例)を仮定する。 ドメインラベル)または、異なるドメインのほぼ等しい容量。 本稿では,上記のいずれの仮定も持たない,より難しいケースについて考察する。 そこで本研究では,学習サンプルの学習重みを通して特徴間の依存関係を取り除き,深層モデルが散発的な相関を解消し,識別的特徴とラベルの真の関連に重きを置くことで,この問題に対処することを提案する。 複数の分布一般化ベンチマークにおける本手法の有効性を,最先端の手法と比較して明らかに実証した。 PACS, VLCS, MNIST-M, NICOなどの分布一般化ベンチマークの広範な実験を通じて, 最先端の手法と比較して, 本手法の有効性を示す。

関連論文リスト

• Diffusion Attribution Score: Evaluating Training Data Influence in Diffusion Model [22.39558434131574]
  拡散モデルに対する既存のデータ帰属法は、典型的にはトレーニングサンプルの寄与を定量化する。 拡散損失の直接的利用は,拡散損失の計算により,そのような貢献を正確に表すことはできない。 本研究の目的は, 予測分布と属性スコアとの直接比較を計測し, トレーニングサンプルの重要性を分析することである。
  論文  参考訳（メタデータ） (2024-10-24T10:58:17Z)
• Simple Ingredients for Offline Reinforcement Learning [86.1988266277766]
  オフライン強化学習アルゴリズムは、ターゲット下流タスクに高度に接続されたデータセットに有効であることが証明された。 既存の手法が多様なデータと競合することを示す。その性能は、関連するデータ収集によって著しく悪化するが、オフラインバッファに異なるタスクを追加するだけでよい。 アルゴリズム的な考慮以上のスケールが、パフォーマンスに影響を及ぼす重要な要因であることを示す。
  論文  参考訳（メタデータ） (2024-03-19T18:57:53Z)
• A Comparative Evaluation of FedAvg and Per-FedAvg Algorithms for Dirichlet Distributed Heterogeneous Data [2.5507252967536522]
  我々は、生データを共有せずにデバイス上で分散モデルトレーニングを可能にする機械学習のパラダイムであるフェデレートラーニング(FL)について検討する。 フェデレート平均化(FedAvg)とパーフェデレーション平均化(Per-FedAvg)の2つの戦略を比較した。 この結果は、分散環境でのより効率的かつ効率的な機械学習戦略の開発に関する洞察を提供する。
  論文  参考訳（メタデータ） (2023-09-03T21:33:15Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• Federated XGBoost on Sample-Wise Non-IID Data [8.49189353769386]
  決定木ベースのモデル、特にXGBoostは、非IIDデータを扱うことができる。 本稿では,Federated XGBoostが非IID分布に与える影響について検討する。
  論文  参考訳（メタデータ） (2022-09-03T06:14:20Z)
• Is it all a cluster game? -- Exploring Out-of-Distribution Detection based on Clustering in the Embedding Space [7.856998585396422]
  新しい入力がトレーニング分布と大きく異なるタイミングを決定するためには、ディープニューラルネットワークの安全性クリティカルな応用が不可欠である。 埋め込み空間におけるクラスタの構造と分離について検討し、教師付きコントラスト学習が十分に分離されたクラスタに繋がることを示す。 異なるトレーニング方法、クラスタリング戦略、距離メトリクス、しきい値設定アプローチの分析において、明確な勝者は存在しない。
  論文  参考訳（メタデータ） (2022-03-16T11:22:23Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。