論文の概要: REST: Enhancing Group Robustness in DNNs through Reweighted Sparse Training

• arxiv url: http://arxiv.org/abs/2312.03044v2
• Date: Fri, 8 Dec 2023 11:25:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 17:57:03.320920
• Title: REST: Enhancing Group Robustness in DNNs through Reweighted Sparse Training
• Title（参考訳）: REST: DNNにおけるグループロバストネスの強化とスパーストレーニング
• Authors: Jiaxu Zhao, Lu Yin, Shiwei Liu, Meng Fang, Mykola Pechenizkiy
• Abstract要約: ディープニューラルネットワーク(DNN)は様々な領域で有効であることが証明されている。 しかし、彼らは推論中に一部の少数派でうまく行動するのに苦労することが多い。
• 参考スコア（独自算出の注目度）: 49.581884130880944
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The deep neural network (DNN) has been proven effective in various domains. However, they often struggle to perform well on certain minority groups during inference, despite showing strong performance on the majority of data groups. This is because over-parameterized models learned \textit{bias attributes} from a large number of \textit{bias-aligned} training samples. These bias attributes are strongly spuriously correlated with the target variable, causing the models to be biased towards spurious correlations (i.e., \textit{bias-conflicting}). To tackle this issue, we propose a novel \textbf{re}weighted \textbf{s}parse \textbf{t}raining framework, dubbed as \textit{\textbf{REST}}, which aims to enhance the performance of biased data while improving computation and memory efficiency. Our proposed REST framework has been experimentally validated on three datasets, demonstrating its effectiveness in exploring unbiased subnetworks. We found that REST reduces the reliance on spuriously correlated features, leading to better performance across a wider range of data groups with fewer training and inference resources. We highlight that the \textit{REST} framework represents a promising approach for improving the performance of DNNs on biased data, while simultaneously improving computation and memory efficiency. By reducing the reliance on spurious correlations, REST has the potential to enhance the robustness of DNNs and improve their generalization capabilities. Code is released at \url{https://github.com/zhao1402072392/REST}
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は様々な領域で有効であることが証明されている。 しかし、ほとんどのデータグループで強いパフォーマンスを示したにもかかわらず、推論中に一部のマイノリティグループでうまく機能するのに苦労することが多い。 これは、過剰パラメータモデルが多くの \textit{bias-aligned} トレーニングサンプルから \textit{bias attribute} を学んだためである。 これらのバイアス特性は、ターゲット変数と強く刺激的に相関し、モデルが刺激的な相関(すなわち \textit{bias-conflicting})にバイアスされる。 この問題に対処するため,我々は,計算とメモリ効率を改善しつつバイアスデータの性能を向上させることを目的とした,新しい \textit{\textbf{re}weighted \textbf{s}parse \textbf{t}raining framework, \textit{\textbf{rest}} を提案する。 提案するrestフレームワークは,3つのデータセット上で実験的に検証され,偏りのないサブネットワークを探索する上での有効性を示す。 私たちは、RESTが急激な相関を持つ機能への依存を減らし、トレーニングや推論リソースを減らし、より広い範囲のデータグループのパフォーマンスを向上させることに気づきました。 このフレームワークは、バイアスデータ上でのDNNのパフォーマンスを改善するとともに、計算とメモリ効率を同時に向上するための有望なアプローチである。 急激な相関への依存を減らすことで、RESTはDNNの堅牢性を高め、その一般化能力を向上させる可能性がある。 コードは \url{https://github.com/zhao1402072392/REST} でリリースされる

関連論文リスト

• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• SMaRt: Improving GANs with Score Matching Regularity [94.81046452865583]
  生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。 スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることを示す。 スコアマッチング規則性(SMaRt)を用いたGANの最適化を提案する。
  論文  参考訳（メタデータ） (2023-11-30T03:05:14Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• UnbiasedNets: A Dataset Diversification Framework for Robustness Bias Alleviation in Neural Networks [11.98126285848966]
  最も正確なNNでさえ、利用可能なトレーニングデータセットに固有のバイアスがあるため、特定の出力分類に偏りがある。 本論文は、ある出力クラスにおいて、雑音に対するロバスト性が大きく、訓練されたNNが提示するロバスト性バイアスを扱う。 K平均クラスタリングとNNの雑音耐性を利用して、与えられたトレーニングデータセットを多様化するUnbiasedNetsフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:49:43Z)
• Integrating Random Effects in Deep Neural Networks [4.860671253873579]
  深層ニューラルネットワークにおける相関データを扱うために混合モデルフレームワークを提案する。 相関構造に基づく効果をランダムな効果として扱うことにより、混合モデルは過度に適合したパラメータ推定を避けることができる。 LMMNNと呼ばれる我々のアプローチは、様々な相関シナリオにおいて、自然競合よりも性能を向上させることが実証されている。
  論文  参考訳（メタデータ） (2022-06-07T14:02:24Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Does Data Repair Lead to Fair Models? Curating Contextually Fair Data To Reduce Model Bias [10.639605996067534]
  コンテキスト情報は、より優れた表現を学び、精度を向上させるために、ディープニューラルネットワーク(DNN)にとって貴重なキューである。 COCOでは、多くの対象カテゴリーは、男性よりも男性の方がはるかに高い共起性を持ち、男性に有利なDNNの予測を偏見を与える可能性がある。 本研究では, 変動係数を用いたデータ修復アルゴリズムを導入し, 保護されたクラスに対して, 公平かつ文脈的にバランスの取れたデータをキュレートする。
  論文  参考訳（メタデータ） (2021-10-20T06:00:03Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。