論文の概要: REST: Enhancing Group Robustness in DNNs through Reweighted Sparse Training

• arxiv url: http://arxiv.org/abs/2312.03044v1
• Date: Tue, 5 Dec 2023 16:27:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-12-07 17:17:51.122037
• Title: REST: Enhancing Group Robustness in DNNs through Reweighted Sparse Training
• Title（参考訳）: REST: DNNにおけるグループロバストネスの強化とスパーストレーニング
• Authors: Jiaxu Zhao, Lu Yin, Shiwei Liu, Meng Fang, Mykola Pechenizkiy
• Abstract要約: ディープニューラルネットワーク(DNN)は様々な領域で有効であることが証明されている。 しかし、彼らは推論中に一部の少数派でうまく行動するのに苦労することが多い。
• 参考スコア（独自算出の注目度）: 49.581884130880944
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The deep neural network (DNN) has been proven effective in various domains. However, they often struggle to perform well on certain minority groups during inference, despite showing strong performance on the majority of data groups. This is because over-parameterized models learned \textit{bias attributes} from a large number of \textit{bias-aligned} training samples. These bias attributes are strongly spuriously correlated with the target variable, causing the models to be biased towards spurious correlations (i.e., \textit{bias-conflicting}). To tackle this issue, we propose a novel \textbf{re}weighted \textbf{s}parse \textbf{t}raining framework, dubbed as \textit{\textbf{REST}}, which aims to enhance the performance of biased data while improving computation and memory efficiency. Our proposed REST framework has been experimentally validated on three datasets, demonstrating its effectiveness in exploring unbiased subnetworks. We found that REST reduces the reliance on spuriously correlated features, leading to better performance across a wider range of data groups with fewer training and inference resources. We highlight that the \textit{REST} framework represents a promising approach for improving the performance of DNNs on biased data, while simultaneously improving computation and memory efficiency. By reducing the reliance on spurious correlations, REST has the potential to enhance the robustness of DNNs and improve their generalization capabilities. Code is released at \url{https://github.com/zhao1402072392/REST}
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は様々な領域で有効であることが証明されている。 しかし、ほとんどのデータグループで強いパフォーマンスを示したにもかかわらず、推論中に一部のマイノリティグループでうまく機能するのに苦労することが多い。 これは、過剰パラメータモデルが多くの \textit{bias-aligned} トレーニングサンプルから \textit{bias attribute} を学んだためである。 これらのバイアス特性は、ターゲット変数と強く刺激的に相関し、モデルが刺激的な相関(すなわち \textit{bias-conflicting})にバイアスされる。 この問題に対処するため,我々は,計算とメモリ効率を改善しつつバイアスデータの性能を向上させることを目的とした,新しい \textit{\textbf{re}weighted \textbf{s}parse \textbf{t}raining framework, \textit{\textbf{rest}} を提案する。 提案するrestフレームワークは,3つのデータセット上で実験的に検証され,偏りのないサブネットワークを探索する上での有効性を示す。 私たちは、RESTが急激な相関を持つ機能への依存を減らし、トレーニングや推論リソースを減らし、より広い範囲のデータグループのパフォーマンスを向上させることに気づきました。 このフレームワークは、バイアスデータ上でのDNNのパフォーマンスを改善するとともに、計算とメモリ効率を同時に向上するための有望なアプローチである。 急激な相関への依存を減らすことで、RESTはDNNの堅牢性を高め、その一般化能力を向上させる可能性がある。 コードは \url{https://github.com/zhao1402072392/REST} でリリースされる

関連論文リスト

• Rethinking Relation Extraction: Beyond Shortcuts to Generalization with a Debiased Benchmark [53.876493664396506]
  ベンチマークは、機械学習アルゴリズムのパフォーマンスの評価、比較の促進、優れたソリューションの特定に不可欠である。 本稿では,関係抽出タスクにおけるエンティティバイアスの問題に対処する。 本稿では,エンティティの代替によって,エンティティ参照と関係型との擬似相関を破る不偏関係抽出ベンチマークDREBを提案する。 DREBの新たなベースラインを確立するために,データレベルとモデルトレーニングレベルを組み合わせたデバイアス手法であるMixDebiasを導入する。
  論文  参考訳（メタデータ） (2025-01-02T17:01:06Z)
• RAZOR: Sharpening Knowledge by Cutting Bias with Unsupervised Text Rewriting [16.633948320306832]
  手動で構築されたデータセットで一般的なバイアスは、トークンとラベルの間に急激な相関をもたらす可能性がある。 既存のデバイアス法は、しばしば特定のデータセットバイアスに関する事前の知識に依存している。 本稿では,ショートカット緩和のためのテキスト書き直しに基づく,新規で教師なし,データ重視のデバイアス処理手法であるRAZORを提案する。
  論文  参考訳（メタデータ） (2024-12-10T17:02:58Z)
• Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation [3.894771553698554]
  経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。 これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。 本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:17:44Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• SMaRt: Improving GANs with Score Matching Regularity [94.81046452865583]
  生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。 スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることを示す。 スコアマッチング規則性(SMaRt)を用いたGANの最適化を提案する。
  論文  参考訳（メタデータ） (2023-11-30T03:05:14Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental Regularization [5.182014186927254]
  大規模Deep Neural Networks(DNN)の分散トレーニングと推論にFL(Federated Learning)が成功している。 我々は、(i)動的プルーニングとエラーフィードバックを組み合わせて冗長な情報交換を排除する新しいFLフレームワーク(Coined FedDIP)にコントリビュートする。 我々は、FedDIPの収束解析と総合的な性能について報告し、最先端手法との比較評価を行う。
  論文  参考訳（メタデータ） (2023-09-13T08:51:19Z)
• UnbiasedNets: A Dataset Diversification Framework for Robustness Bias Alleviation in Neural Networks [11.98126285848966]
  最も正確なNNでさえ、利用可能なトレーニングデータセットに固有のバイアスがあるため、特定の出力分類に偏りがある。 本論文は、ある出力クラスにおいて、雑音に対するロバスト性が大きく、訓練されたNNが提示するロバスト性バイアスを扱う。 K平均クラスタリングとNNの雑音耐性を利用して、与えられたトレーニングデータセットを多様化するUnbiasedNetsフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:49:43Z)
• Integrating Random Effects in Deep Neural Networks [4.860671253873579]
  深層ニューラルネットワークにおける相関データを扱うために混合モデルフレームワークを提案する。 相関構造に基づく効果をランダムな効果として扱うことにより、混合モデルは過度に適合したパラメータ推定を避けることができる。 LMMNNと呼ばれる我々のアプローチは、様々な相関シナリオにおいて、自然競合よりも性能を向上させることが実証されている。
  論文  参考訳（メタデータ） (2022-06-07T14:02:24Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Does Data Repair Lead to Fair Models? Curating Contextually Fair Data To Reduce Model Bias [10.639605996067534]
  コンテキスト情報は、より優れた表現を学び、精度を向上させるために、ディープニューラルネットワーク(DNN)にとって貴重なキューである。 COCOでは、多くの対象カテゴリーは、男性よりも男性の方がはるかに高い共起性を持ち、男性に有利なDNNの予測を偏見を与える可能性がある。 本研究では, 変動係数を用いたデータ修復アルゴリズムを導入し, 保護されたクラスに対して, 公平かつ文脈的にバランスの取れたデータをキュレートする。
  論文  参考訳（メタデータ） (2021-10-20T06:00:03Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Adversarial Filters of Dataset Biases [96.090959788952]
  大規模なニューラルモデルでは、言語とビジョンベンチマークで人間レベルのパフォーマンスが実証されている。 それらの性能は、敵対的またはアウト・オブ・ディストリビューションのサンプルで著しく低下する。 このようなデータセットバイアスを逆フィルタするAFLiteを提案する。
  論文  参考訳（メタデータ） (2020-02-10T21:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。