Fugu-MT 論文翻訳(概要): Annotation-Free Group Robustness via Loss-Based Resampling

論文の概要: Annotation-Free Group Robustness via Loss-Based Resampling

arxiv url: http://arxiv.org/abs/2312.04893v1
Date: Fri, 8 Dec 2023 08:22:02 GMT
ステータス: 処理完了
システム内更新日: 2023-12-11 15:49:27.046391
Title: Annotation-Free Group Robustness via Loss-Based Resampling
Title（参考訳）: 損失に基づく再サンプリングによるアノテーションフリーグループロバスト性
Authors: Mahdi Ghaznavi, Hesam Asadollahzadeh, HamidReza Yaghoubi Araghi, Fahimeh Hosseini Noohdani, Mohammad Hossein Rohban and Mahdieh Soleymani Baghshah
Abstract要約: 経験的リスク最小化による画像分類のためのニューラルネットワークのトレーニングは、予測のための因果的属性ではなく、突発的な属性に依存することに脆弱である。トレーニングデータの小さな分割に対してERM事前学習モデルを評価することにより、データのグループ化を推測する。水鳥とCelebAデータセットの様々なバージョンにおけるLFRの評価を行った。
参考スコア（独自算出の注目度）: 3.355491272942994
License: http://creativecommons.org/licenses/by/4.0/
Abstract: It is well-known that training neural networks for image classification with empirical risk minimization (ERM) makes them vulnerable to relying on spurious attributes instead of causal ones for prediction. Previously, deep feature re-weighting (DFR) has proposed retraining the last layer of a pre-trained network on balanced data concerning spurious attributes, making it robust to spurious correlation. However, spurious attribute annotations are not always available. In order to provide group robustness without such annotations, we propose a new method, called loss-based feature re-weighting (LFR), in which we infer a grouping of the data by evaluating an ERM-pre-trained model on a small left-out split of the training data. Then, a balanced number of samples is chosen by selecting high-loss samples from misclassified data points and low-loss samples from correctly-classified ones. Finally, we retrain the last layer on the selected balanced groups to make the model robust to spurious correlation. For a complete assessment, we evaluate LFR on various versions of Waterbirds and CelebA datasets with different spurious correlations, which is a novel technique for observing the model's performance in a wide range of spuriosity rates. While LFR is extremely fast and straightforward, it outperforms the previous methods that do not assume group label availability, as well as the DFR with group annotations provided, in cases of high spurious correlation in the training data.
Abstract（参考訳）: 経験的リスク最小化(erm)による画像分類のためのニューラルネットワークのトレーニングは、予測のための因果的属性ではなくスプリアス属性に依存することに対して脆弱であることはよく知られている。これまで、DFR(Deep Feature Re-weighting)は、スプリアス特性に関するバランスのとれたデータに基づいて、事前訓練されたネットワークの最後の層をトレーニングすることを提案した。しかし、スプリアス属性アノテーションは必ずしも利用できない。そこで,このようなアノテーションを使わずにグループロバスト性を実現するために,訓練データの左端分割によるerm事前学習モデルの評価により,データのグループ化を推定するロスベース特徴重み付け(lfr)という新しい手法を提案する。そして、誤って分類されたデータポイントから高損失サンプルを選択し、正しく分類されたデータポイントから低損失サンプルを選択する。最後に、選択した平衡群の最後の層をトレーニングし、モデルがスプリアス相関に頑健になるようにした。水鳥とCelebAデータセットの様々なバージョンにおけるLFRを,様々なスプリケートな相関関係で評価し,このモデルの性能を広範囲のスプリケートレートで観察する新しい手法を提案する。 LFRは非常に高速で単純であるが、トレーニングデータに急激な相関がある場合、グループラベルの可用性を前提としない従来の手法や、グループアノテーションを提供するDFRよりも優れている。

関連論文リスト

Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation [3.894771553698554]
経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
論文参考訳（メタデータ） (2024-10-07T08:17:44Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Towards Last-layer Retraining for Group Robustness with Fewer Annotations [11.650659637480112]
ニューラルネットワークの経験的リスク最小化(ERM)は、急激な相関に過度に依存する傾向がある。最近のDeep Feature Reweighting技術は、単純な最終層再トレーニングによって最先端のグループロバスト性を実現する。重み付けデータセットが最低群データのごく一部しか持たない場合でも、最終層再トレーニングは最悪のグループ精度を大幅に向上させることができることを示す。
論文参考訳（メタデータ） (2023-09-15T16:52:29Z)
Is Last Layer Re-Training Truly Sufficient for Robustness to Spurious Correlations? [2.7985765111086254]
経験的リスク最小化(ERM)で訓練されたモデルは、刺激的な特徴、すなわち彼らの予測は望ましくない補助的な特徴に基づいている。最近提案されたDeep Feature Reweighting (DFR) 法は、これらの最悪のグループの精度を向上させる。本研究では,DFRの医療領域における現実的データへの適用性について検討する。
論文参考訳（メタデータ） (2023-08-01T11:54:34Z)
Class-Adaptive Self-Training for Relation Extraction with Incompletely Annotated Training Data [43.46328487543664]
関係抽出(RE)は、文や文書から関係を抽出することを目的としている。最近の研究により、多くのREデータセットが不完全注釈付きであることが示されている。これは、有効関係が「no_relation」として誤って注釈付けされる偽陰問題として知られている。
論文参考訳（メタデータ） (2023-06-16T09:01:45Z)
Chasing Fairness Under Distribution Shift: A Model Weight Perturbation Approach [72.19525160912943]
まず,分布シフト,データ摂動,モデルウェイト摂動の関連性を理論的に検証した。次に、ターゲットデータセットの公平性を保証するのに十分な条件を分析します。これらの十分な条件により、ロバストフェアネス正則化(RFR)を提案する。
論文参考訳（メタデータ） (2023-03-06T17:19:23Z)
Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文参考訳（メタデータ） (2023-03-06T14:49:59Z)
Towards Robust Visual Question Answering: Making the Most of Biased Samples via Contrastive Learning [54.61762276179205]
我々は,ビザドサンプルを最大限に活用することで,ロバストなVQAモデルを構築するための新しいコントラスト学習手法 MMBS を提案する。具体的には、元のトレーニングサンプルからスプリアス相関に関連する情報を排除し、比較学習のための正のサンプルを構築する。我々は,OODデータセットのVQA-CP v2において,IDデータセットのVQA v2上での堅牢なパフォーマンスを維持しながら,競争性能を達成することで,コントリビューションを検証した。
論文参考訳（メタデータ） (2022-10-10T11:05:21Z)
Open-Sampling: Exploring Out-of-Distribution data for Re-balancing Long-tailed datasets [24.551465814633325]
深層ニューラルネットワークは通常、トレーニングデータセットが極端なクラス不均衡に苦しむ場合、パフォーマンスが良くない。近年の研究では、半教師付き方式でアウト・オブ・ディストリビューションデータによる直接トレーニングが一般化性能を損なうことが報告されている。そこで我々は,オープンセットノイズラベルを用いて学習データセットのクラス前のバランスを再調整する,オープンサンプリングと呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2022-06-17T14:29:52Z)
Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文参考訳（メタデータ） (2021-06-14T05:39:09Z)
Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文参考訳（メタデータ） (2021-06-03T09:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。