論文の概要: Generalizability through Explainability: Countering Overfitting with Counterfactual Examples

• arxiv url: http://arxiv.org/abs/2502.09193v1
• Date: Thu, 13 Feb 2025 11:33:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:47:39.712472
• Title: Generalizability through Explainability: Countering Overfitting with Counterfactual Examples
• Title（参考訳）: 説明可能性による一般化可能性:反実例によるオーバーフィッティングの対策
• Authors: Flavio Giorgi, Fabiano Veglianti, Fabrizio Silvestri, Gabriele Tolomei,
• Abstract要約: オーバーフィッティング(Overfitting)は、モデルが予測を新しい、目に見えないデータに一般化するのに苦労するときに発生する機械学習のよく知られた問題である。 オーバーフィッティングを緩和する従来のテクニックには、早期停止、データ拡張、正規化などがある。 CF-Regはトレーニング損失の新たな正規化用語であり,各インスタンスと対応するカウンターファクトの十分なマージンを確保することでオーバーフィッティングを制御する。
• 参考スコア（独自算出の注目度）: 6.3107782051840555
• License:
• Abstract: Overfitting is a well-known issue in machine learning that occurs when a model struggles to generalize its predictions to new, unseen data beyond the scope of its training set. Traditional techniques to mitigate overfitting include early stopping, data augmentation, and regularization. In this work, we demonstrate that the degree of overfitting of a trained model is correlated with the ability to generate counterfactual examples. The higher the overfitting, the easier it will be to find a valid counterfactual example for a randomly chosen input data point. Therefore, we introduce CF-Reg, a novel regularization term in the training loss that controls overfitting by ensuring enough margin between each instance and its corresponding counterfactual. Experiments conducted across multiple datasets and models show that our counterfactual regularizer generally outperforms existing regularization techniques.
• Abstract（参考訳）: オーバーフィッティング(Overfitting)は、機械学習においてよく知られた問題であり、モデルがその予測をトレーニングセットの範囲を超えて、新しい、目に見えないデータに一般化するのに苦労するときに発生する。 オーバーフィッティングを緩和する従来のテクニックには、早期停止、データ拡張、正規化などがある。 本研究では,訓練されたモデルの過剰適合度が,逆実例を生成する能力と相関していることを示す。 オーバーフィッティングが高くなればなるほど、ランダムに選択された入力データポイントに対する有効な偽例を見つけるのが簡単になる。 そこで、CF-Regは、各インスタンスとそれに対応する対物との十分なマージンを確保し、オーバーフィッティングを制御する訓練損失の新しい正規化用語である。 複数のデータセットやモデルにまたがる実験により、カウンターファクトの正則化器は、既存の正則化技術よりも一般的に優れていることが示された。

関連論文リスト

• Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
  大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。 テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-11T23:02:26Z)
• On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
  教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。 本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。 この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
  論文  参考訳（メタデータ） (2024-03-11T16:23:42Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Negotiated Representations for Machine Mearning Application [0.0]
  オーバーフィッティング(Overfitting)は、機械学習モデルが長時間トレーニングされ、提供されたトレーニングラベルに対するトレーニングサンプルの正確な適合度に過度にフォーカスされた場合に発生する現象である。 本稿では,事前に決定されたクラスラベルを用いて,サンプルの出力表現を交渉可能にすることによって,機械学習モデルの分類精度を高める手法を提案する。
  論文  参考訳（メタデータ） (2023-11-19T19:53:49Z)
• Testing for Overfitting [0.0]
  オーバーフィッティング問題について議論し、トレーニングデータによる評価に標準値と集中値が成立しない理由を説明する。 本稿では,モデルの性能をトレーニングデータを用いて評価できる仮説テストを紹介し,議論する。
  論文  参考訳（メタデータ） (2023-05-09T22:49:55Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Debiased Fine-Tuning for Vision-language Models by Prompt Regularization [50.41984119504716]
  本稿では,Prompt Regularization(ProReg)と呼ばれる下流タスクにおける大規模視覚事前訓練モデルの微調整のための新しいパラダイムを提案する。 ProRegは、事前訓練されたモデルに微調整を正規化するよう促すことで予測を使用する。 本稿では,従来の微調整,ゼロショットプロンプト,プロンプトチューニング,その他の最先端手法と比較して,ProRegの性能が一貫して高いことを示す。
  論文  参考訳（メタデータ） (2023-01-29T11:53:55Z)
• TsmoBN: Interventional Generalization for Unseen Clients in Federated Learning [23.519212374186232]
  本研究では,分散学習パラダイムにおけるモデル一般化の課題を説明するために,学習構造因果モデル(SCM)を構築した。 FLモデルをテストクライアントに一般化するために,テスト固有および運動量追跡バッチ正規化(TsmoBN)を用いた簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2021-10-19T13:46:37Z)
• Behind the Scenes: An Exploration of Trigger Biases Problem in Few-Shot Event Classification [24.598938900747186]
  FSEC(Few-Shot Event Classification)は、アノテーション付きデータに制限のある新しいイベントタイプに一般化可能な、イベント予測モデルの開発を目標としている。 既存のFSECモデルは、トリガーワードとターゲットイベントタイプの間の統計的均一性を示すトリガーバイアスに悩まされている。 FSECモデルにおけるコンテキストバイパス問題に対処するために、敵の訓練とトリガー再構成技術を導入する。
  論文  参考訳（メタデータ） (2021-08-29T13:46:42Z)
• Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
  教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。 特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。 次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
  論文  参考訳（メタデータ） (2021-08-06T05:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。