論文の概要: ACE and Diverse Generalization via Selective Disagreement
- arxiv url: http://arxiv.org/abs/2509.07955v1
- Date: Tue, 09 Sep 2025 17:43:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-10 14:38:27.428057
- Title: ACE and Diverse Generalization via Selective Disagreement
- Title(参考訳): Selective DisagreementによるACEとDiverse Generalization
- Authors: Oliver Daniels, Stuart Armstrong, Alexandre Maranhão, Mahirah Fairuz Rahman, Benjamin M. Marlin, Rebecca Gorman,
- Abstract要約: ディープニューラルネットワークは、刺激的な相関に敏感である。
スプリアス相関に関する既存の研究は、しばしば不完全な相関に焦点を合わせ、相関を破るラベル付きインスタンスへのアクセスを平均化している。
トレーニングデータと整合性を持つ概念の集合を学習するが、新規なラベルなし入力のサブセットを個別に予測する。
- 参考スコア(独自算出の注目度): 38.64694396230853
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep neural networks are notoriously sensitive to spurious correlations - where a model learns a shortcut that fails out-of-distribution. Existing work on spurious correlations has often focused on incomplete correlations,leveraging access to labeled instances that break the correlation. But in cases where the spurious correlations are complete, the correct generalization is fundamentally \textit{underspecified}. To resolve this underspecification, we propose learning a set of concepts that are consistent with training data but make distinct predictions on a subset of novel unlabeled inputs. Using a self-training approach that encourages \textit{confident} and \textit{selective} disagreement, our method ACE matches or outperforms existing methods on a suite of complete-spurious correlation benchmarks, while remaining robust to incomplete spurious correlations. ACE is also more configurable than prior approaches, allowing for straight-forward encoding of prior knowledge and principled unsupervised model selection. In an early application to language-model alignment, we find that ACE achieves competitive performance on the measurement tampering detection benchmark \textit{without} access to untrusted measurements. While still subject to important limitations, ACE represents significant progress towards overcoming underspecification.
- Abstract(参考訳): 深層ニューラルネットワークは、素早い相関に敏感なことで知られています。
スプリアス相関に関する既存の研究は、しばしば不完全な相関に焦点を合わせ、相関を破るラベル付きインスタンスへのアクセスを平均化している。
しかし、素数の相関が完備である場合には、正しい一般化は基本的には「textit{underspecified}」である。
この不明瞭さを解決するために,新たな未ラベル入力のサブセットに対して,トレーニングデータと整合性を持つ概念の集合を学習することを提案する。
提案手法は,<textit{confident} と<textit{elect} の相違を助長する自己学習手法を用いて,完全スパーラス相関ベンチマークのスイート上で既存のメソッドと一致または比較し,不完全スプリアス相関に頑健なままである。
また、ACEは以前のアプローチよりも構成可能で、事前知識の直接のエンコーディングと原則化された教師なしモデル選択が可能である。
早期の言語モデルアライメントへの応用では、ACEは信頼できない測定に対するtextit{without}アクセスを計測タンパリング検出ベンチマーク上で競合性能を達成する。
ACEは依然として重要な制限を受けるが、過小評価の克服に向けた大きな進歩を示している。
関連論文リスト
- Spuriousness-Aware Meta-Learning for Learning Robust Classifiers [26.544938760265136]
Spurious correlations is brittle associations between certain attribute of inputs and target variables。
深部画像分類器はしばしばそれらを予測に利用し、相関が持たないデータの一般化が不十分になる。
スプリアス相関の影響を緩和することはロバストなモデル一般化に不可欠であるが、しばしばデータ内のスプリアス相関のアノテーションを必要とする。
論文 参考訳(メタデータ) (2024-06-15T21:41:25Z) - Learning Robust Classifiers with Self-Guided Spurious Correlation Mitigation [26.544938760265136]
ディープニューラル分類器は、入力のスプリアス属性とターゲットの間のスプリアス相関に頼り、予測を行う。
本稿では,自己誘導型スプリアス相関緩和フレームワークを提案する。
予測行動の違いを識別するために分類器の訓練を行うことで,事前知識を必要とせず,素因関係への依存を軽減できることを示す。
論文 参考訳(メタデータ) (2024-05-06T17:12:21Z) - Unsupervised Concept Discovery Mitigates Spurious Correlations [45.48778210340187]
トレーニングデータにおける急激な相関関係のモデルはしばしば脆い予測を発生させ、意図しないバイアスを導入する。
本稿では,教師なし対象中心学習と突発的相関の緩和の新たな関連性を確立する。
コバルト(CoBalT)は、サブグループの人間のラベル付けを必要とせず、効果的に素早い相関を緩和する概念バランス技術である。
論文 参考訳(メタデータ) (2024-02-20T20:48:00Z) - Open-Vocabulary Segmentation with Semantic-Assisted Calibration [68.41025728960176]
オープンボキャブラリセグメンテーション(OVS)は,CLIPの文脈に先行して,語彙内およびドメインバイアスの埋め込み空間を校正することで研究される。
オープン語彙セグメンテーションベンチマークにおける最先端性能を実現するために,セマンティック・アシブ・キャリブレーション・ネットワーク(SCAN)を提案する。
論文 参考訳(メタデータ) (2023-12-07T07:00:09Z) - Coherent Entity Disambiguation via Modeling Topic and Categorical
Dependency [87.16283281290053]
従来のエンティティ曖昧化(ED)メソッドは、参照コンテキストと候補エンティティの一致するスコアに基づいて予測を行う、識別パラダイムを採用している。
本稿では,エンティティ予測のコヒーレンス向上を目的とした新しいデザインを備えたEDシステムであるCoherentedを提案する。
我々は、人気EDベンチマークにおいて、平均1.3F1ポイントの改善により、最先端の新たな結果を得る。
論文 参考訳(メタデータ) (2023-11-06T16:40:13Z) - Understanding and Mitigating Spurious Correlations in Text
Classification with Neighborhood Analysis [69.07674653828565]
機械学習モデルは、トレーニングセットに存在するが一般的な状況では当てはまらない急激な相関を利用する傾向にある。
本稿では, 周辺分析と呼ばれる新しい視点から, 突発的相関がもたらす意味について考察する。
本稿では,テキスト分類における素早い相関を緩和する正規化手法であるNFL(doN't Forget your Language)を提案する。
論文 参考訳(メタデータ) (2023-05-23T03:55:50Z) - Look to the Right: Mitigating Relative Position Bias in Extractive
Question Answering [38.36299280464046]
抽出的質問応答(QA)モデルは、素早い相関を利用して予測する傾向がある。
回答の相対的な位置は、予測を行うための表面的手がかりとしてQAモデルによって利用することができる。
本研究では,相対位置の分布に関する事前知識を必要としないアンサンブルに基づくデバイアス法を提案する。
論文 参考訳(メタデータ) (2022-10-26T08:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。