論文の概要: ConceptDrift: Uncovering Biases through the Lens of Foundational Models

• arxiv url: http://arxiv.org/abs/2410.18970v1
• Date: Thu, 24 Oct 2024 17:59:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:51:04.034504
• Title: ConceptDrift: Uncovering Biases through the Lens of Foundational Models
• Title（参考訳）: ConceptDrift:基礎モデルのレンズから生物を発見
• Authors: Cristian Daniel Păduraru, Antonio Bărbălau, Radu Filipescu, Andrei Liviu Nicolicioiu, Elena Burceanu,
• Abstract要約: 本研究では,線形プローブの重み解析手法であるConceptDriftを提案する。 提案手法の有効性を実証的に証明し, バイアス増進プロンプトによるゼロショット性能を著しく向上させることにより, 提案手法の有効性を実証した。
• 参考スコア（独自算出の注目度）: 5.025665239455297
• License:
• Abstract: Datasets and pre-trained models come with intrinsic biases. Most methods rely on spotting them by analysing misclassified samples, in a semi-automated human-computer validation. In contrast, we propose ConceptDrift, a method which analyzes the weights of a linear probe, learned on top a foundational model. We capitalize on the weight update trajectory, which starts from the embedding of the textual representation of the class, and proceeds to drift towards embeddings that disclose hidden biases. Different from prior work, with this approach we can pin-point unwanted correlations from a dataset, providing more than just possible explanations for the wrong predictions. We empirically prove the efficacy of our method, by significantly improving zero-shot performance with biased-augmented prompting. Our method is not bounded to a single modality, and we experiment in this work with both image (Waterbirds, CelebA, Nico++) and text datasets (CivilComments).
• Abstract（参考訳）: データセットと事前トレーニングされたモデルには、固有のバイアスが伴う。 ほとんどの方法は、半自動化された人間-コンピュータの検証において、誤分類されたサンプルを分析してそれらを見つけることに依存している。 対照的に、線形プローブの重みを解析する手法であるConceptDriftを基礎モデル上で学習する。 私たちは、クラスのテキスト表現の埋め込みから始まり、隠れたバイアスを隠蔽する埋め込みに向かって進みます。 従来の作業とは違って、このアプローチでは、データセットから不要な相関をピンポイントし、単に誤った予測を説明できる以上のものを提供します。 提案手法の有効性を実証的に証明し, バイアス増進プロンプトによるゼロショット性能を著しく向上させることにより, 提案手法の有効性を実証した。 この手法は単一のモダリティに縛られるものではなく、画像(Waterbirds, CelebA, Nico++)とテキストデータセット(CivilComments)の両方で実験する。

関連論文リスト

• Integrating kNN with Foundation Models for Adaptable and Privacy-Aware Image Classification [0.13108652488669734]
  従来のディープラーニングモデルは、その透明性とデータ変更に適応する能力を制限する知識を暗黙的にエンコードする。 モデル重みとは無関係に、基礎となるトレーニングデータの埋め込みを格納することで、この制限に対処する。 提案手法では,k$-Nearest Neighbor(k$-NN)分類器を視覚ベース基盤モデルに統合し,自然画像に基づいて事前学習を行う。
  論文  参考訳（メタデータ） (2024-02-19T20:08:13Z)
• DST-Det: Simple Dynamic Self-Training for Open-Vocabulary Object Detection [72.25697820290502]
  この研究は、ゼロショット分類によって潜在的に新しいクラスを特定するための単純かつ効率的な戦略を導入する。 このアプローチは、アノテーションやデータセット、再学習を必要とせずに、新しいクラスのリコールと精度を高めるセルフトレーニング戦略として言及する。 LVIS、V3Det、COCOを含む3つのデータセットに対する実証的な評価は、ベースラインのパフォーマンスを大幅に改善したことを示している。
  論文  参考訳（メタデータ） (2023-10-02T17:52:24Z)
• Quantifying Human Bias and Knowledge to guide ML models during Training [0.0]
  トレーニングプロセスに人間を含めることで、歪んだデータセットを扱うための実験的なアプローチを導入する。 我々は、データセットの特徴の重要性をランク付けし、ランクアグリゲーションを通じて、モデルの初期重みバイアスを決定するよう人間に求める。 我々は、集団的人間の偏見によって、機械学習モデルがバイアス標本の代わりに真の人口についての洞察を学習できることを示した。
  論文  参考訳（メタデータ） (2022-11-19T20:49:07Z)
• Masked prediction tasks: a parameter identifiability view [49.533046139235466]
  マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。 いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
  論文  参考訳（メタデータ） (2022-02-18T17:09:32Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• Active Learning for Deep Object Detection via Probabilistic Modeling [27.195742892250916]
  オブジェクト検出のための新しい深層アクティブラーニング手法を提案する。 提案手法は,各局所化および分類ヘッドの出力に対する確率分布を推定する混合密度ネットワークに依存する。 本手法では,両頭部の2種類の不確実性を集約したスコアリング関数を用いて,各画像のインフォラティブネススコアを求める。
  論文  参考訳（メタデータ） (2021-03-30T07:37:11Z)
• TraND: Transferable Neighborhood Discovery for Unsupervised Cross-domain Gait Recognition [77.77786072373942]
  本稿では、教師なしクロスドメイン歩行認識のための領域ギャップを橋渡しするTransferable Neighborhood Discovery (TraND) フレームワークを提案する。 我々は、潜在空間におけるラベルなしサンプルの自信ある近傍を自動的に発見するために、エンドツーエンドのトレーニング可能なアプローチを設計する。 提案手法は,CASIA-BとOU-LPの2つの公開データセットに対して,最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-02-09T03:07:07Z)
• MOCCA: Multi-Layer One-Class ClassificAtion for Anomaly Detection [16.914663209964697]
  我々は,Multi-Layer One-Class Classification (MOCCA) と呼ばれる異常検出問題に対するディープラーニングアプローチを提案する。 異なる深さで抽出された情報を利用して異常なデータインスタンスを検出することで、ディープニューラルネットワークのピースワイズ的性質を明示的に活用します。 本稿では,本手法が文献で利用可能な最先端手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2020-12-09T08:32:56Z)
• Learning to Model and Ignore Dataset Bias with Mixed Capacity Ensembles [66.15398165275926]
  本稿では,データセット固有のパターンを自動的に検出・無視する手法を提案する。 我々の方法は、より高い容量モデルでアンサンブルで低容量モデルを訓練する。 視覚的質問応答データセットの10ポイントゲインを含む,すべての設定の改善を示す。
  論文  参考訳（メタデータ） (2020-11-07T22:20:03Z)
• Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
  本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。 まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。 第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
  論文  参考訳（メタデータ） (2020-05-10T17:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。