論文の概要: LADDER: Language Driven Slice Discovery and Error Rectification

• arxiv url: http://arxiv.org/abs/2408.07832v7
• Date: Sat, 23 Nov 2024 00:52:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:32:38.475413
• Title: LADDER: Language Driven Slice Discovery and Error Rectification
• Title（参考訳）: LADDER: 言語駆動スライス発見とエラー修正
• Authors: Shantanu Ghosh, Rayan Syed, Chenyu Wang, Clare B. Poynton, Shyam Visweswaran, Kayhan Batmanghelich,
• Abstract要約: 現在のクラスタリングや離散属性ベースのスライス発見メソッドは、重要な制限に直面している。 我々は,(1)不完全性に対処するために自然言語の柔軟性を活用すること,(2)LLMの潜在的テクストドメイン知識と高度な推論を用いて文を分析し,仮説を直接導出する,という制限に対処することを提案する。 厳密な評価は、ラダーがバイアスを発見し緩和する際に、既存のベースラインを一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 16.146099639239615
• License:
• Abstract: Error slice discovery is crucial to diagnose and mitigate model errors. Current clustering or discrete attribute-based slice discovery methods face key limitations: 1) clustering results in incoherent slices, while assigning discrete attributes to slices leads to incomplete coverage of error patterns due to missing or insufficient attributes; 2) these methods lack complex reasoning, preventing them from fully explaining model biases; 3) they fail to integrate \textit{domain knowledge}, limiting their usage in specialized fields \eg radiology. We propose\ladder (\underline{La}nguage-\underline{D}riven \underline{D}iscovery and \underline{E}rror \underline{R}ectification), to address the limitations by: (1) leveraging the flexibility of natural language to address incompleteness, (2) employing LLM's latent \textit{domain knowledge} and advanced reasoning to analyze sentences and derive testable hypotheses directly, identifying biased attributes, and form coherent error slices without clustering. Existing mitigation methods typically address only the worst-performing group, often amplifying errors in other subgroups. In contrast,\ladder generates pseudo attributes from the discovered hypotheses to mitigate errors across all biases without explicit attribute annotations or prior knowledge of bias. Rigorous evaluations on 6 datasets spanning natural and medical images -- comparing 200+ classifiers with diverse architectures, pretraining strategies, and LLMs -- show that\ladder consistently outperforms existing baselines in discovering and mitigating biases.
• Abstract（参考訳）: エラースライス発見は、モデルエラーの診断と緩和に不可欠である。 現在のクラスタリングや離散属性ベースのスライス発見メソッドは、重要な制限に直面しています。 1) クラスタリングの結果は不整合スライスとなり、一方、スライスに個別の属性を割り当てると、欠落や不十分な属性によるエラーパターンの不完全なカバレッジにつながる。 2) これらの方法には複雑な推論がなく,モデルバイアスを完全に説明できない。 3) <textit{ domain knowledge} の統合に失敗し、特殊分野 \eg ラジオロジーにおける使用を制限する。 そこで我々は,(1)不完全性に対処するために自然言語の柔軟性を活用すること,(2)LLMの潜在的 \textit{ knowledge} を活用すること,(2)文を解析し,直接的に検証可能な仮説を導出し,バイアスのある属性を識別し,クラスタ化せずにコヒーレントなエラースライスを形成すること,という制限に対処するために,\ladder (\underline{La}nguage-\underline{D}riven \underline{D}iscovery and \underline{E}rror \underline{R}ectification)を提案する。 既存の緩和法は、通常、最悪のパフォーマンスのグループのみに対処し、しばしば他のサブグループのエラーを増幅する。 対照的に、\ladderは発見された仮説から擬似属性を生成し、明示的な属性アノテーションや偏見の事前知識を使わずに、すべてのバイアスの誤差を軽減する。 自然画像と医療画像にまたがる6つのデータセットに関する厳密な評価 - さまざまなアーキテクチャ、事前学習戦略、LLMと比較すると、Cladderはバイアスの検出と緩和において、既存のベースラインを一貫して上回っている。

関連論文リスト

• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• Label-Descriptive Patterns and their Application to Characterizing Classification Errors [31.272875287136426]
  最先端のディープラーニング手法は多くのタスクで人間のようなパフォーマンスを達成するが、それでもエラーを犯す。 これらのエラーを容易に解釈可能な言葉で特徴付けることは、モデルが体系的なエラーを起こす傾向にあるかどうかの洞察を与えるだけでなく、モデルを実行し改善する方法を与える。 本稿では,予測の正しさに応じて分割された入力データを簡潔に記述するパターンの小さなセットをマイニングすることにより,任意の分類器に対して,任意の分類を行うことができる手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T19:42:21Z)
• High-dimensional separability for one- and few-shot learning [58.8599521537]
  この作業は、実用的な質問、人工知能(AI)エラーの修正によって進められている。 特殊な外部デバイスである修正器が開発されている。従来のAIシステムを変更することなく、迅速かつ非イテレーティブなシステム修正を提供する必要がある。 AIシステムの新しいマルチコレクタが提示され、深層畳み込みニューラルネットワークによってエラーを予測し、新しいクラスのオブジェクトを学習する例が紹介される。
  論文  参考訳（メタデータ） (2021-06-28T14:58:14Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Classifier-independent Lower-Bounds for Adversarial Robustness [13.247278149124757]
  理論的には、テストタイムの逆数と雑音の分類例に対するロバスト性の限界を解析する。 最適輸送理論を用いて、与えられた分類問題に対して分類器ができるベイズ最適誤差の変分式を導出する。 一般的な距離ベース攻撃の場合,ベイズ最適誤差に対して明らかな下限を導出する。
  論文  参考訳（メタデータ） (2020-06-17T16:46:39Z)
• Algebraic Ground Truth Inference: Non-Parametric Estimation of Sample Errors by AI Algorithms [0.0]
  非パラメトリックなパフォーマンス推定器は、自律的な設定において魅力的なソリューションである。 基礎的真理を持つ実験における精度推定器は100分の1よりも優れていることを示す。 本手法の実用性は,オンライン広告キャンペーンによる実世界のデータセットと,一般的な分類ベンチマークのサンプルに示される。
  論文  参考訳（メタデータ） (2020-06-15T12:04:47Z)
• Explaining Predictions by Approximating the Local Decision Boundary [3.60160227126201]
  局所決定境界近似(DBA)の新しい手法を提案する。 我々は変分オートエンコーダを訓練し、符号化されたデータ表現のユークリッド潜在空間を学習する。 我々は属性アノテーションを利用して、潜在空間をユーザにとって意味のある属性にマッピングします。
  論文  参考訳（メタデータ） (2020-06-14T19:12:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。