論文の概要: Language Driven Slice Discovery and Error Rectification

• arxiv url: http://arxiv.org/abs/2408.07832v1
• Date: Wed, 31 Jul 2024 14:49:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-19 03:35:49.347955
• Title: Language Driven Slice Discovery and Error Rectification
• Title（参考訳）: 言語駆動スライス発見とエラー修正
• Abstract要約: LADDER: 言語駆動スライスディスカバリとエラー修正。 本稿では,Large Language Modelの推論機能を利用して,複雑なエラーパターンを分析し,検証可能な仮説を生成する。 私たちのメソッド全体は、明示的にも外部タグ付けモデルを通しても、属性アノテーションを一切必要としません。
• 参考スコア（独自算出の注目度）: 16.990010049947877
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Error slice discovery associates structured patterns with model errors. Existing methods discover error slices by clustering the error-prone samples with similar patterns or assigning discrete attributes to each sample for post-hoc analysis. While these methods aim for interpretability and easier mitigation through reweighting or rebalancing, they may not capture the full complexity of error patterns due to incomplete or missing attributes. Contrary to the existing approach, this paper utilizes the reasoning capabilities of the Large Language Model (LLM) to analyze complex error patterns and generate testable hypotheses. This paper proposes LADDER: Language Driven slice Discovery and Error Rectification. It first projects the model's representation into a language-aligned feature space (\eg CLIP) to preserve semantics in the original model feature space. This ensures the accurate retrieval of sentences that highlight the model's errors. Next, the LLM utilizes the sentences and generates hypotheses to discover error slices. Finally, we mitigate the error by fine-tuning the classification head by creating a group-balanced dataset using the hypotheses. Our entire method does not require any attribute annotation, either explicitly or through external tagging models. We validate our method with \textbf{five} image classification datasets. The code is available\footnote{\url{https://github.com/batmanlab/Ladder}}
• Abstract（参考訳）: エラースライス発見は構造化パターンとモデルエラーを関連付ける。 既存の方法では、類似したパターンでエラー発生サンプルをクラスタリングしたり、各サンプルに個別属性を割り当てて、ポストホック分析を行う。 これらの手法は、再重み付けや再バランスによる解釈可能性や緩和を容易にすることを目的としているが、不完全な属性や欠落によるエラーパターンの完全な複雑さを捉えることはできない。 既存のアプローチとは対照的に,本稿では,Large Language Model (LLM) の推論機能を用いて,複雑なエラーパターンを分析し,検証可能な仮説を生成する。 本稿では,Language-Driven slice Discovery and Error Rectificationを提案する。 まず最初に、モデルの表現を言語対応の機能空間(\eg CLIP)に投影し、元のモデル機能空間におけるセマンティクスを保存する。 これにより、モデルのエラーをハイライトする文の正確な検索が保証される。 次に、LLMは文を利用し、誤りスライスを発見するために仮説を生成する。 最後に、仮説を用いてグループバランスデータセットを作成することにより、分類ヘッドを微調整することで誤差を軽減する。 私たちのメソッド全体は、明示的にも外部タグ付けモデルを通しても、属性アノテーションを一切必要としません。 画像分類データセットを用いて,本手法の有効性を検証した。 コードは利用可能である。footnote{\url{https://github.com/batmanlab/Ladder}}

関連論文リスト

• Faithfulness to Refusal: A Causal Audit of Neuron Selectors [3.3598755777055374]
  属性スコアは、プルーニング、解釈可能性、安全のための編集など、言語モデルのどのニューロン行が重要かを、ますます特定する。 1ショットのニューロンローゼロリングをベースとした2つのペア監査でこの問題に対処する。
  論文  参考訳（メタデータ） (2026-07-06T17:33:36Z)
• Graph Alignment Topology as an Inductive Bias for Grounding Detection [14.219133766480695]
  大規模言語モデル(LLM)は、生成した命題がソース文書に関連付けられているかどうかを明示的に検証するよりも、分布的に妥当な継続を生成するように最適化されている。 この帰納バイアスは一般化を可能にするが、参照に関して応答が基底になっているかどうかを符号化しない。 我々は、アライメントトポロジを誘導バイアスとして活用し、メッセージパッシングを用いたアライメント構造をモデル化するためにグラフニューラルネットワーク(GNN)を訓練する。 本手法は, GPT-4o などの基礎的 LLM を含む, 比較されたすべての手法よりも優れた4つの多様な幻覚と質問応答データセットに対して, 最先端の結果を得る。
  論文  参考訳（メタデータ） (2026-05-21T18:49:32Z)
• Concept-Guided Noisy Negative Suppression for Zero-Shot Classification and Grounding of Chest X-Ray Findings [24.28276094444468]
  胸部X線と放射線学報告を用いた視覚言語アライメントは、ゼロショット分類とグラウンド化の高度なパラダイムとして登場した。 標準的なコントラスト学習は、通常、異なる患者からのX線写真とレポートを単に負のペアとして扱う。 我々は,概念誘導雑音抑圧フレームワークであるCNNSを提案する。
  論文  参考訳（メタデータ） (2026-05-19T05:19:45Z)
• How LLMs Fail and Generalize in RTL Coding for Hardware Design? [56.361436215029045]
  我々は,認知理論に触発された問題解決性に基づく新しい誤り分類法を導入する。 我々の分類学は、障害を構文、意味、解決可能な機能、解決不可能な機能タイプに分類する。
  論文  参考訳（メタデータ） (2026-04-26T14:34:49Z)
• Exposing the Unsaid: Visualizing Hidden LLM Bias through Stochastic Path Aggregation [16.63373250752545]
  大規模言語モデル(LLM)は、テキスト生成の限界化により評価が難しい表現バイアスと構文バイアスを示す。 本稿では,集約比較によるバイアス評価を目的とした視覚解析ツールであるTreeTracerを紹介する。
  論文  参考訳（メタデータ） (2026-04-24T13:37:51Z)
• MisSpans: Fine-Grained False Span Identification in Cross-Domain Fake News [30.038748916578978]
  MisSpansは、スパンレベルの誤情報検出と分析のためのベンチマークである。 実話と偽ニュースが混在している。 微粒なローカライゼーション、真/偽以上のニュアンス化された特徴化、そして実行可能な説明を可能にする。
  論文  参考訳（メタデータ） (2026-01-08T11:46:30Z)
• SliceLens: Fine-Grained and Grounded Error Slice Discovery for Multi-Instance Vision Tasks [16.05135819343667]
  SliceLensは,多種多様な失敗仮説の生成と検証を行う仮説駆動型フレームワークである。 FeSDは、きめ細かいエラースライス発見を評価するために設計された最初のベンチマークである。
  論文  参考訳（メタデータ） (2025-12-31T03:28:41Z)
• ResAD++: Towards Class Agnostic Anomaly Detection via Residual Feature Learning [52.11294707895649]
  本稿では,クラス非依存型異常検出(AD)の問題点について検討する。 目的は、ターゲットデータの再トレーニングや微調整をせずに、異なるドメインから様々な新しいクラスの異常を一般化して検出できる、クラスに依存しないADモデルをトレーニングすることである。 8つの実世界のADデータセットに関する総合的な実験は、ResAD++が新しいクラスで直接使用されると、素晴らしいAD結果が得られることを示した。
  論文  参考訳（メタデータ） (2025-09-28T08:41:05Z)
• Zero-Shot Anomaly Detection with Dual-Branch Prompt Learning [17.263625932911534]
  Zero-shot Anomaly Detection (ZSAD) は、見えないカテゴリの欠陥を識別し、ローカライズする。 既存のZSADメソッドは、固定または学習プロンプトを使用しても、トレーニングデータが限られたトレーニングドメインから導出されるため、ドメインシフトの下で苦労する。 PILOTは2つの重要なイノベーションを通じてこれらの課題を克服するために設計されたフレームワークです。
  論文  参考訳（メタデータ） (2025-08-01T17:00:12Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Addressing pitfalls in implicit unobserved confounding synthesis using explicit block hierarchical ancestral sampling [1.7037247867649157]
  現状のプロトコルには、因果モデルの完全な空間からのアンバイアスサンプリングを妨げる2つの異なる問題があることを示す。 本研究では, ブロック階層的な基底真理因果グラフの生成を生かした, 観測不能な共起に対する明示的モデリング手法を提案する。
  論文  参考訳（メタデータ） (2025-03-12T09:38:40Z)
• Error Slice Discovery via Manifold Compactness [47.57891946791078]
  事前に定義されたスライスラベルのような余分な情報に頼ることなく、スライスコヒーレンスの適切なメトリックは存在しない。 本稿では,データ幾何特性を設計に組み込むことにより,余分な情報に依存しないコヒーレンス計量である多様体コンパクト性を提案する。 そこで我々は,リスクとコヒーレンスを直接最適化対象とする新しいアルゴリズムであるManifold Compactness based error Slice Discovery (MCSD)を開発した。
  論文  参考訳（メタデータ） (2025-01-31T11:02:07Z)
• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• Label-Descriptive Patterns and their Application to Characterizing Classification Errors [31.272875287136426]
  最先端のディープラーニング手法は多くのタスクで人間のようなパフォーマンスを達成するが、それでもエラーを犯す。 これらのエラーを容易に解釈可能な言葉で特徴付けることは、モデルが体系的なエラーを起こす傾向にあるかどうかの洞察を与えるだけでなく、モデルを実行し改善する方法を与える。 本稿では,予測の正しさに応じて分割された入力データを簡潔に記述するパターンの小さなセットをマイニングすることにより,任意の分類器に対して,任意の分類を行うことができる手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T19:42:21Z)
• High-dimensional separability for one- and few-shot learning [58.8599521537]
  この作業は、実用的な質問、人工知能(AI)エラーの修正によって進められている。 特殊な外部デバイスである修正器が開発されている。従来のAIシステムを変更することなく、迅速かつ非イテレーティブなシステム修正を提供する必要がある。 AIシステムの新しいマルチコレクタが提示され、深層畳み込みニューラルネットワークによってエラーを予測し、新しいクラスのオブジェクトを学習する例が紹介される。
  論文  参考訳（メタデータ） (2021-06-28T14:58:14Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Classifier-independent Lower-Bounds for Adversarial Robustness [13.247278149124757]
  理論的には、テストタイムの逆数と雑音の分類例に対するロバスト性の限界を解析する。 最適輸送理論を用いて、与えられた分類問題に対して分類器ができるベイズ最適誤差の変分式を導出する。 一般的な距離ベース攻撃の場合,ベイズ最適誤差に対して明らかな下限を導出する。
  論文  参考訳（メタデータ） (2020-06-17T16:46:39Z)
• Algebraic Ground Truth Inference: Non-Parametric Estimation of Sample Errors by AI Algorithms [0.0]
  非パラメトリックなパフォーマンス推定器は、自律的な設定において魅力的なソリューションである。 基礎的真理を持つ実験における精度推定器は100分の1よりも優れていることを示す。 本手法の実用性は,オンライン広告キャンペーンによる実世界のデータセットと,一般的な分類ベンチマークのサンプルに示される。
  論文  参考訳（メタデータ） (2020-06-15T12:04:47Z)
• Explaining Predictions by Approximating the Local Decision Boundary [3.60160227126201]
  局所決定境界近似(DBA)の新しい手法を提案する。 我々は変分オートエンコーダを訓練し、符号化されたデータ表現のユークリッド潜在空間を学習する。 我々は属性アノテーションを利用して、潜在空間をユーザにとって意味のある属性にマッピングします。
  論文  参考訳（メタデータ） (2020-06-14T19:12:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。