論文の概要: Testing concept-level audits of melanoma classifiers with diffusion counterfactuals and matched positive controls

• arxiv url: http://arxiv.org/abs/2611.02119v2
• Date: Wed, 04 Nov 2026 06:25:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.670719
• Title: Testing concept-level audits of melanoma classifiers with diffusion counterfactuals and matched positive controls
• Title（参考訳）: 拡散防止剤と正の正の制御を有するメラノーマ分類器の概念レベル監査
• Abstract要約: メラノーマ分類器の概念に基づく説明は、既知の標的を持つ制御に対して検査されることは稀である。 カラーキャリブレーションによるスタートノイズは78.5-84.8%から6.6-13.3%に減色した。 四量体に基づく正の制御が確立され、監査は事前に規定されたベクトル規則に失敗した。
• 参考スコア（独自算出の注目度）: 0.12314765641075438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Concept-based explanations of melanoma classifiers are rarely tested against controls with known targets. We built a counterfactual audit from a diffusion model conditioned on seven 7-point checklist concepts and tested it with such controls. Colour-calibrated start noise reduced colour outliers from 78.5-84.8\% to 6.6-13.3\%. Four of seven knobs were target-dominant but also changed other concepts. Quartile-based positive controls were confounded, and the audit failed its pre-specified rule. It recovered the targets of all 16 controls matched on the generator's pseudo-labels and of 12 of 12 controls labelled by a second evaluator, for three concepts; concept activation vectors recovered fewer (11 of 16). In 18 permuted-label classifiers, significant sweep responses and target rankings also arose, whereas standardised effect margins separated the controls from these null classifiers. The pigmentation sweep raised the melanoma logit in 15 of 15 ISIC 2020 classifiers (+3.12 on average) and 6 of 6 HAM10000 classifiers (+4.01), about four times the null response in scale-free units; the regression effect did not transfer. An exploratory decomposition, evaluated against the controls, suggested that knob cross-talk partly hides vascular responses. Matched controls and null classifiers are practical checks of concept audits.
• Abstract（参考訳）: メラノーマ分類器の概念に基づく説明は、既知の標的を持つ制御に対して検査されることは稀である。 7点チェックリストの7つの概念を前提とした拡散モデルから実測を行い,そのような制御で検証した。 カラー校正開始音は78.5-84.8\%から6.6-13.3\%に減色した。 7つのノブのうち4つは標的に支配的であったが、他の概念も変化した。 四量体ベースのポジティブコントロールが確立され、監査は事前に規定されたルールに失敗した。 ジェネレータの擬似ラベルにマッチする16個の制御と、第2評価器でラベル付けされた12個の制御のターゲットを3つの概念で回収した。 18の置換ラベル分類器では、大きなスイープ応答とターゲットランクも発生し、一方、標準化されたエフェクトマージンはこれらのヌル分類器からコントロールを分離した。 色素沈着は、ISIC 2020の15の分類器(平均では+3.12)と6のHAM10000の分類器(+4.01)でメラノーマロジットを上昇させた。 比較検討の結果,knobクロストークは部分的に血管反応を隠蔽することが明らかとなった。 マッチしたコントロールとnull分類器は概念監査の実践的なチェックである。

関連論文リスト

• When Benign Is Unverified: Label-Signal Mismatch and Abstention-First Triage in Graph-Based Memory Forensics [0.0]
  Windowsメモリイメージのためのグラフベースのトリアージパイプラインを報告する。 MalVol-25では、透明な規則層は全ての制御における良性ラベルと矛盾する。 私たちはこのルールラベルのラベルと署名のミスマッチを呼んでいます。
  論文  参考訳（メタデータ） (2026-10-31T19:54:03Z)
• MultiPartyTurnBench: Benchmarking Floor Control in Multi-Party Spoken Dialogue [67.07361089429757]
  本研究では, 主観的ターンテイクや終末行動について検討するが, 真のフロア・トランジションの統一的評価を, 難易度の高い非パーティ・セッティングに対して検討する。 我々は、240個の合成されたチャネル分離会話のベンチマークであるMultiPartyTurnBench (MPTB) について紹介する。 学習システムは82.2.6%のEOTリコールを4.3-11.8%の偽陽性率で達成し、Interruption (INT) 検出は失敗したテイクオーバーや過剰な偽のアクティベーションに悩まされる。
  論文  参考訳（メタデータ） (2026-10-14T13:20:14Z)
• Measurement-First Auditing of Agentic Leaderboards: Contamination Susceptibility, Matched-Control Re-evaluation, and Scorer Validation [5.114361110970449]
  本報告では, 汚染の主張を, 支援に必要な証拠に応じて識別する, 測定ファーストの監査フレームワークを提案する。 本稿では,SWE-bench Verified上でのファイルローカライズギャップを報告した。 結果は、トレーニングデータメンバーシップ、汚染率、ベンチマークによるスコアインフレーションを確立しない。
  論文  参考訳（メタデータ） (2026-10-05T05:34:18Z)
• Where the Numbers Come From: Auditing Evaluation in Provenance-Based Intrusion Detection [42.49426058823369]
  証明に基づく侵入検知器のスコアを再現しても、そのアラームの出力やエンコーダが使用する情報についてそのスコアが何を言っているかは定かでない。 我々は、リリースした9つの実装を監査し、独自のコードを使用して4つの検出器を実行し、3つの測定効果を分離する。
  論文  参考訳（メタデータ） (2026-09-27T13:01:02Z)
• Symmetry-Aware Likelihood-Orbit Aggregation for Selective Left-Right Claim Verification [14.108900142001628]
  クローズド形式のコントラストであるRelation-Orbitを導入する。 VSRとGQAの4つの凍結された視覚言語モデルでは、Relation-Orbitは10%選択リスクキャリブレーションターゲットで平均テストカバレッジを高くする。
  論文  参考訳（メタデータ） (2026-09-15T11:19:03Z)
• Knowing, and Saying It Only When Asked: LLM Endognostics and the Schizognosis of Minerva-7B [0.0]
  残留ストリーム内の潜伏知識を抽出し、因果的に操作するように設計された内部監査フレームワーク。 Minerva-7B-Instruct-v1.0を124個の最小のプロンプトペアに適用すると、ほとんどのセットで行動評価が失敗する。
  論文  参考訳（メタデータ） (2026-09-02T09:38:04Z)
• Prior Audit-Repair Context Shifts LLM Verifier Thresholds Toward Leniency [0.025718125188898048]
  我々は,現時点のタスクを個別に保持するプロセスベンチトレースに対して,擬似アラームを計測する。 完了した監査 -> モデルのコンテキストにすでにある修復エピソードは、15のモデルxワードの組み合わせのうち15の偽のアラームを低くする。
  論文  参考訳（メタデータ） (2026-08-17T01:41:43Z)
• Which Values Do LLMs Confuse? A Schwartz-Based Recognition Study [32.505127447635864]
  シュワルツの10つの基本値に対するトップ1認識の制御について検討した。 我々は,21の命令調整LDM動作を定位応答プロトコルで評価する。 モデルはしばしば正しいモチベーション領域を見つけ、近い選択肢を不安定にランク付けする。
  論文  参考訳（メタデータ） (2026-07-22T15:22:14Z)
• CoVerRL: Breaking the Consensus Trap in Label-Free Reasoning via Generator-Verifier Co-Evolution [52.691495954442985]
  CoVerRLは1つのモデルがジェネレータと検証ロールを交換するフレームワークで、各機能が他方をブートストラップする。 Qwen と Llama のモデルファミリーでの実験では、CoVerRL は数理推論のベンチマークで4.7-5.9% でラベルなしのベースラインを上回っている。 自己検証の精度は55%から85%以上改善され、両方の能力が真に共存することを確認した。
  論文  参考訳（メタデータ） (2026-03-18T14:38:55Z)
• Fact or Facsimile? Evaluating the Factual Robustness of Modern Retrievers [34.31192184496381]
  デンスレトリバーとリランカーは、検索強化世代(RAG)パイプラインの中心である。 我々は,これらのコンポーネントがベースとする大規模言語モデル(LLM)をどの程度の事実的能力で継承するか,あるいは失うかを評価する。 全ての埋め込みモデルにおいて、クエリと正しい完了の間のコサイン類似度スコアは、間違ったものよりも著しく高い。
  論文  参考訳（メタデータ） (2025-08-28T04:13:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。