論文の概要: When Explanations Betray Backdoors: Black-Box Auditing for Language Model Classifiers
- arxiv url: http://arxiv.org/abs/2608.12623v1
- Date: Wed, 12 Aug 2026 22:11:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.335268
- Title: When Explanations Betray Backdoors: Black-Box Auditing for Language Model Classifiers
- Title(参考訳): バックドアの解説:言語モデル分類器のブラックボックス監査
- Abstract要約: 入力に答えの要約が残るかどうかを測る軽量なスコアであるグラウンドドリフトを導入する。
次に, 説明カモフラージュストレス症例に対するマルチプローブエスカレーションであるUn Supported Groundednessを評価した。
- 参考スコア(独自算出の注目度): 4.106593007943804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language model classifiers with explanations are used for moderation, routing, topic triage, and low-resource annotation. We study black-box auditing when the defender has only clean calibration data without trigger information but can ask the classifier for a label plus a short rationale or quoted evidence. We introduce Groundedness Drift, a lightweight score measuring whether the answer summary remains grounded in the input. Across two 7B backbones, five datasets, and four common non-adaptive OpenBackdoor-style attack families, Groundedness Drift achieves higher AUROC and lower residual target ASR than every compared detector in all cases at a nominal 5\% clean-FPR budget. We then evaluate Unsupported Groundedness, a multi-probe escalation for explanation-camouflage stress cases. Unsupported Groundedness improves signals but does not close the adaptive gap.
- Abstract(参考訳): 説明付きの言語モデル分類器は、モデレーション、ルーティング、トピックトリアージ、低リソースアノテーションに使用される。
本研究は,ディフェンダーが情報のトリガーなしにキャリブレーションデータをクリーンにするだけで,ラベルの分類者に短い論理的根拠や引用的証拠を尋ねることができる場合のブラックボックス監査について検討する。
入力に答えの要約が残るかどうかを測る軽量なスコアであるグラウンドドリフトを導入する。
2つの7Bバックボーン、5つのデータセット、および4つの一般的な非適応的なOpenBackdoorスタイルの攻撃ファミリーの中で、Groundedness Driftは、名目上の5倍のクリーンFPR予算で、すべてのケースで比較された検出器よりも高いAUROCと低い残留ターゲットASRを達成する。
次に, 説明カモフラージュストレス症例に対するマルチプローブエスカレーションであるUn Supported Groundednessを評価した。
非支持グラウンドドネスは信号を改善するが、適応的なギャップを閉じることはない。
関連論文リスト
- Adaptive Triggering for Bias Correction in LLM Reasoning [11.48742254002371]
チェーン・オブ・シークレット・プロンプトは、LSMの中間的推論の中で、階層的ステレオタイプを公開および増幅することができる。
この決定をオンライン変更点検出問題として定式化する。
我々は,次の確率から導かれるホワイトボックス信号とLCM判定器から得られるブラックボックス信号とを用いて,フレームワークをインスタンス化する。
論文 参考訳(メタデータ) (2026-08-26T05:08:35Z) - Build it, Break it, Repeat: Benchmarking and improving LLM-manipulated disinformation detection in social media posts [5.771687318105755]
この記事はBuild it, Break it, Fix it framework into Build, Break it, Repeat (BiBiR)に適合する。
BiBiR: 反復対向条件下で検出器の堅牢性をストレステストするために設計された反復セッション。
その結果、最高の逆転ブレーカーの変換は、バックトランスレーションとペルソナベースの書き換えの組み合わせによるものであることが判明した。
論文 参考訳(メタデータ) (2026-08-10T12:13:41Z) - SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳(メタデータ) (2026-07-30T16:20:58Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳(メタデータ) (2026-07-17T17:41:16Z) - Detecting Hallucinations in Retrieval-Augmented Generation through Grounding-Aware Sensitivity by Perturbation (GASP) [1.827510863075184]
Grounding-Aware Sensitivity by Perturbation (GASP) は、抽出された証拠にどれだけ強く依存するかによって、各回答文をスコアするスパンレベル検出器である。
GASPは、完全なコンテキスト下で修正され、コンテキストなしで再スコアされ、各チャンクが削除された後、ログライクなドロップとJensen-Shannonの発散を測定する。
2つのモデルファミリーの3つのインストラクションチューニングスコアを用いた3つのベンチマーク(RAGTruth, TofuEval, RAGBench)でGASPを評価する。
論文 参考訳(メタデータ) (2026-07-05T10:35:30Z) - DriftScope: Measuring The Hidden Effects of Diffusion Model Adaptation [50.584834483403675]
新しい視覚概念を学習するか、望ましくないものを消去するか、事前学習したテキスト・画像拡散モデルに適応させることは、意図した効果だけで日常的に評価される。
適応が意味論的に無関係な概念を、構造的にメトリクスを集約することができない方法で体系的に損なうことを実証する。
DriftScopeは、任意の2つのモデルチェックポイントを取り込み、視覚的概念が最も移行したトークンのランクリストを返す、プロンプトレベルの診断ツールである。
論文 参考訳(メタデータ) (2026-06-30T20:57:51Z) - Token-Level Generalization in LoRA Adapter Backdoors: Attack Characterization and Behavioral Detection [0.0]
我々はLoRAをトレーニングデータ中毒によって確実にバックドアできることを示す。
攻撃はランクとともに単調にスケールし、選択されたトリガーアンカートークンはトリガー依存とベースモデル依存の両方である。
行動検出はサプライチェーンスキャンの操作可能な結果である。
論文 参考訳(メタデータ) (2026-05-28T16:32:25Z) - Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
モデル・オーガニゼーションのベンチマークであるPandoを紹介します。
Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。
説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
論文 参考訳(メタデータ) (2026-04-13T06:42:24Z) - Inference-Time Scaling of Verification: Self-Evolving Deep Research Agents via Test-Time Rubric-Guided Verification [71.98473277917962]
近年のDeep Research Agents (DRA) の進歩は、自動知識発見と問題解決に変化をもたらしている。
本稿では,政策モデルのアウトプットを反復的に検証することで,エージェントの能力を自己進化させる手法を提案する。
検証の非対称性を生かしたルーブリックスに基づく結果報酬検証器であるDeepVerifierを提案する。
論文 参考訳(メタデータ) (2026-01-22T09:47:31Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳(メタデータ) (2025-12-22T16:34:21Z) - Mind Reading or Misreading? LLMs on the Big Five Personality Test [1.3649494534428745]
本研究では,2進5因子モデル (BIG5) に基づくテキストから人格自動予測のための大規模言語モデル (LLM) を評価する。
オープンソースモデルは時々 GPT-4 や以前のベンチマークにアプローチするが、ゼロショットバイナリ設定で一貫した信頼性のある予測は得られない。
これらの結果から, 現状のLCMはAPPTにはまだ適していないこと, 迅速な設計, 特性フレーミング, 評価指標の慎重な調整が, 解釈可能な結果に不可欠であることが示唆された。
論文 参考訳(メタデータ) (2025-11-28T11:40:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。