論文の概要: Model Confidence Under Answer-Preserving Attacks: An Informativeness-Manipulability Frontier

• arxiv url: http://arxiv.org/abs/2608.06571v1
• Date: Thu, 06 Aug 2026 20:27:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.28494
• Title: Model Confidence Under Answer-Preserving Attacks: An Informativeness-Manipulability Frontier
• Title（参考訳）: 解答保存攻撃時のモデル信頼--インフォーマルネス・マニピュラビリティフロンティア-
• Abstract要約: コーディネートされた正当性ラベルアウェア攻撃は、60個のチャネルを配置した全ての細胞において、答えストリングフロアのそれ以下の敵の識別を誘導する。 したがって、信頼性は本質的に堅牢な監視信号というよりも、完全性に敏感である。
• 参考スコア（独自算出の注目度）: 7.823454831927319
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deployed vision-language systems often gate their answers on confidence, making confidence robustness relevant to oversight. We study confidence readouts under white-box, image-only attacks constrained to preserve the generated answer byte-identically. Under a reachability assumption, an unmovable readout cannot outperform the answer-string accuracy prior, whose pooled value is 0.617. Independently of that assumption, a uniform amplitude certificate below a measurable threshold guarantees adversarial discrimination above the same floor. Across four vision-language models, three visual question answering benchmarks, five deployed confidence channels and two defense estimators, direct or surrogate-aimed attacks produce itemwise feasible perturbations that refute this uniform certificate in all 84 estimator-by-cell combinations. Coordinated correctness-label-aware attacks drive adversarial discrimination to or below the answer-string floor in all sixty deployed-channel cells, including all fifty-nine that begin above it. Hidden-state interventions and an open-ended text-model activation-space replication show that comparable confidence movement can be induced at the representation level rather than only through adversarial images. None of four tested defense families establishes a robust alternative under the specific evaluation applied to it. In a confidence-gated simulation, a coordinated token-probability attack transferred to a hidden-state gate causes up to 84.8% of previously rejected wrong answers to become accepted. After reweighting to each benchmark's natural correctness prevalence, accepted accuracy falls below the no-gate baseline in eight of twelve cells under transfer and all twelve under a direct gate-aimed attack. Under the studied threat model and budget, confidence is therefore an integrity-sensitive rather than intrinsically robust oversight signal.
• Abstract（参考訳）: デプロイされた視覚言語システムは、しばしば自信に答えをゲートし、監視に関係した信頼性を堅牢にする。 我々は、生成した回答を一意に保存するために制約された画像のみの攻撃であるホワイトボックス下での信頼度を調査する。 到達可能性仮定の下では、未動作の読み出しは、プール値が0.617である解答文字列の精度を事前に上回ることができない。 この仮定とは独立に、測定可能なしきい値以下の均一振幅証明書は、同じフロア上の敵の差別を保証する。 4つの視覚言語モデル、3つの視覚的質問応答ベンチマーク、5つのデプロイされた信頼チャンネル、2つの防衛推定器、直接的または代理的攻撃は、この一様証明を84の推定器とセルの組み合わせで否定するアイテムワイズ可能な摂動を生み出す。 コーディネートされた正当性ラベル認識攻撃は、その上から始まる50個以上の細胞を含む60個の展開チャネルの全ての細胞において、答えストリングフロアまたはそれより下の敵の識別を誘導する。 隠れ状態の介入とオープンなテキストモデルアクティベーション空間の複製は、対向画像のみを通してではなく、表現レベルで同等の信頼運動を誘導できることを示している。 テストされた4つの防衛ファミリーはいずれも、それに適用された具体的な評価の下で堅牢な代替手段を確立していない。 信頼に満ちたシミュレーションでは、隠れ状態のゲートに転送される調整されたトークン確率攻撃は、以前に却下された誤った回答の84.8%が受け入れられる。 各ベンチマークの自然な正しさの頻度を再重み付けした後、承認された精度は、転送中の12のセルのうち8つのノゲートベースライン以下で、全ての12のセルは直接ゲートエイムド攻撃を受ける。 調査された脅威モデルと予算の下では、信頼性は本質的に堅牢な監視信号というよりも、整合性に敏感である。

関連論文リスト

• Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models [7.714704554667688]
  大規模言語モデル(LLM)は、ハイテイクドメインにおける意思決定をますますサポートします。 LLMはしばしば、事実の正しさと不一致した自信を幻覚し表現する。 判定関連不確実性信号としてのクレームレベル信頼度校正について検討する。
  論文  参考訳（メタデータ） (2026-08-23T16:09:54Z)
• Claim-Level Reliability Assessment for Efficient Test-Time Reasoning [9.168249719115845]
  テストタイムスケーリングの原則としてクレームレベルのファルシフィケーションを提案し、Claim-Level Reliability Assessment (CLR) を通じてそれをインスタンス化する。 CLRは、追加のソリューションサンプリングからターゲット検証まで、テスト時間計算を再配置する。
  論文  参考訳（メタデータ） (2026-08-12T12:33:05Z)
• Reported Confidence in LLMs Tracks Commitment More Than Correctness [0.7783842564949857]
  信頼とは、選択された答えが正しい確率の見積もりである。 我々は、知覚的意思決定の神経科学から2段階の棄権パラダイムを用いてこれを検証した。 言語的自信は、その答えが正しいかどうかよりも、コミット/アビデンスの判断がかなり良いと予測した。
  論文  参考訳（メタデータ） (2026-06-28T16:39:18Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
  現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
  論文  参考訳（メタデータ） (2026-05-23T04:42:45Z)
• Grounded or Guessing? LVLM Confidence Estimation via Blind-Image Contrastive Ranking [7.845652284569666]
  本稿では,モデルに依存しない信頼度推定フレームワークBICR(Blind-Image Contrastive Ranking)を紹介する。 ライトウェイトプローブは、実像隠蔽状態に基づいてトレーニングされ、ブラックアウトビューに対する高い信頼度を罰するランキング損失によって正規化される。 5つの現代のLVLMと7つのベースラインで評価され、視覚的質問応答、オブジェクト検出、医用画像、財務文書理解に関するベンチマークが実施された。
  論文  参考訳（メタデータ） (2026-05-11T17:35:10Z)
• Parrot: Persuasion and Agreement Robustness Rating of Output Truth -- A Sycophancy Robustness Benchmark for LLMs [0.0]
  PARROT (Persuasion and Agreement Robustness Rating of Output Truth) は、ユーザの社会的圧力下での精度の劣化を測定するための堅牢性にフォーカスしたフレームワークである。 我々は13のドメインにまたがる1,302のMMLUスタイルの多重選択質問とドメイン固有の権威テンプレートを用いて22のモデルを評価する。
  論文  参考訳（メタデータ） (2025-11-21T13:01:28Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
  VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。 セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。 平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
  論文  参考訳（メタデータ） (2025-09-15T02:25:38Z)
• Verbalized Confidence Triggers Self-Verification: Emergent Behavior Without Explicit Reasoning Supervision [12.287123198288079]
  大規模言語モデル(LLM)の安全な配置には不確実性校正が不可欠である 我々は,スカラー信頼ラベルのみを用いた教師付き微調整が,言語モデルの自己検証行動を引き出すのに十分であることがわかった。 キャリブレーションされた不確実性に基づいて,テスト時間スケーリングによる性能向上を図った簡易な再考手法を提案する。
  論文  参考訳（メタデータ） (2025-06-04T08:56:24Z)
• Confidential Guardian: Cryptographically Prohibiting the Abuse of Model Abstention [65.47632669243657]
  不正直な機関は、不確実性の観点からサービスを差別または不正に否定する機構を利用することができる。 我々は、ミラージュと呼ばれる不確実性誘導攻撃を導入することで、この脅威の実践性を実証する。 本研究では,参照データセット上のキャリブレーションメトリクスを分析し,人工的に抑制された信頼度を検出するフレームワークであるConfidential Guardianを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:47:50Z)
• Lie Detector: Unified Backdoor Detection via Cross-Examination Framework [68.45399098884364]
  半正直な設定で一貫したバックドア検出フレームワークを提案する。 本手法は,SoTAベースラインよりも5.4%,1.6%,11.9%の精度で検出性能が向上する。 特に、マルチモーダルな大規模言語モデルにおいて、バックドアを効果的に検出するのは、これが初めてである。
  論文  参考訳（メタデータ） (2025-03-21T06:12:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。