論文の概要: FearCaut-Qwen: Affective Steering in a Vision-Language Model Shifts the Decision Criterion for Hazard Assessment
- arxiv url: http://arxiv.org/abs/2610.11986v1
- Date: Thu, 08 Oct 2026 13:57:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:54.064319
- Title: FearCaut-Qwen: Affective Steering in a Vision-Language Model Shifts the Decision Criterion for Hazard Assessment
- Title(参考訳): FearCaut-Qwen: 視覚言語モデルにおける影響的ステアリングは危険評価の意思決定基準を変える
- Abstract要約: 視覚逆モデル(VLM)は、災害後の損傷評価に大きな可能性を示すが、繰り返し発生する欠陥は、彼らが危険を宣言することに消極的であることである。
本研究は,信号検出理論を用いて,決定動作を能力と判定基準の配置に分解する。
本研究では,恐怖が人間を危険に晒すという発見に触発されて,過保守な意思決定政策を是正する新しい手法を提案する。
- 参考スコア(独自算出の注目度): 1.5229257192293202
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models (VLMs) show great potential for damage assessment after a disaster, but a recurring deficiency is that they are reluctant to declare a hazard; that is, recall is low even when overall accuracy appears adequate. This study examines that deficiency by using signal detection theory to decompose the decision behavior into perceptual capability and decision-criterion placement. We then propose a novel method for correcting the over-conservative decision policy, inspired by the finding that fear makes humans risk-averse, and ask whether an affective representation associated with fear can be causally manipulated to similarly alter a VLM's decision tendency. Using mechanistic interpretability, we localize a causally implicated affective circuit in the model and use activation steering to manipulate it while observing the effect on downstream prediction. The method is tested on a two-stage SeisMLLM pipeline built on Qwen2.5-VL-7B-Instruct, which flags only 27.0% of genuinely unsafe buildings on the SeisMLLM-1K test split and never issues a false Red, an SDT criterion of c = +1.354, despite adequate evidence quality (d' = 1.521). An affective direction is localized on emotion-rich natural scenes, causally validated by sparse-neuron knockout and distributed steering on held-out emotion data, and then injected into the building task. Fear-direction injection raises Red recall to 75.7% (p<0.001), and subtracting the same direction suppresses Red predictions entirely, whereas norm-matched random and matched happiness directions show no significant effect. The mechanism is a shift in criterion (c=-1.515) while discrimination is not improved (d'=-0.493). These results show that VLM decisions can be adjusted at inference time without retraining and demonstrate how mechanistic interpretability can be used to diagnose and control VLM decision behaviors in engineering applications.
- Abstract(参考訳): 視覚言語モデル(VLM)は、災害後の被害評価に大きな可能性を示すが、繰り返し発生する欠陥は、彼らが危険を宣言することに消極的である。
本研究では,信号検出理論を用いて決定動作を知覚能力と判定基準の配置に分解する欠陥について検討した。
次に、恐怖が人間を危険に晒すという発見に触発されて、過保守な意思決定ポリシーを修正する新しい方法を提案し、恐怖に関連する感情表現を因果的に操作して、同様にVLMの決定傾向を変えることができるかどうかを問う。
機械的解釈可能性を用いて、モデルに因果関係のある感情回路を局所化し、それを活性化ステアリングで操作し、下流予測への影響を観察する。
この方法は、Qwen2.5-VL-7B-インストラクト上に作られた2段式のSeesMLLMパイプラインでテストされ、このパイプラインは、真に安全でない建物のうち27.0%しかフラグを付けておらず、十分な証拠品質(d' = 1.521)にもかかわらず、C = +1.354のSDT基準である偽赤色を発行することはなかった。
感情的な方向は感情に富んだ自然のシーンに局在し、スパースニューロンノックアウトによって因果的に検証され、保持された感情データに分散ステアリングされ、次いでビルディングタスクに注入される。
フェア・ダイレクト・インジェクションはレッドリコールを75.7%(p<0.001)に引き起こし、同じ方向を減じることでレッド予測を完全に抑制する。
このメカニズムは基準のシフト(c=-1.515)であり、識別は改善されない(d'=-0.493)。
これらの結果から,VLM決定は再学習なしに推論時に調整可能であることが示され,工学的応用におけるVLM決定動作の診断と制御に機械的解釈性をどのように利用できるかが示される。
関連論文リスト
- From Routing Signals to Selective Review: Visual regrounding in MoE VLMs [48.07726955428853]
視覚言語モデル(VLM)は偽の視覚的前提を受け入れ、対象の物体の色、数、位置、状態について疑問に答える。
本稿では,Mixture-of-Experts (MoE)VLMにおける内部ルーティング決定を活用するための最初のフレームワークを提案する。
提案手法は,MoE VLMによってすでに作成されており,低コストな検出と選択的な視覚的リグラウンドを支援することができる。
論文 参考訳(メタデータ) (2026-09-29T17:49:07Z) - Calibrated Probabilistic Obstruction Reasoning with Vision-Language Models for Grasping in Clutter [2.185870901290891]
既存の方法は1つの障害グラフや削除戦略にコミットし、代替のシーン解釈における不確実性を無視します。
CPOR-Graspは,2つの証拠から行動決定への不確実性を伝達する,キャリブレーションされた確率的妨害推論フレームワークである。
UNOBenchシーンと実際のUNOBenchシーンでは、CPOR-Graspは最先端のベースラインを上回っている。
論文 参考訳(メタデータ) (2026-09-16T14:21:52Z) - Task-Aligned Stability Analysis of Vision-Language Models for Autonomous Driving Hazard Detection [0.0]
CLIP画像とテキストの類似性から, 汚職による埋没ドリフトがタスク整合ハザードスコアの変化を予測できるかどうかを検討した。
BDD100Kロードシーンにおける制御された汚職を利用して、埋め込みドリフトとマージンドリフトを比較する。
一部の家族は表現のドリフトと決定のドリフトの間に強い結合性を示すが、他の家族は比較的穏やかな埋め込み変化にもかかわらず有害な決定不安定性を引き起こす。
論文 参考訳(メタデータ) (2026-06-10T10:20:14Z) - TRIAGE: Type-Routed Interventions via Aleatoric-Epistemic Gated Estimation in Robotic Manipulation and Adaptive Perception -- Don't Treat All Uncertainty the Same [2.755751829139168]
ほとんどの不確実性を認識したロボットシステムは、予測の不確実性を単一のスカラースコアに分解し、それを使って一様に修正された応答をトリガーする。
このアグリゲーションは、破損した観測結果から不確実性が生じるか、あるいは学習されたモデルと真のシステム力学とのミスマッチから生じるのかを曖昧にしている。
本研究では,不確かさを動脈およびてんかん成分に分解する軽量なポストホックフレームワークを導入し,これらの信号を用いて推論時のシステム応答を調節する。
論文 参考訳(メタデータ) (2026-03-09T09:07:43Z) - Surgical Refusal Ablation: Disentangling Safety from Intelligence via Concept-Guided Spectral Cleaning [0.0]
安全に配慮した言語モデルは、有害な要求を体系的に拒否する。
この分解は、原ベクトルが多意味であるからである。
我々は,これらの操舵方向を蒸留するために,外科的拒絶アブレーションを導入する。
論文 参考訳(メタデータ) (2026-01-13T12:21:44Z) - Preliminary Investigation into Uncertainty-Aware Attack Stage Classification [81.28215542218724]
この研究は、不確実性の下での攻撃段階推論の問題に対処する。
Evidential Deep Learning (EDL) に基づく分類手法を提案し、ディリクレ分布のパラメータを可能な段階に出力することで予測の不確実性をモデル化する。
シミュレーション環境における予備実験により,提案モデルが精度良く攻撃の段階を推定できることが実証された。
論文 参考訳(メタデータ) (2025-08-01T06:58:00Z) - Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。
本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。
攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
論文 参考訳(メタデータ) (2024-07-15T23:41:11Z) - Can Autonomous Vehicles Identify, Recover From, and Adapt to
Distribution Shifts? [104.04999499189402]
トレーニング外の配布(OOD)シナリオは、デプロイ時にエージェントを学ぶ上で一般的な課題である。
インプロバスト模倣計画(RIP)と呼ばれる不確実性を考慮した計画手法を提案する。
提案手法は,OODシーンにおける過信および破滅的な外挿を低減し,分布変化を検知し,回復することができる。
分散シフトを伴うタスク群に対する駆動エージェントのロバスト性を評価するために,自動走行車ノベルシーンベンチマークであるtexttCARNOVEL を導入する。
論文 参考訳(メタデータ) (2020-06-26T11:07:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。