論文の概要: Decodable but Misrouted: Sparse Features Uncover a Readout Gap in Vision-Language Models for Harmful Meme Detection

• arxiv url: http://arxiv.org/abs/2609.18860v1
• Date: Wed, 16 Sep 2026 16:00:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.881272
• Title: Decodable but Misrouted: Sparse Features Uncover a Readout Gap in Vision-Language Models for Harmful Meme Detection
• Title（参考訳）: 可逆だが誤認:無作為なミーム検出のための視覚言語モデルにおける読み出しギャップを発見するスパース特徴
• Abstract要約: Gemma-3 と Qwen3.5 では,スパースオートエンコーダ,ロールコンディショニングプローブ,因果介入,リカバリ実験を用いて区別を行った。 スパース読み込みは6つのプライマリバイナリタスクすべてでネイティブ予測を上回っている。 ルーティングは、表現のみではなく、有害なミーム分類において、繰り返し発生するボトルネックである。
• 参考スコア（独自算出の注目度）: 11.020614074201346
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: When a large vision-language model misclassifies a harmful meme, the failure may reflect missing internal evidence or an inability to route represented evidence to its output. We distinguish these cases in Gemma-3 and Qwen3.5 using sparse autoencoders, role-conditioned probes, causal interventions, and recovery experiments across six harmful content benchmarks, with additional Spanish and Hindi-English code-mixed evaluations. Sparse readouts outperform native prediction on all six primary binary tasks: Qwen averages $0.740$ versus $0.432$ native macro-F1, while residual reconstruction reaches $0.486$, whereas Gemma improves from $0.532$ to $0.714$. These differences reflect supervised accessibility rather than a pre-existing, native decision rule, and the most influential token role depends on the task. Under the evaluated score scales, Qwen silent-feature ablation is $24-63$ times more probe-sensitive, whereas routed-feature patching on literal yes/no tasks is $16-140$ times more output-sensitive. Calibration-only routing recovers $93.3$% of the mean gap, and probe-distilled LoRA improves native predictions, although shared multi-task adaptation causes negative transfer. A case study of Gemma-3-12B on Facebook Hateful Memes finds a distributed rank-32 image-prompt interaction, reaching $0.756$ versus $0.685$ native macro-F1. Robustness controls show that the signal extends beyond English, is not explained solely by accompanying OCR, and depends on paired visual evidence. Thus, routing, rather than representation alone, is a recurring bottleneck in harmful meme classification.
• Abstract（参考訳）: 大きな視覚言語モデルが有害なミームを誤分類した場合、その失敗は内部証拠の欠如や、その出力に表現された証拠をルートできないことを反映する可能性がある。 Gemma-3とQwen3.5では、スパースオートエンコーダ、ロールコンディショニングプローブ、因果介入、リカバリ実験を6つの有害コンテンツベンチマークで比較し、さらにスペイン語とヒンディー語のコードミキシングによる評価を行った。 Qwenは平均$0.740$対$0.432$ネイティブマクロF1、残留再構成は$0.486$、Gemmaは$0.532$から$0.714$である。 これらの違いは、既存のネイティブな決定ルールよりも、教師付きアクセシビリティを反映しており、最も影響力のあるトークンの役割はそのタスクに依存する。 評価されたスコア尺度では、Qwenのサイレントフェイルアブレーションはプローブ感度の24-63ドル、リテラルのye/noタスクのルーティングフィールパッチは16-140ドル、出力感度の16-140ドルである。 キャリブレーションのみのルーティングは平均ギャップの93.3ドル%を回復し、プローブ蒸留されたLoRAはネイティブな予測を改善するが、共有マルチタスク適応は負の転送を引き起こす。 Facebook Hateful MemesのGemma-3-12Bのケーススタディでは、ランク-32イメージプロンプトインタラクションが分散し、0.756$と0.685$のネイティブマクロ-F1に達した。 ロバスト性制御は、信号が英語を超えて広がり、OCRに付随するだけでは説明されず、ペアの視覚的証拠に依存することを示している。 したがって、表現のみではなく、ルーティングは有害なミーム分類において繰り返しボトルネックとなる。

関連論文リスト

• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• Located but Not Releasable: Silent Gate Inversion and Bounded Linear Release [0.0]
  完全なパイプライン -- 検出、ローカライズ、リリース -- を、25.7Mトランス上で完全に事前登録されたストレステストに送信します。 中層層の観測エビデンスチャネルでの干渉は、他の抑圧された世界における標的の挙動を復元する。 配当外のキャリブレーションをゼロにするために調整された検出器は、6.9-7.3%の配当前の世代と、実際にそれを必要とする2,400世代のうちゼロにトリガーをトリガーする。
  論文  参考訳（メタデータ） (2026-08-12T09:04:54Z)
• Beyond Accuracy: Auditing Spatial Provenance in Visual Token Pruning for OCR-Critical MLLM Inference [22.335515110971475]
  ビジュアルトーケンプルーニングは、一定保持予算における応答品質によって判断される。 私たちはこの盲点を、幾何学的トークン・オリジンの証明によってカップルが行動に答えるエビデンスリスク監査にします。 目的検証ポイントがタスク汎用圧縮を含まないことを示す。
  論文  参考訳（メタデータ） (2026-07-29T13:45:31Z)
• Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
  音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
  論文  参考訳（メタデータ） (2026-06-02T07:01:33Z)
• Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
  emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。 EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
  論文  参考訳（メタデータ） (2026-05-28T09:45:47Z)
• When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation [9.055086193088083]
  10大言語モデルによって駆動されるチェーン・オブ・シンクとReActエージェントに経験的現象を記述した。 平均的な摂動は、同等の厳しさのプレゼンテーション摂動よりも、最終的な答えを頻繁に変更する。
  論文  参考訳（メタデータ） (2026-05-25T15:57:11Z)
• What Do EEG Foundation Models Capture from Human Brain Signals? [64.48249643001402]
  現代の脳波基礎モデルは、自己教師付き事前訓練を通じて生信号から直接学習する。 我々は3つのサブクエストに分解する: モデルが何を学習するか、モデルを何に使用するのか、そしてどのように説明できるのか。 3つの基礎モデル(CSBrain, CBraMod, LaBraM),5つの臨床タスク(MDD, Stress, ISRUC-Sleep, TUSL, Siena)と6ファミリー63機能レキシコンを含む。
  論文  参考訳（メタデータ） (2026-05-12T01:57:53Z)
• Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
  本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。 適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:22:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。