論文の概要: From Routing Signals to Selective Review: Visual regrounding in MoE VLMs

• arxiv url: http://arxiv.org/abs/2609.38111v1
• Date: Tue, 29 Sep 2026 17:49:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.807851
• Title: From Routing Signals to Selective Review: Visual regrounding in MoE VLMs
• Title（参考訳）: 経路信号から選択的レビューへ:MoE VLMにおける視覚的リグラウンド
• Abstract要約: 視覚言語モデル(VLM)は偽の視覚的前提を受け入れ、対象の物体の色、数、位置、状態について疑問に答える。 本稿では,Mixture-of-Experts (MoE)VLMにおける内部ルーティング決定を活用するための最初のフレームワークを提案する。 提案手法は,MoE VLMによってすでに作成されており,低コストな検出と選択的な視覚的リグラウンドを支援することができる。
• 参考スコア（独自算出の注目度）: 48.07726955428853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) may accept false visual premises, answering questions about a target object's color, count, location, or state even when it is absent. We call this reliability-critical behavior a target-absence grounding failure. Existing visual-grounding detectors primarily rely on generated responses, hidden states, or uncertainty measures. We present the first framework to leverage internal routing decisions in Mixture-of-Experts (MoE) VLMs to detect target absence before generation and guide selective correction. We extract target-token routing probabilities from Qwen3-VL-30B-A3B-Instruct and Gemma-4-26B-A4B-it, train a separate L2-regularized linear detector for each model, and use its predictions to selectively invoke a target-aware review prompt. Using routing alone, the Qwen and Gemma detectors achieve ROC-AUCs of 0.9988 and 0.9956 on GQA-Inpaint and retain 0.8095 and 0.7781 on the external OBER dataset, respectively. The resulting routing-gated policy improves end-to-end accuracy on GQA-Inpaint and OBER by +22.25% and +12.17% for Qwen, and by +13.42% and +1.39% for Gemma, without modifying model weights. Further analysis shows that the signal is localized to the target-object token, emerges in early MoE layers, and is distributed across partially substitutable experts. Although cross-dataset threshold shifts require recalibration, false-positive review causes limited harm overall, suggesting that intervention risk can be controlled through joint selection of the detector threshold and review prompt. Overall, we show that routing probabilities alone preserve actionable information about visual perception, allowing computation already produced by an MoE VLM to support low-cost detection and selective visual regrounding.
• Abstract（参考訳）: 視覚言語モデル(VLM)は偽の視覚的前提を受け入れ、対象の物体の色、数、位置、状態について疑問に答える。 私たちはこの信頼性クリティカルな振る舞いを、目標達成のグラウンディング障害と呼んでいます。 既存のビジュアルグラウンド検出装置は、主に生成された応答、隠れ状態、不確実性測定に依存する。 本稿では,Mixture-of-Experts (MoE) VLMにおける内部ルーティング決定を活用するための最初のフレームワークを提案する。 我々は,Qwen3-VL-30B-A3B-Instruct とGemma-4-26B-A4B-it から目標tokenルーティング確率を抽出し,各モデルに対して個別のL2正規化線形検出器を訓練し,その予測を用いてターゲット認識レビュープロンプトを選択的に起動する。 ルーティングのみを用いて、Qwen と Gemma 検出器は GQA-Inpaint 上でそれぞれ 0.9988 と 0.9956 のROC-AUCを達成し、外部ORB データセット上で 0.8095 と 0.7781 を保持する。 GQA-InpaintとOBERでは、Qwenでは+22.25%、Qwenでは+12.17%、Gemmaでは+13.42%、+1.39%のエンドツーエンドの精度が向上した。 さらなる分析により、シグナルはターゲットオブジェクトトークンに局在し、初期のMoE層に出現し、部分的に置換可能な専門家に分散していることが示された。 クロスデータセットの閾値シフトは再校正を必要とするが、偽陽性のレビューは全体としては損傷が限られており、干渉リスクは検出しきい値の共同選択とレビュープロンプトによって制御可能であることを示唆している。 全体として、ルーティング確率だけで視覚知覚に関する実行可能な情報を保持できることを示し、MoE VLMが既に作成している計算により、低コストな検出と選択的な視覚的リグラウンドを支援することができる。

関連論文リスト

• Controlled Decoding Attacks on Black-Box LLMs [68.46062477706256]
  Methodは、繰り返しサンプリングとアシスタント-継続を可能にする、テキストのみの継続インターフェイスを通じてジェイルブレイクを行うためのフレームワークである。 Risk-Gated Residual Controlは、進化する応答プレフィックスを使用して、配布の再構築と修正をいつ行うかを決定する。 Speculative Multi-Token Executionは、介入を必要としないドラフトプレフィックスの検証と受け入れによって、さらにターゲットコールを償却する。
  論文  参考訳（メタデータ） (2026-09-29T07:58:49Z)
• Calibrated Probabilistic Obstruction Reasoning with Vision-Language Models for Grasping in Clutter [2.185870901290891]
  既存の方法は1つの障害グラフや削除戦略にコミットし、代替のシーン解釈における不確実性を無視します。 CPOR-Graspは,2つの証拠から行動決定への不確実性を伝達する,キャリブレーションされた確率的妨害推論フレームワークである。 UNOBenchシーンと実際のUNOBenchシーンでは、CPOR-Graspは最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-16T14:21:52Z)
• RINSE: Robust Target-Time Normality Estimation for Zero-Shot Graph Anomaly Detection [9.187714394723931]
  RINSE(Robust Iterative Normality Self-Estimation)は、勾配のない目標時間フレームワークである。 対象グラフから対象の正規性、表現キャリブレーション、および証拠の信頼性を推定する。 これらの結果は、汎用グラフ異常検出の実践的アプローチとして、頑健な目標時間推定を支援する。
  論文  参考訳（メタデータ） (2026-09-02T12:03:58Z)
• CODE: Cross-Modal Calibration and Dynamic Suppression for Open World Object Detection [8.581460828563534]
  マルチモーダル基礎モデル上に構築されたオープンワールドオブジェクト検出(OWOD)は、一方向のテキストとビジョンのマッチングによって生じる意味的曖昧さに悩まされることが多い。 CODE (Cross-Modal and Dynamic Suppression) は3つの相補的なコンポーネントを持つ統合された推論時間フレームワークである。
  論文  参考訳（メタデータ） (2026-08-27T14:56:19Z)
• Visual Grounding in Zero-Shot Vision-Language Control [0.0]
  視覚言語モデル(VLM)は、ゼロショットコントローラとしてますます使われているが、成功した軌道は、必ずしも決定が視覚入力に基礎を置いていることを示さない。 我々はこれを、ブラインドイメージ制御、繰り返し同じ入力、車線軸反射、非視覚ベースライン、パイプライン積分チェックといった入力アブレーション電池を用いて検討する。 実験では,9つの直接動作モデル,6つの局所的VLM,探索的VLM-MPC階層に対して,2つの実施形態と3つのシミュレータに対する32,874の呼び出しを解析した。
  論文  参考訳（メタデータ） (2026-08-06T15:21:42Z)
• CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
  我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。 CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-09T16:24:16Z)
• Inference Time Causal Probing in LLMs [26.69306706280534]
  因果探索において、介入は、プロパティが異なる値を取るように隠された状態を変更する。 隠れ状態を直接制御するプローブレス勾配法であるHidden-state Driven Margin Intervention (HDMI)を提案する。 HDMIはLGD契約コーパスやCausalGymベンチマークの従来の方法よりも信頼性が高い。
  論文  参考訳（メタデータ） (2026-05-08T11:59:13Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• GLENet: Boosting 3D Object Detectors with Generative Label Uncertainty Estimation [70.75100533512021]
  本稿では,対象物の潜在的可算有界箱の多様性として,ラベルの不確実性問題を定式化する。 本稿では,条件付き変分オートエンコーダを応用した生成フレームワークであるGLENetを提案する。 GLENetが生成するラベルの不確実性はプラグアンドプレイモジュールであり、既存のディープ3D検出器に便利に統合することができる。
  論文  参考訳（メタデータ） (2022-07-06T06:26:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。