論文の概要: Looks the Same, Answers Differently: Flip-Direction Steering for Robust Vision-Language Reasoning

• arxiv url: http://arxiv.org/abs/2609.28851v1
• Date: Wed, 23 Sep 2026 23:43:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.607466
• Title: Looks the Same, Answers Differently: Flip-Direction Steering for Robust Vision-Language Reasoning
• Title（参考訳）: Flip-Direction Steering for Robust Vision-Language Reasoning
• Abstract要約: 視覚言語モデル(VLM)は、強い視覚的推論性能を達成する。 イメージキャプチャーと処理の微妙な変更は 推論の軌跡を変える可能性がある FlipDirは、元の入力と答えフリップ入力の対照的なペアから低ランクなフリップ誘導活性化部分空間を推定する。
• 参考スコア（独自算出の注目度）: 46.43059067383253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) achieve strong visual reasoning performance, yet subtle changes from routine image capture and processing can alter their reasoning trajectories even when images appear nearly identical. In long-horizon generation, the resulting activation shifts may accumulate across decoding steps, progressively altering reasoning tokens and ultimately changing the final answer, a phenomenon referred to as answer flips. To address this instability, we propose FlipDir (Flip-Direction Steering), a training-free inference-time method that estimates a low-rank flip-inducing activation subspace from contrastive pairs of original and answer-flipping inputs and selectively steers hidden states during decoding. A margin-based gate limits subspace attenuation to uncertain decoding steps, recovering original predictions while preserving stable ones. To evaluate robustness beyond accuracy or consistency on fixed test sets, we introduce VisFlip, a benchmark framework that constructs evaluation groups for a target model and visual variation setting to separately assess recovery of original predictions and preservation of stable ones. VisFlip spans nine dataset-variation combinations across scientific reasoning, robot-scene understanding, and medical VQA, covering subtle visual variations common in each domain. Experiments across 18 settings demonstrate that FlipDir consistently outperforms existing methods on the combined recovery and preservation metric. We will make our code publicly available.
• Abstract（参考訳）: 視覚言語モデル(VLM)は強い視覚的推論性能を実現するが、日常的な画像キャプチャや処理による微妙な変化は、画像がほぼ同一である場合でも、その推論軌道を変更することができる。 ロングホライゾン生成では、結果として生じるアクティベーションシフトはデコードステップにまたがって蓄積され、推論トークンが徐々に変化し、最終的な答えが最終的に変化する(応答フリップと呼ばれる現象)。 この不安定性に対処するために、FlipDir (Flip-Direction Steering) を提案する。FlipDir (Flip-Direction Steering) は、低ランクなフリップ誘導活性化サブ空間を、原文と解答フリップ入力のコントラスト対から推定し、復号時に隠れ状態の選択的ステアリングを行う。 マージンベースのゲートは、不確実なデコードステップにサブスペース減衰を制限し、安定なゲートを保持しながら元の予測を回復する。 固定されたテストセット上での精度や整合性を超えた堅牢性を評価するために、ターゲットモデルと視覚的変動設定の評価グループを構築するベンチマークフレームワークVisFlipを導入し、元の予測の回復と安定した予測の保存を別々に評価する。 VisFlipは、科学的推論、ロボットシーン理解、医療用VQAにまたがる9つのデータセット偏差の組み合わせにまたがっており、各領域に共通する微妙な視覚的バリエーションをカバーしている。 FlipDirは18つの設定で実験した結果、回復と保存の合計で既存の手法を一貫して上回っていることがわかった。 コードを公開します。

関連論文リスト

• GLaQ: Grounding Latent Queries in Visual Evidence for Multimodal Reasoning [27.232897918541067]
  連鎖推論は多モーダルな大言語モデルの問題解決能力を大幅に改善した。 しかし、微細な視覚的証拠は、テキストベースの推論ステップをまたいだ保存と再利用が難しいままである。 GLaQは、逐次ラテントロールアウトをコンテキスト条件付きクエリの固定セットに置き換える、接地型ラテントクエリフレームワークである。
  論文  参考訳（メタデータ） (2026-08-16T04:01:08Z)
• Learn to Rank: Visual Attribution by Learning Importance Ranking [58.69028273772474]
  コンピュータビジョンモデルのための視覚属性マップを生成する新しい手法を提案する。 提案手法は, 任意の数段階の勾配補正を施した1つの前方通過において, 密度の高い画素レベルの属性を生成する。 我々の実験は、一貫した定量的改善と、よりシャープで境界に沿った説明を示す。
  論文  参考訳（メタデータ） (2026-04-07T12:53:22Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• KAGE-Bench: Fast Known-Axis Visual Generalization Evaluation for Reinforcement Learning [44.94110361062394]
  我々は、観察プロセスを独立して制御可能な視覚軸に分解するJAXネイティブな2DプラットフォームであるKAGE-Envを紹介する。 この環境に基づいてKAGE-Benchを定義する。KAGE-Benchは、34の列車評価構成ペアからなる6つの既知の軸組のベンチマークである。 完全にベクター化されたJAX実装は、単一のGPU上で毎秒3300万の環境ステップを可能にし、視覚的要因を高速かつ再現可能なスイープを可能にする。
  論文  参考訳（メタデータ） (2026-01-20T18:44:28Z)
• Beyond Single Models: Mitigating Multimodal Hallucinations via Adaptive Token Ensemble Decoding [41.828387997311474]
  LVLM(Large Vision-Language Models)は画像キャプションや視覚的質問応答といったマルチモーダルタスクにおいて,近年顕著な成果を上げている。 それらは、まだ存在しない、または誤認されたオブジェクトの記述を生成する、オブジェクト幻覚の傾向にある。 本稿では,複数のLVLMからの予測を集約することで幻覚を緩和する,学習不要でトークンレベルのアンサンブルフレームワークであるAdaptive Token Ensemble Decoding (ated)を提案する。
  論文  参考訳（メタデータ） (2025-10-21T06:11:24Z)
• Breaking the Frame: Visual Place Recognition by Overlap Prediction [53.17564423756082]
  本稿では,重なり合う予測に基づく新しい視覚的位置認識手法 VOP を提案する。 VOPは、Vision Transformerのバックボーンを使用してパッチレベルの埋め込みを取得することで、コビジュアブルなイメージセクションを進める。 提案手法では,データベース画像の重複点の評価に投票機構を用いる。
  論文  参考訳（メタデータ） (2024-06-23T20:00:20Z)
• Learning Saliency From Fixations [0.9208007322096533]
  本稿では, 画像の並列デコードを利用して, 修正マップからのみサリエンシを学習する, 画像中のサリエンシ予測のための新しいアプローチを提案する。 我々のアプローチは、Saliency TRansformer (SalTR) と呼ばれ、SaliconとMIT300ベンチマークの最先端のアプローチと同等のスコアを得る。
  論文  参考訳（メタデータ） (2023-11-23T16:04:41Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。