Stateful Visual Encoders for Vision-Language Models
Abstractの概要
本論文は、複数画像およびマルチターン設定におけるオープンウェイトの視覚言語モデルの限界、すなわち視覚エンコーダが通常各画像を独立して処理し、画像間の比較を言語モデルに完全に任せているという問題を調査している。著者らは、現在の画像の表現を、視覚バックボーン内部で過去の画像から得た視覚特徴に条件付けるステートフル視覚エンコーダ（SVE）を導入する。いくつかのステートフルな設計を比較した結果、空間的集約、オブジェクトレベルの視覚的差異分析、視覚軌跡の行動クローニングといった制御されたタスク全体において、クロスアテンションとFFNを組み合わせたバリアントが最も強力であることがわかった。また、縦断的放射線医学、きめ細かい画像比較、リモートセンシングなどの実世界タスクでこのアプローチの有効性を検証し、学習された特徴がどのようにコンテキストに依存し、空間的に選択的になるかを分析している。
新規性
主な新規性は、独立してエンコードされた画像の比較を言語モデルに頼るのではなく、画像間の状態処理を視覚エンコーダそのものに移動させた点にある。また、視覚バックボーンを置き換えたり、モデル全体をゼロから再トレーニングしたりすることなく、事前学習済みのオープンウェイトVLMにこのステートフルな特性を追加するための実用的なファインチューニングのレシピも提示している。
成果
制御された評価全体を通して、Cross+FFN SVEバリアントは、より優れた空間的集約誤差、高いCLEVRの変化検出精度、VisGymタスクでのパープレキシティの低減など、ステートレスなベースラインや他のステートフルな代替手法を一貫して上回っている。実世界のテストでは、SVEはMedical-Diff-VQAおよびLEVIR-CCにおいてQwen3.5-4Bのベースラインを改善し、LEVIR-CCでは従来の専門モデルを上回ったと報告されている。また、ImgEditでの評価者に基づく判定でも良好な結果を得たと報告している。
論文の注目点
- SVEは因果的な画像間の相互作用を視覚バックボーンに直接注入し、トークンが言語モデルに到達する前に、現在の画像表現が過去の視覚コンテキストを利用できるようにする。
- テストされた設計の中では、FFNを追加したトークンレベルのクロスアテンションが最も優れた性能を示し、その性能向上は、クローン初期化、ゼロ初期化された出力ブランチ、位置エンベディング、過去の画像特徴の処理といった特定のトレーニング設計に依存している。
- この手法は、解像度、モデルサイズ、および複数のVLMファミリーにわたって高い汎用性を持つと考えられ、特徴分析によれば、学習されたステートフルな更新はコンテキスト依存的およびタスク関連的であり、空間的にはスパースであることが示唆されている。
参考リンク
- arXiv: https://arxiv.org/abs/2606.04433v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2606.04433v1
- Hugging Face Papers: https://huggingface.co/papers/2606.04433
- Project: https://statefulvisualencoders.github.io/