論文の概要: SkyNative: A Native Multimodal Framework for Remote Sensing Visual Evidence Reasoning

• arxiv url: http://arxiv.org/abs/2605.17949v1
• Date: Mon, 18 May 2026 07:06:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.936595
• Title: SkyNative: A Native Multimodal Framework for Remote Sensing Visual Evidence Reasoning
• Title（参考訳）: SkyNative: リモートセンシングによる視覚的エビデンス推論のためのネイティブマルチモーダルフレームワーク
• Authors: Xiao Yang, Ronghao Fu, Zhiwen Lin, Zhuoran Duan, Jiashun Zhu, Jiasen Hu, Lang Sun, Weipeng Zhang, Jiaqi Liu, Xu Na, Haoran Liu, Weijie Zhang, Bo Yang,
• Abstract要約: 我々は,エンコーダフリーアーキテクチャを採用したリモートセンシングのネイティブフレームワークであるSkyNativeを紹介する。 その結果,SkyNativeは画像認識の精度が向上し,先行言語に対する頑健性も向上していることがわかった。
• 参考スコア（独自算出の注目度）: 16.495950082862763
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Remote sensing vision-language models commonly rely on pretrained visual encoders to convert images into semantic features before language-model reasoning. While effective for scene-level understanding, this pipeline may prematurely compress local visual evidence, making fine-grained spatial reasoning vulnerable to language priors, especially in ultra-high-resolution remote sensing imagery. We present SkyNative, a native multimodal framework for remote sensing that adopts an encoder-free architecture, removing the pretrained visual backbone to directly represent images as raw patch tokens in the language-model token space. To reconcile low-level visual patches with textual tokens, SkyNative introduces a modality-aware decoupling mechanism that uses modality-specific parameters within a unified autoregressive backbone. We further introduce a visual reliance benchmark that diagnoses whether models ground their answers in image evidence through progressive visual degradation and misleading textual prompts. Across standard remote sensing understanding tasks and large-format spatial reasoning evaluations, SkyNative shows stronger image-grounded perception and improved robustness against prompt-induced language priors. These results suggest that native patch-level multimodal modeling is a promising direction for reliable remote sensing vision-language reasoning.
• Abstract（参考訳）: リモートセンシング視覚言語モデルは、言語モデル推論の前にイメージを意味的特徴に変換するために、訓練済みの視覚エンコーダに依存することが多い。 シーンレベルの理解には有効であるが、このパイプラインは局所的な視覚的証拠を早めに圧縮し、特に超高解像度のリモートセンシング画像において、言語先行に弱いきめ細かい空間的推論を可能にする。 我々は,エンコーダレスアーキテクチャを採用したリモートセンシングのためのネイティブマルチモーダルフレームワークであるSkyNativeを紹介し,言語モデルトークン空間において,画像を直接生のパッチトークンとして表現するための事前学習された視覚バックボーンを除去する。 テキストトークンで低レベルの視覚パッチを調整するために、SkyNativeは、統一された自己回帰バックボーン内でモダリティ固有のパラメータを使用するモダリティ対応のデカップリング機構を導入した。 さらに,段階的な視覚的劣化と誤解を招く文章のプロンプトを通じて,モデルが画像証拠に回答を根拠づけているかどうかを診断する視覚的信頼度ベンチマークを導入する。 標準のリモートセンシング理解タスクと大規模空間推論評価の範囲で、SkyNativeはより強力なイメージグラウンド認識を示し、プロンプトによる言語先行に対する堅牢性を向上させる。 これらの結果は、ネイティブパッチレベルのマルチモーダルモデリングが、信頼できるリモートセンシング視覚言語推論にとって有望な方向であることを示唆している。

関連論文リスト

• Steerable Visual Representations [72.39044430620977]
  我々は、グローバルでローカルな機能を自然言語で操れるステアブルなビジュアル表現を紹介した。 また,本手法は,異常検出とパーソナライズされた対象の識別に専用アプローチを適合させ,性能を向上する。
  論文  参考訳（メタデータ） (2026-04-02T17:59:49Z)
• AVION: Aerial Vision-Language Instruction from Offline Teacher to Prompt-Tuned Network [17.832005464792584]
  リモートセンシング画像への視覚言語モデルの適用は、セマンティックカバレッジの制限と視覚的特徴の適応性が不十分なため、依然として困難である。 視覚言語モデルのリモートセンシング適応に適した知識蒸留フレームワークであるAVIONを提案する。
  論文  参考訳（メタデータ） (2026-03-13T05:02:01Z)
• Chatting with Images for Introspective Visual Thinking [50.7747647794877]
  「画像の変更」は、視覚操作を言語誘導の機能変調として再編成する新しいフレームワークである。 表現型言語プロンプトの指導の下で、モデルは複数の画像領域上で動的に共同再符号化を行う。 ViLaVTは、複雑なマルチイメージとビデオベースの空間推論タスクにおいて、強力で一貫した改善を実現する。
  論文  参考訳（メタデータ） (2026-02-11T17:42:37Z)
• ControlThinker: Unveiling Latent Semantics for Controllable Image Generation through Visual Reasoning [76.2503352325492]
  ControlThinkerは、"Comprehend-then-generate"パラダイムを採用した、新しいフレームワークである。 制御画像からの潜在セマンティクスは、テキストプロンプトを豊かにするためにマイニングされる。 このリッチなセマンティック理解は、追加の複雑な修正を必要とせずに、画像生成をシームレスに支援する。
  論文  参考訳（メタデータ） (2025-06-04T05:56:19Z)
• TWIST & SCOUT: Grounding Multimodal LLM-Experts by Forget-Free Tuning [54.033346088090674]
  TWIST と SCOUT は,事前学習したMLLM に視覚的接地能力を持たせるフレームワークである。 モデルを効果的に微調整するために,SCOUTと呼ばれる高品質な合成データセットを生成する。 このデータセットは、ステップバイステップのマルチモーダル推論プロセスを記述する、豊富な監視信号を提供する。
  論文  参考訳（メタデータ） (2024-10-14T13:35:47Z)
• Language-Enhanced Latent Representations for Out-of-Distribution Detection in Autonomous Driving [1.3499500088995464]
  マルチモーダル入力は、人間の言語を潜在表現として捉える可能性を提供する。 本稿では,マルチモーダルモデルCLIPで符号化された画像とテキストのコサイン類似性を新しい表現として利用する。 現実的な駆動データを用いた実験により,言語に基づく潜在表現は従来の視覚エンコーダの表現よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-05-02T19:27:28Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)
• Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision [110.66085917826648]
  我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。 語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。 これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
  論文  参考訳（メタデータ） (2020-10-14T02:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。