論文の概要: Gravity and Flight: Learning to Navigate Fine-Grained Remote Sensing Scenes
- arxiv url: http://arxiv.org/abs/2611.16408v2
- Date: Fri, 13 Nov 2026 04:45:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.234263
- Title: Gravity and Flight: Learning to Navigate Fine-Grained Remote Sensing Scenes
- Title(参考訳): 重力と飛行:微粒なリモートセンシングシーンを学習する
- Abstract要約: 限定的な監督を行うフレームワークである重力飛行(G&F)を提案する。
Evidence-of-Thought(EoT-SFT)とTransfer Optimization(RTPO)を組み合わせて、きめ細かい観察と忠実な推論を教える。
G&Fは1008のデモンストレーションと500のトレーニングペアを港の特殊化に使用し、6つの評価セットの平均スコアは69.12である。
- 参考スコア(独自算出の注目度): 21.341566367579606
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models are increasingly capable, yet their reasoning in complex remote sensing scenes can remain coarse-grained and insufficiently grounded in task-relevant visual evidence. We propose Gravity and Flight (G&F), a framework for scene specialization with limited supervision that separates visual and reasoning verification while coupling policy updates. It combines Evidence-of-Thought supervised fine-tuning (EoT-SFT) and Relational Transfer Policy Optimization (RTPO). EoT-SFT teaches fine-grained observation and faithful reasoning through description, analysis, and supported conclusions. RTPO independently samples responses to scene-matched image pairs with fine-grained visual differences under a shared task. Its rubric-based verification combines Gravity, which checks visual fidelity and description coverage, and Flight, which takes descriptions as premises to assess evidence use and relations between paired judgments. Their scores and task correctness yield a shared pair-level advantage that couples policy updates from both responses. Using 1,008 demonstrations and 500 training pairs for harbor specialization, G&F achieves a mean score of 69.12 across six evaluation sets, exceeding the backbone and supervised initialization by 9.76 and 4.56 points. Matched controls show gains over single-image and joint-input RL, and removing either verification view reduces performance. Applying G&F to urban specialization also improves on the base model and supervised initialization across three evaluation subsets. Project details and updates are available at https://github.com/Z0ngL1ng/Gravity-and-Flight.
- Abstract(参考訳): 視覚言語モデルはますます能力が高くなっているが、複雑なリモートセンシングシーンにおける推論は、粗い粒度のままであり、タスク関連視覚的証拠には不十分である。
G&F(Gravity and Flight)は、視覚と推論の検証を分離し、ポリシーの更新を結合する、限られた監督を伴うシーン専門化のためのフレームワークである。
Evidence-of-Thought supervised fine-tuning (EoT-SFT)とRelational Transfer Policy Optimization (RTPO)を組み合わせている。
EoT-SFTは、説明、分析、そして支持された結論を通じて、きめ細かい観察と忠実な推論を教える。
RTPOは、シーンマッチングされた画像対に対する応答を、共有タスク下できめ細かい視覚的差異で独立にサンプリングする。
ルーリックベースの検証には、視覚的忠実度と記述のカバレッジをチェックするGravityと、ペア化された判断間の証拠使用と関係性を評価するための前提として説明を取るFlightが組み合わさっている。
彼らのスコアとタスクの正しさは、両方のレスポンスからポリシー更新を結合する共有ペアレベルの優位性をもたらす。
G&Fは1008のデモンストレーションと500のトレーニングペアを使って6つの評価セットの平均スコアを69.12とし、背骨を超え、9.76点と4.56点で初期化を監督した。
一致した制御は、シングルイメージとジョイントインプットRLよりも利得を示し、どちらの検証ビューも削除することで性能が低下する。
G&Fを都市特殊化に適用すると、ベースモデルも改善され、3つの評価サブセットにまたがる初期化が監督される。
プロジェクトの詳細と更新はhttps://github.com/Z0ngL1ng/Gravity-and-Flight.comで公開されている。
関連論文リスト
- From Visual Affinity to Learning Credit in Multimodal Reinforcement Learning [24.001023744709837]
検証可能な報酬(RLVR)による強化学習は推論を改善するが、すべてのトークンに対して単一の応答レベルの利点を均一に割り当てることは、視覚的な観察とその後の推論の役割を見落としている。
トークンレベルのクレジットカード代入から視覚連想計測を分離するプラグインフレームワークである textbfOutcome-Conditioned Visual Credit (OVC) を提案する。
論文 参考訳(メタデータ) (2026-10-23T08:22:16Z) - V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning [59.47823383593251]
視覚サンプルモデルでは、視覚的証拠が不十分な流動的な答えを生み出すことができる。
本稿では,参照応答を原子命題に分解するVisuals-Based Reinforcement Learningを紹介する。
我々は,コンポーネントワイド,プレフィックスローカライズされたルーリッククレジットを用いて,同じSFTチェックポイントに基づいてモデルをトレーニングする。
論文 参考訳(メタデータ) (2026-08-26T09:40:46Z) - Is Visual Prompting All You Need? Studying VLM Spatial Reasoning under Progressive Visual Scaffolds [12.841957617988148]
本研究では,タスクの視覚的提示がモデル性能と障害モードを,基礎となる推論問題が変化しない場合にどのように形成するかを検討する。
空間構造をより使いやすくしながら、視覚的モダリティを保ちつつ、軽量な入力側足場を導入する。
視覚提示は,VLMベンチマークが基底認識,下流推論,あるいは両者の混合を計測するかどうかを決定する中心的な要因であることがわかった。
論文 参考訳(メタデータ) (2026-08-21T14:40:26Z) - VISTAQA: Benchmarking Joint Visual Question Answering and Pixel-Level Evidence [26.0945130521806]
既存のベンチマークでは、テキストによる回答の正当性または画素レベルのローカライゼーションを分離して評価している。
本稿では,視覚的質問応答に基づく自由形式の回答正当性と画素レベルの証拠を共同評価するためのベンチマークであるVISTAQAを紹介する。
GROVEは, テキストの精度と接地品質を, サンプルごとの幾何平均で組み合わせることで, 関節の正しさを強制する指標である。
論文 参考訳(メタデータ) (2026-05-20T03:44:06Z) - VisionCoach: Reinforcing Grounded Video Reasoning via Visual-Perception Prompting [58.508924874097715]
VisonCoach は,(1) ビデオと質問に対して適切なプロンプト型を予測する Visual Prompt Selector と,(2) 視覚的プロンプトガイダンスとオブジェクトグラウンド報酬の下で RL で最適化された Spatio-Reasoner の2つのコンポーネントから構成される。
この結果から,トレーニング中の視覚的プロンプトが映像推論を改善するのに対し,注意散布センスは推論時にプロンプトを必要とせず,この能力を実現することが示唆された。
論文 参考訳(メタデータ) (2026-03-15T23:32:02Z) - Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。
LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
論文 参考訳(メタデータ) (2025-11-15T02:50:23Z) - STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。
ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。
本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
論文 参考訳(メタデータ) (2024-11-29T11:54:55Z) - Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。
視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。
人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
論文 参考訳(メタデータ) (2023-03-16T00:06:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。