論文の概要: Filling Before Advancing: Capability-Gap-Driven Post-Training for Scenario-Specialized Remote Sensing MLLMs
- arxiv url: http://arxiv.org/abs/2607.22205v1
- Date: Fri, 24 Jul 2026 11:21:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 20:58:57.117538
- Title: Filling Before Advancing: Capability-Gap-Driven Post-Training for Scenario-Specialized Remote Sensing MLLMs
- Title（参考訳）: 拡張前の充足:シナリオ特化リモートセンシングMLLMのためのキャパビリティ・ギャップ駆動後トレーニング
- Abstract要約: 我々はこれを能力駆動のポストトレーニング問題として定式化し、前進前に補充を提案する(FBA)。
ターゲットドメインサンプルよりも単一ステージの教師付き微調整(SFT)に頼るのではなく、まずシナリオの特殊化に向けて必要な能力ギャップを埋める。
認識,空間的理解,堅牢性,生成を対象とする8トラックの診断ベンチマークであるHarborEvalを構築した。
- 参考スコア（独自算出の注目度）: 14.256984317315919
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Remote sensing multimodal large language models (RS-MLLMs) have improved general aerial-image understanding. However, Earth observation applications require fine-grained scenario specialization, constrained by scarce high-quality scenario data and incomplete capability coverage. We formulate this adaptation as a capability-gap-driven post-training problem and propose filling before advancing (FBA). Rather than relying on single-stage supervised fine-tuning (SFT) over target-domain samples, FBA first fills prerequisite capability gaps before advancing toward scenario specialization. We instantiate FBA for coastal harbor understanding, a representative multi-source scenario, by constructing CPRS (Coastal-Port Remote Sensing), a three-layer supervision dataset coupled with three ordered stages: (1) RS semantic anchoring for overhead-view visual-language alignment; (2) domain-bridge convergence for shared RS priors across target and bridging scenarios under different modalities; and (3) evidence-grounded scenario tuning for downstream performance. We construct HarborEval, an eight-track diagnostic benchmark covering perception, spatial understanding, robustness, and generation. Under comparable training budgets, HarborEval increases from 57.95 with Direct-SFT to 70.29 with FBA on LLaVA-v1.5, and from 81.09 to 83.37 on Qwen3-VL. FBA also outperforms Collapsed-SFT and leads on harbor-related VRSBench/RSVQA subsets and OpenEval. Stage-wise and role-replacement analyses validate progressive gap filling and stage-specific roles. Public examples and release updates for CPRS, HarborEval, code, and trained weights are available at https://github.com/Z0ngL1ng/filling-before-advancing.
- Abstract（参考訳）: リモートセンシングマルチモーダル大言語モデル(RS-MLLM)は、一般的な空中画像理解を改善した。
しかし、地球観測の応用には、高品質のシナリオデータが少ないことと不完全な能力カバレッジによって制約された、きめ細かいシナリオの専門化が必要である。
本稿では,この適応を能力ギャップ駆動のポストトレーニング問題として定式化し,FBA前処理(FBA)を提案する。
FBAは、ターゲットドメインサンプルよりも単一ステージの教師付き微調整(SFT)に頼るのではなく、まずシナリオの特殊化に向けて必要な能力ギャップを埋める。
沿岸域の港湾理解のためのFBAを代表的マルチソースシナリオであるCPRS(Coastal-Port Remote Sensing)の構築により,(1)オーバヘッドビューの視覚言語アライメントのためのRSセマンティックアンカリング,(2)ターゲットとブリッジのシナリオ間での共有RSのドメインブリッジ収束,(3)下流性能のためのエビデンス-グラウンドシナリオチューニングの3段階からなる3層監視データセットを構築した。
認識,空間的理解,堅牢性,生成を対象とする8トラックの診断ベンチマークであるHarborEvalを構築した。
同等の訓練予算で、HarborEvalは57.95、Direct-SFTは70.29、FBAはLLaVA-v1.5、Qwen3-VLは81.09から83.37に増加した。
FBAはCollapsed-SFTを上回り、港関連のVRSBench/RSVQAサブセットとOpenEvalをリードしている。
段階的および役割交代分析は、進行的ギャップフィリングと段階特異的な役割を検証している。
CPRS、HarborEval、コード、トレーニングされた重み付けのパブリックな例とリリースアップデートはhttps://github.com/Z0ngL1ng/filling-before-advancingで見ることができる。
関連論文リスト
- Posterior Augmented Flow Matching [64.1559809786948]
後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である
PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
論文 参考訳（メタデータ） (2026-05-01T17:59:59Z) - NCL-BU at SemEval-2026 Task 3: Fine-tuning XLM-RoBERTa for Multilingual Dimensional Sentiment Regression [5.8096845806519335]
本稿では,トラックA-サブタスク1(次元アスペクト知覚回帰)のために開発されたシステムについて述べる。
テキスト中の各アスペクトの[1, 9]範囲で、実値のVAスコアを予測することを目的としている。
論文 参考訳（メタデータ） (2026-04-10T03:38:53Z) - SAE as a Crystal Ball: Interpretable Features Predict Cross-domain Transferability of LLMs without Training [70.84726713548099]
SAEベースのTransferability Score(STS)は、トレーニング後のTransferabilityを予測するための新しい指標である。
STSは教師付き微調整の伝達可能性を正確に予測し,実際の性能変化とともに0.7以上のピアソン相関係数を達成できることを示す。
論文 参考訳（メタデータ） (2026-03-03T12:01:09Z) - Ostrakon-VL: Towards Domain-Expert MLLM for Food-Service and Retail Stores [15.157612712079677]
我々は,Qwen3-VL-8Bに基づくFSRS指向のMLLMであるOstrakon-VLを開発した。
Ostrakon-VL は ShopBench で平均 60.1 のスコアを獲得し、オープンソース MLLM の新たな状態を確立している。
再現可能な研究を容易にするため、Ostrakon-VLとShopBenchベンチマークを公開します。
論文 参考訳（メタデータ） (2026-01-29T07:07:23Z) - Beyond Rule-Based Workflows: An Information-Flow-Orchestrated Multi-Agents Paradigm via Agent-to-Agent Communication from CORAL [0.15199492741752027]
本稿ではエージェント・ツー・エージェント(A2A)通信を用いた情報フロー型マルチエージェントパラダイムを提案する。
汎用ベンチマークGAIAに対する我々のアプローチを,代表的ワークフローベースMASをベースラインとして評価した。
本手法は63.64%の精度を達成し, OWL の55.15% を8.49 % に上回り, トークン消費に匹敵する性能を示した。
論文 参考訳（メタデータ） (2026-01-14T21:35:51Z) - Model-Based Policy Adaptation for Closed-Loop End-to-End Autonomous Driving [54.46325690390831]
本稿では,事前学習したE2E運転エージェントのロバスト性と安全性を高めるための汎用フレームワークとして,モデルベースポリシー適応(MPA)を提案する。
MPAは、ジオメトリ一貫性のあるシミュレーションエンジンを用いて、まず様々な対物軌道を生成する。
MPAは拡散ベースのポリシーアダプタを訓練し、基本方針の予測を洗練させ、Q値モデルを多段階に分けて長期的な結果を評価する。
論文 参考訳（メタデータ） (2025-11-26T17:01:41Z) - How to Train Your LLM Web Agent: A Statistical Diagnosis [96.86317871461834]
LLMウェブエージェントのポストトレーニングにおける計算割当に関する統計学的基礎研究について述べる。
提案手法では,Llama 3.1 8Bの学生を対象に,教師付き微調整(SFT)とオンライン強化学習を用いて,Llama 3.3 70Bの教師を模倣する2段階のパイプラインを用いた。
以上の結果から,SFTとオンラインRLの組み合わせは,WorkArenaとMiniWob++のいずれにおいても,単独でのアプローチよりも一貫して優れていた。
論文 参考訳（メタデータ） (2025-07-05T17:12:33Z) - OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。
OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。
最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
論文 参考訳（メタデータ） (2024-09-14T07:44:22Z) - One at a Time: Progressive Multi-step Volumetric Probability Learning
for Reliable 3D Scene Perception [59.37727312705997]
本稿では,複雑な3次元ボリューム表現学習を生成段階の列に分解することを提案する。
強力な生成拡散モデルにより達成された最近の進歩を考えると、我々はVPDと呼ばれる多段階学習フレームワークを導入する。
SSCタスクでは、Semantic KITTIデータセット上でLiDARベースのメソッドを初めて越える作業として際立っている。
論文 参考訳（メタデータ） (2023-06-22T05:55:53Z) - SGDP: A Stream-Graph Neural Network Based Data Prefetcher [19.990422170963324]
本稿では,SGDP(Stream-Graph Neural Network-based Data Prefetcher)を提案する。
SGDPは、LBAデルタ間の相互作用関係を表現するために重み付き有向グラフ構造を用いたLBAデルタストリームをモデル化する。
実験の結果、SGDPがSOTA法を6.21%、有効プレフェッチ率7.00%で上回り、平均3.13倍の速さで上回っていることが確認された。
論文 参考訳（メタデータ） (2023-04-07T23:25:48Z) - Self-Supervised Pre-Training for Transformer-Based Person
Re-Identification [54.55281692768765]
トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する
ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。
この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
論文 参考訳（メタデータ） (2021-11-23T18:59:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。