論文の概要: EarthJev: Calibrated, Non-Generative Answers to Natural-Language Questions about Sentinel-2 Land Cover

• arxiv url: http://arxiv.org/abs/2611.02096v1
• Date: Sun, 01 Nov 2026 18:11:10 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:13:38.154122
• Title: EarthJev: Calibrated, Non-Generative Answers to Natural-Language Questions about Sentinel-2 Land Cover
• Title（参考訳）: EarthJev:Sentinel-2の土地被覆に関する自然問題に対する校正・非生成的回答
• Abstract要約: トークンを生成せずにマルチスペクトルSentinel-2パッチに関する型付き質問に答えるモデルであるEarthJevを提案する。 すべての12バンドは、RGBカーネルから初期化された広い入力層を介してQwen3.5-0.8Bのビジョンエンコーダに入る。 EarthJevは19.9ミリ秒で、マルチモーダル言語モデルより4.3倍から8.7倍、生成的に使用するバックボーンより6.8倍高速である。
• 参考スコア（独自算出の注目度）: 1.7969777786551424
• License:
• Abstract: Vision-language models for remote sensing answer questions about satellite images by generating text: every answer costs a decoding loop, has to be parsed back to an option, and comes without a usable probability. We present EarthJev, a 0.8B-parameter model that answers typed questions about multispectral Sentinel-2 patches without generating any token. All 12 bands enter the vision encoder of Qwen3.5-0.8B through a widened input layer initialised from the RGB kernels, and, following the open OneJev recipe, the answer is read from the logits of the option letters at a single position and trained with cross-entropy plus Brier score. Under a pre-specified analysis plan, we compare it with the same backbone fine-tuned to generate the answer and with three multimodal language models fine-tuned with LoRA, all trained on the same 70,890 questions from 5% of BigEarthNet v2.0 and timed in one job on the same GPU; VQA models that classify over a fixed answer vocabulary are reported as a reference for the cost of answering only the questions seen in training. EarthJev answers a question in 19.9 ms, 4.3 to 8.7 times faster than the multimodal language models and 6.8 times faster than its own backbone used generatively; when all the questions about an image are asked together, it answers them in 42.8 ms, 3.7 to 10.1 times faster than the batched generative models. On 36,028 test questions it reaches 86.0% accuracy (three seeds), 0.6 and 1.2 points below the two 2B multimodal models and 3.5 points below the remote-sensing EarthDial-4B, with answers that are valid by construction and calibrated probabilities (ECE 0.006). Replacing the nine non-RGB bands with their mean costs 4.5 points, so the model uses the multispectral input, and in an ablation training the whole vision encoder raises accuracy to 88.4% at the same cost. Code and model: https://github.com/CosmoIknosLab/EarthJev
• Abstract（参考訳）: リモートセンシングのための視覚言語モデルは、テキストを生成して衛星画像に関する質問に答える: すべての答えはデコードループを消費し、オプションに解析され、使用可能な確率が得られない。 我々は、トークンを生成せずにマルチスペクトルセンチネル-2パッチに関する型付き質問に答える0.8BパラメータモデルであるEarthJevを提案する。 すべての12バンドは、RGBカーネルから初期化された広い入力層を介してQwen3.5-0.8Bのビジョンエンコーダに入り、オープンなOneJevレシピに従って、オプション文字のロジットから単一の位置で読み出し、クロスエントロピー+ブライアスコアでトレーニングされる。 事前に特定された分析計画の下では、答えを生成するために微調整された同じバックボーンと、LoRAで微調整された3つのマルチモーダル言語モデルを比較し、すべてBigEarthNet v2.0の5%から同じ70,890の質問でトレーニングされ、同じGPU上で1つのジョブでタイムドされている。 EarthJevは、マルチモーダル言語モデルより19.9ms、4.3から8.7倍、生成的に使用されるバックボーンより6.8倍、画像に関するすべての質問が一緒に質問されると、バッチ生成モデルより42.8ms、3.7から10.1倍速く答える。 36,028件のテスト質問では、精度86.0%(3つの種)、2つのマルチモーダルモデルより0.6点と1.2点、リモートセンシングのEarthDial-4Bより3.5点に達し、その答えは建設とキャリブレーションされた確率(ECE 0.006)によって検証される。 9つの非RGBバンドを平均4.5ポイントで置き換えるため、モデルはマルチスペクトル入力を使用し、アブレーショントレーニングでは、視覚エンコーダの精度は88.4%に向上する。 コードとモデル:https://github.com/CosmoIknosLab/EarthJev

関連論文リスト

• MJev-Spatial: System One Spatial Intelligence via Native Attention Matching [19.6013702995563]
  MJev-Spatialは3種類の空間理解タスクに対処するシステム1のマルチモーダル決定モデルである。 MJev-Spatialは各候補をクラスとして扱い、バックボーンの事前訓練されたクエリとキープロジェクションを使用してスコア付けする。 Qwen3.5-4Bをベースとして12.3Mの質問応答ペアで訓練され、MJev-Spatialは7つのテストされた自己回帰モデルで最高スコア(65.64%)を記録した。
  論文  参考訳（メタデータ） (2026-10-15T17:37:50Z)
• LEV: Thinking Fast and Deep with Looped Decision Models [20.23752970123748]
  トークンを生成する代わりに、そのレイヤをループで再実行することで、より深く考える決定モデルであるLEVを紹介します。 3つのループのバックボーンでは、精度は重みの深さとともに上昇する。 ロックされたテストセットでは、1.4Bと3Bのモデルは密度の高い(ループなし)モデルよりも5.4から8.8ポイント正確である。
  論文  参考訳（メタデータ） (2026-10-14T21:20:03Z)
• Evaluating and Benchmarking the System One Model Jev [1.579162290333307]
  Jevは、テキストを生成しないTypeSafe AIのSystem Oneモデルである。 固定オプション、ルーブリック上の位置、あるいは文が真である確率から選択を返す。 分類,ルーティング,自然言語推論,読解,コモンセンス推論,モデレーション,法的条項解析,ルーリックスコアリングにまたがる37のデータセットに対して,Jevゼロショットを評価した。
  論文  参考訳（メタデータ） (2026-09-29T14:15:04Z)
• When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning [73.56343820592399]
  本稿では,視覚的タスクセマンティックス(VTS, Visualized Task Semantics)について紹介する。 6つのMLLMと4つのベンチマークで、24のモデルとタスクのペアの精度は平均17.8ポイント低下した。 本稿では,質問領域を型付きセマンティクスと整合させ,そのクリーンな表現をマスクビューから復元するプロンプト領域グラウンドを提案する。
  論文  参考訳（メタデータ） (2026-08-05T11:46:15Z)
• MoRAL: Sensor-Grounded BEV Reasoning for Compact VLMs toward Edge-Oriented Autonomous Driving [1.6664447029145368]
  MoRALはCosmos-Reason2-2Bに、まず物理コード化されたBird's Eye Viewの表現を読み、その後、決定を下すためにそれを推論するように教えている。 モラルは4倍のパラメータを使用するにもかかわらず、ゼロショット8Bベースラインで8つの質問タイプのうち7つを勝ち取る。 これらの結果は、モバイルエッジプラットフォーム上でのコンパクトな物理基底VLM推論のための再現可能な基盤を確立する。
  論文  参考訳（メタデータ） (2026-08-03T16:24:17Z)
• Do You See What I Am Pointing At? Gesture-Based Egocentric Video Question Answering [81.15678825882692]
  EgoPointVQAはジェスチャー中心の質問応答のためのデータセットとベンチマークである。 Hand Intent Tokens (HINT) は、既製の復元モデルを用いて、3Dの手のキーポイントから派生したトークンを符号化する。 我々のモデルは、異なるバックボーンとモデルサイズで他よりも優れています。
  論文  参考訳（メタデータ） (2026-03-13T00:23:38Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)
• Attention-Based Methods For Audio Question Answering [16.82832919748399]
  本稿では,音声質問応答タスクに対する自己注意と相互注意に基づくニューラルネットワークアーキテクチャを提案する。 すべてのモデルは、最近提案されたClatho-AQAデータセットに基づいて、バイナリのye/no質問とシングルワードの回答質問の両方でトレーニングされています。
  論文  参考訳（メタデータ） (2023-05-31T12:00:51Z)
• Generate then Select: Open-ended Visual Question Answering Guided by World Knowledge [155.81786738036578]
  Open-ended Visual Question Answering (VQA)タスクでは、視覚と自然言語の入力をAIモデルが共同で推論する必要がある。 GPT-3のような事前訓練された言語モデル(PLM)がこのタスクに適用され、強力な世界知識源であることが示されている。 我々は,世界的知識によって導かれるジェネレータ選択戦略をデプロイする新しいVQAパイプラインであるRASOを提案する。
  論文  参考訳（メタデータ） (2023-05-30T08:34:13Z)
• Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference [72.61732440246954]
  大規模な事前訓練された言語モデルは、テスト入力間の論理的一貫性を欠いていることが多い。 本研究では,事前学習したNLPモデルの一貫性と精度を高めるためのフレームワークであるConCoRDを提案する。 ConCoRDは、市販のクローズドブックQAおよびVQAモデルの精度と一貫性を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2022-11-21T21:58:30Z)
• Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering [124.16250115608604]
  本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。 また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。 我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
  論文  参考訳（メタデータ） (2022-09-20T07:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。