論文の概要: EO-Jev: Decision Model for Earth Observation

• arxiv url: http://arxiv.org/abs/2611.03371v1
• Date: Mon, 02 Nov 2026 16:16:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 04:59:27.270055
• Title: EO-Jev: Decision Model for Earth Observation
• Title（参考訳）: EO-Jev:地球観測のための決定モデル
• Abstract要約: 決定モデルは別の選択肢を提供し、単一のフォワードパスで候補回答よりも確率を返す。 本研究では、23の公開EOベンチマークから30設定にわたるd3フラッシュ(8.4Bパラメータ)の診断研究を通じて、これらの特性について検討する。 公的なEOトレーニングスプリットの低ランク微調整によりd3-flashを適応し,EO-Jevを生成する。
• 参考スコア（独自算出の注目度）: 54.2440206623608
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Earth observation (EO) workflows require selecting among known outcomes, estimating confidence, and processing large volumes of imagery. Generative vision-language models can address these tasks, but autoregressive decoding is computationally costly and their confidence estimates are unreliable. Decision models offer an alternative, returning probabilities over candidate answers in a single forward pass. However, their accuracy, calibration, and transfer across EO tasks remain insufficiently understood. We investigate these properties through a diagnostic study of d3-flash (8.4B parameters) across 30 settings from 23 public EO benchmarks. We find that compositional reasoning transfers well and calibration improves over its Qwen3.5-9B backbone on 24 settings, while counting, change quantification, damage grading, and absent-object recognition remain challenging. To address these limitations, we adapt d3-flash through low-rank fine-tuning on public EO training splits, producing EO-Jev. EO-Jev improves significantly over d3-flash on 26 of 30 settings and matches or exceeds specialist references on 20 of 28. It also achieves an average gain of 8.0 points across 12 held-out settings and lower expected calibration error than specialists on 21 of 28 settings. These improvements come at a modest cost of 1.8 points in general decision performance. Our results demonstrate the potential of adapting general decision models into competitive EO generalists while highlighting persistent challenges in quantitative perception, option-order consistency, and calibration under distribution shift.
• Abstract（参考訳）: 地球観測(EO)ワークフローは、既知の結果の選択、信頼度の推定、大量の画像の処理を必要とする。 生成的視覚言語モデルはこれらの課題に対処できるが、自己回帰復号化は計算にコストがかかり、信頼できない。 決定モデルは別の選択肢を提供し、単一のフォワードパスで候補回答よりも確率を返す。 しかし、その精度、校正、EOタスク間の移動は未だ十分に理解されていない。 本研究では、23の公開EOベンチマークから30設定にわたるd3フラッシュ(8.4Bパラメータ)の診断研究を通じて、これらの特性について検討する。 構成的推論の伝達は良好であり、24設定でQwen3.5-9Bのバックボーンよりもキャリブレーションが向上するが、カウント、定量化、ダメージグレーディング、不在物体認識は依然として困難である。 これらの制限に対処するため、公共のEOトレーニングスプリットを低ランクで微調整することでd3-flashを適用し、EO-Jevを生成する。 EO-Jevは、30設定中26設定でd3-flashよりも大幅に改善され、28設定中20設定のスペシャリストを超えるか、あるいは超えている。 また、12のホールトアウト設定で平均8.0ポイントを獲得し、28のセッティングのうち21のスペシャリストよりもキャリブレーションエラーが低い。 これらの改善は、一般的な意思決定性能において、わずかに1.8ポイントのコストで実現される。 本研究は,一般決定モデルを競争的EOジェネラリストに適用する可能性を示すとともに,量的知覚,オプションオーダー整合性,分布シフト時の校正における永続的な課題を強調した。

関連論文リスト

• DecisionPivot: A Diagnostic Benchmark for Decision Models in LLM Systems [20.41716710043437]
  DecisionPivotは、48のタスクと7つの決定ロールにわたる40,033のアイテムからなる診断ベンチマークである。 文書化された、モデル固有のプロトコルを用いて、40の意思決定モデルと14の一般モデルを評価する。
  論文  参考訳（メタデータ） (2026-10-20T16:57:49Z)
• VLA-GAUGE: Systematically Evaluating Generalization and Robustness in Vision-Language-Action Models [15.935916217039091]
  VLA(Vision-Language-Action Model)は、慣れ親しんだ操作タスクにおいて高い成功率を達成した。 そのようなスコアが真のゼロショット一般化と摂動ロバスト性を反映しているかどうかは不明である。 VLA-GAUGEは、共有タスク表現の下で両方の評価を統一する診断フレームワークである。
  論文  参考訳（メタデータ） (2026-10-12T10:48:12Z)
• Harbor Adapters and Harbor-Index: Infrastructure and a Curated Meta-Dataset for Large-Scale Agentic Evaluation [141.29138788636013]
  任意のエージェントを評価するために80以上のベンチマークを移植するベンチマークアダプタを開発した。 54のベンチマークで,機能レベルにまたがる8モデルの大規模評価を行う。 私たちは29のベンチマークにまたがる82の難易度、多様性、高品質なタスクをキュレートしたHarbor-Indexを紹介します。
  論文  参考訳（メタデータ） (2026-09-03T16:26:20Z)
• EvalLoop: A Methodology for Evaluation-Driven Iterative Improvement of Business AI Systems [0.0]
  評価駆動反復改善手法であるEvalLoopを提案する。 EvalLoopは,(1)品質を障害診断を可能にするビジネス関連次元に分解する次元メトリックグルーピング,(2)出力が弱い次元内で失敗する理由を分類する障害モード分類,(3)各評価の実行が1つのシステム変数に変化し,その前後の次元プロファイルを比較する構造化イテレーションワークフロー,の3つのメカニズムについて評価を行う。
  論文  参考訳（メタデータ） (2026-07-06T20:58:49Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• DatBench: Discriminative, Faithful, and Efficient VLM Evaluations [17.234602646114997]
  経験的評価は、基礎モデルにおける研究の進展を導く主要なコンパスとして機能する。 評価が満足すべき3つのデシラタを提案する。モダリティと応用への忠実さ、品質の異なるモデル間の識別可能性、計算効率である。 私たちはDatBench-Fullをリリースした。DatBench-Fullは9つのVLM機能にまたがる33のデータセットからなるクリーンな評価スイートであり、DatBenchは平均13倍のスピードアップを達成する識別サブセットである。
  論文  参考訳（メタデータ） (2026-01-05T18:07:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。