論文の概要: Jag: Direct Box Prediction for Efficient Visual Grounding

• arxiv url: http://arxiv.org/abs/2610.13239v1
• Date: Fri, 09 Oct 2026 08:54:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.485703
• Title: Jag: Direct Box Prediction for Efficient Visual Grounding
• Title（参考訳）: Jag: 効率的なビジュアルグラウンドのためのダイレクトボックス予測
• Abstract要約: 直接連続箱予測にコンパクトな事前学習型マルチモーダルモデルを適用するJagを提案する。 軽量回帰ヘッドは、画像に条件付きかつ参照式である最後の有効な入力トークン状態を読み出し、4つのボックス座標全てを同時に予測する。 推論は画像言語処理を保持し、コーディネート生成やテキスト解析なしで、1つのフォワードパスでボックスを返します。
• 参考スコア（独自算出の注目度）: 22.58550758200965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual grounding combines image--language understanding with geometric prediction, yet autoregressive multimodal models often express a box as a coordinate sequence. Sequential decoding adds computation to the multimodal processing needed for localization. Adapting these representations to box geometry offers a route to direct prediction. We present Jag, which adapts a compact pretrained multimodal model for direct continuous box prediction. A lightweight regression head reads the last valid input-token state, conditioned on the image and referring expression, and predicts all four box coordinates together. Geometric supervision jointly adapts the language backbone, visual merger, and regression head, allowing localization losses to shape both the multimodal representations and the coordinate mapping. Inference retains image--language processing and returns the box in one forward pass, without coordinate generation or text parsing. Across benchmarks, Jag consistently improves grounding accuracy over its base model across the observed target sizes and expression groups. Component ablation show that jointly adapting the representations and head substantially improves accuracy over training the head alone. Against existing specialized grounding models, it achieves competitive accuracy with lower single-request latency and GPU memory use. These results show how supervision tailored to the geometric answer can specialize a compact pretrained multimodal model for accurate grounding and efficient direct prediction. Project page: https://xyzzzh.github.io/Jag/
• Abstract（参考訳）: 視覚的グラウンドイングは、画像言語理解と幾何学的予測を組み合わせるが、自己回帰的マルチモーダルモデルは、しばしば座標列としてボックスを表現する。 逐次復号化は、ローカライゼーションに必要なマルチモーダル処理に計算を追加する。 これらの表現をボックス幾何学に適応させることは、直接予測への経路を提供する。 直接連続箱予測にコンパクトな事前学習型マルチモーダルモデルを適用するJagを提案する。 軽量回帰ヘッドは、画像に条件付きかつ参照式である最後の有効な入力トークン状態を読み出し、4つのボックス座標全てを同時に予測する。 幾何学的監督は、言語バックボーン、視覚的マージ、回帰ヘッドを共同で調整し、ローカライゼーション損失をマルチモーダル表現と座標マッピングの両方を形成する。 推論は画像言語処理を保持し、コーディネート生成やテキスト解析なしで、1つのフォワードパスでボックスを返します。 ベンチマーク全体を通じて、Jagは、観測対象のサイズと表現グループにわたって、ベースモデルに対する基底精度を一貫して改善している。 コンポーネントアブレーションは、表現と頭部を協調的に適応させることで、頭部のみのトレーニングよりも精度が大幅に向上することを示している。 既存の特別なグラウンドモデルに対して、シングルリクエストのレイテンシとGPUメモリ使用率の低い競合精度を実現している。 これらの結果は、幾何学的解法に合わせた監督が、正確な接地と効率的な直接予測のために、コンパクトな事前学習型マルチモーダルモデルをいかに専門化できるかを示す。 プロジェクトページ: https://xyzzzh.github.io/Jag/

関連論文リスト

• MinCU: A Fine-Grained Benchmark for Grounded Minimal-Change Understanding in Image Pairs [75.68851107229308]
  マルチモーダル大言語モデル(MLLM)において、身近な画像間のきめ細かい相違の局所化と記述は、重要で未探索の能力である。 各サンプルは、対象カテゴリ、属性、カウント、空間的位置の1つの原子的変化によって異なる画像対から構成される。
  論文  参考訳（メタデータ） (2026-09-20T03:48:09Z)
• Pixel-wise Planarity for High-Precision Monocular Plane Segmentation [56.92684417018378]
  単一のRGB画像からの平面分割は、不正確な領域のグルーピングと幾何学的に矛盾した監督のため、依然として困難である。 本研究では,ロバストな単分子平面分割のための画素単位の平面性予測フレームワークを提案する。 提案手法は,従来の最先端手法と比較して,幾何精度とセグメンテーション品質の向上を実現する。
  論文  参考訳（メタデータ） (2026-09-04T10:51:33Z)
• LookAgain: Closed-Loop GUI Grounding with Visually Grounded Reflection [42.672264792698904]
  近年のグラフィカルユーザインタフェース(GUI)のグラウンダは、標準ベンチマークでのシングルショット精度が大幅に向上している。 しかし、そのパフォーマンスは、小さなターゲット、密集したコントロール、配布外インターフェースで著しく低下している。 予測後の視覚反射によって駆動される閉ループGUIグライダーであるLookAgainを提案する。
  論文  参考訳（メタデータ） (2026-08-10T15:23:52Z)
• Hi-Token: Hierarchical Coordinate Tokenization for Generative Visual Grounding [22.205716720462647]
  Generative Vision-Language Models (VLM) はバウンディングボックス座標を独立出力シンボルとして扱う。 Hi-Tokenは、数百、十、一桁の軸固有のトークンを各座標にエンコードする。 Hi-GARはこの表現を、グループ相対政策最適化のための幾何学に基づく報酬で補完する。
  論文  参考訳（メタデータ） (2026-08-04T11:07:19Z)
• PointSplat: Compact Gaussian Splatting via Human-Centric Prediction [70.45838533838104]
  本研究では,ハエのインプットビューから3次元人間表現を創出する新しい人間中心のアプローチであるPointSplatを提案する。 提案手法は,まず粗い幾何学的プロキシを推定し,冗長点を起点とするレイキャスティングを行う。 その後、ポイント・イメージ・トランスフォーマーを使用して外観と幾何学的特徴を融合させ、ガウスの属性を1つの前方通過で予測する。
  論文  参考訳（メタデータ） (2026-06-30T17:59:05Z)
• Detect Anything via Next Point Prediction [51.55967987350882]
  Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。 COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
  論文  参考訳（メタデータ） (2025-10-14T17:59:54Z)
• TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
  本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。 TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。 また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• Multi-Modal Conformal Prediction Regions with Simple Structures by Optimizing Convex Shape Templates [19.504348671777006]
  コンフォーマル予測は、高い確率で有効な機械学習モデルの予測領域を生成する統計ツールである。 共形予測アルゴリズムの重要な構成要素は、モデルの予測が未知の基底真理値とどのように異なるかを定量化するエンフノン整合スコア関数である。 キャリブレーションデータよりもパラメータ化されたエンフシェープテンプレート関数を最適化し,最小体積の予測領域を生成する非整合スコア関数を提案する。
  論文  参考訳（メタデータ） (2023-12-12T17:00:13Z)
• SACReg: Scene-Agnostic Coordinate Regression for Visual Localization [16.866303169903237]
  本稿では,新しいテストシーンで1回トレーニングされた一般化SCRモデルを提案する。 我々のモデルは、シーン座標をネットワーク重みに符号化する代わりに、スパース2Dピクセルのデータベースイメージを3D座標アノテーションに入力する。 画像のデータベース表現とその2D-3Dアノテーションは,局所化性能を損なうことなく,高度に圧縮できることを示す。
  論文  参考訳（メタデータ） (2023-07-21T16:56:36Z)
• Self-Supervised Relation Alignment for Scene Graph Generation [44.3983804479146]
  シーングラフ生成性能を改善するために,自己教師付きリレーショナルアライメントの正規化を導入する。 提案されたアライメントは一般的なもので、既存のシーングラフ生成フレームワークと組み合わせることができる。 本稿では,この自己教師付きリレーショナルアライメントと2つのシーングラフ生成アーキテクチャの有効性について述べる。
  論文  参考訳（メタデータ） (2023-02-02T20:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。