論文の概要: RegRet: Enhancing Region-Level Retrieval in Large Multimodal Models

• arxiv url: http://arxiv.org/abs/2609.16847v1
• Date: Tue, 15 Sep 2026 08:39:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.418341
• Title: RegRet: Enhancing Region-Level Retrieval in Large Multimodal Models
• Title（参考訳）: RegRet: 大規模マルチモーダルモデルにおける領域レベル検索の強化
• Abstract要約: 地域レベルの検索は、eコマース製品検索やRAGといった現実世界のアプリケーションにおいて重要な役割を果たす。 本稿では,グローバルなパフォーマンスを損なうことなく,地域表現を強化するLMMベースのフレームワークRegRetを提案する。 RegRetの中核となるのは、RegRetはRerea-Awareを統合して、グローバルな背景コンテキストとバランスをとりながら、詳細な地域機能をキャプチャする。
• 参考スコア（独自算出の注目度）: 42.63747293653087
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Region-level retrieval aims to align user-specified image regions with relevant regions or textual descriptions, playing a crucial role in realworld applications such as e-commerce product search and RAG. Although recent Large Multimodal Models (LMMs) have made significant strides in multimodal retrieval, they primarily focus on global-level tasks and struggle to capture effective region-level representations. To bridge this gap, we present RegRet, an LMM-based Region-level Retrieval framework that enhances the regional representations without compromising overall global retrieval performance. At its core, RegRet integrates a Region-Aware Encoder to capture detailed regional features while balancing them with the global background context. To further enhance the fine-grained understanding and discriminability of representations, we design a multi-stage training pipeline that includes detailed localized captioning and regional contrastive learning tasks. In addition, considering the absence of region-level contrastive training data and the limited diversity of evaluation tasks in current benchmarks, we introduce the REGMB benchmark. It comprises 225k contrastive pairs, covering four multimodal retrieval tasks. Extensive experiments validate the effectiveness of our approach. RegRet outperforms strong baselines in the zero-shot setting. Further training with contrastive learning leads to an average improvement of more than 20\% on both REGMB and public benchmarks, while achieving comparable or better results on global-level retrieval tasks.
• Abstract（参考訳）: 地域レベルの検索は、ユーザ特定画像領域を関連地域やテキスト記述と整合させることを目的としており、eコマース製品検索やRAGといった現実世界のアプリケーションにおいて重要な役割を担っている。 近年のLarge Multimodal Models (LMM) は,マルチモーダル検索において大きな進歩を遂げている。 このギャップを埋めるために,LMMに基づく地域レベルの検索フレームワークRegRetを提案する。 RegRetの中核となるのは、RegRetはRerea-Aware Encoderを統合して、グローバルバックグラウンドコンテキストとのバランスを保ちながら、詳細な地域機能をキャプチャする。 表現のきめ細かい理解と識別性を高めるため,我々は,局所的なキャプションの詳細な記述と,地域的コントラスト学習タスクを含む多段階学習パイプラインを設計した。 また、地域レベルのコントラストトレーニングデータがないことと、現在のベンチマークにおける評価タスクの多様性が限定されていることを考慮し、REGMBベンチマークを導入する。 225kのコントラスト対で構成され、4つのマルチモーダル検索タスクをカバーする。 大規模な実験により、我々のアプローチの有効性が検証された。 RegRetはゼロショット設定で強いベースラインを上回ります。 対照的な学習によるさらなるトレーニングは、REGMBと公開ベンチマークの両方で平均20%以上改善され、グローバルレベルの検索タスクでは同等またはより良い結果が達成される。

関連論文リスト

• AINet: Anchor Instances Learning for Regional Heterogeneity in Whole Slide Image [61.54860340942449]
  本稿では,その地域(地域)に代表されるインスタンスのコンパクトなサブセットであるアンカーインスタンス(AI)の概念を導入し,バッグ(グローバル)レベルで識別する。 これらのAIは、地域間の相互作用をガイドする意味的な参照として機能し、地域多様性を維持しながら非差別的なパターンを修正する。 我々は、単純な予測器を使用し、FLOPやパラメータを著しく少なくした最先端の手法を超越した、簡潔で効果的なフレームワークであるAINetを開発した。
  論文  参考訳（メタデータ） (2026-02-21T09:36:27Z)
• RegionReasoner: Region-Grounded Multi-Round Visual Reasoning [69.75509909581133]
  RegionReasonerは視覚的推論のための強化学習フレームワークである。 これは、それぞれの推論トレースに対応する参照境界ボックスを明示的に引用することを要求することによって、根拠付き推論を強制する。 RegionReasonerは、基礎となる忠実さとグローバルなセマンティックアライメントを組み合わせた構造化された報酬で最適化されている。
  論文  参考訳（メタデータ） (2026-02-03T16:52:16Z)
• RCI: A Score for Evaluating Global and Local Reasoning in Multimodal Benchmarks [33.68425991692674]
  リージョンインデックス(RCI)は、データセットがグローバルとローカルの視覚情報に依存することを定量化する最初のモデルベースのスコアである。 RCIを広く使用されている13のマルチモーダルベンチマークに適用すると,そのほとんどは局所的推論を好んでいることがわかった。
  論文  参考訳（メタデータ） (2025-09-28T06:26:11Z)
• Region-based Cluster Discrimination for Visual Representation Learning [30.79223671093668]
  Region-Aware Cluster Discrimination (RICE)は、地域レベルの視覚とOCR機能を強化する新しい手法である。 RICEは、セグメンテーション、密集検知、視覚知覚など、タスクにおける従来の手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2025-07-26T17:47:09Z)
• Region-aware Distribution Contrast: A Novel Approach to Multi-Task Partially Supervised Learning [50.88504784466931]
  マルチタスク密度予測にはセマンティックセグメンテーション、深さ推定、表面正規推定が含まれる。 既存のソリューションは通常、グローバルなクロスタスク画像マッチングのためのグローバルなイメージ表現の学習に依存している。 本提案では,ガウス分布を用いた地域表現をモデル化する。
  論文  参考訳（メタデータ） (2024-03-15T12:41:30Z)
• RegionGPT: Towards Region Understanding Vision Language Model [88.42271128373191]
  RegionGPT(RGPT)は、複雑な地域レベルのキャプションと理解のために設計された新しいフレームワークである。 我々は、詳細な地域レベルのキャプションを備えたトレーニングセットを充実させる、自動領域キャプションデータ生成パイプラインを開発する。 本研究では,領域レベルのタスクに対して,汎用的なRGPTモデルを効果的に適用し,性能を大幅に向上させることを実証する。
  論文  参考訳（メタデータ） (2024-03-04T18:58:08Z)
• R-MAE: Regions Meet Masked Autoencoders [113.73147144125385]
  我々は、自己教師付き画像表現学習のための単語の潜在的な視覚的類似として領域を探索する。 生成前トレーニングベースラインであるMasked Autoencoding (MAE) に触発されて, 画素群や領域群から学習するためのマスク付き領域オートエンコーディングを提案する。
  論文  参考訳（メタデータ） (2023-06-08T17:56:46Z)
• USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text Retrieval [115.28586222748478]
  Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。 既存のアプローチは通常、2つの大きな制限に悩まされる。
  論文  参考訳（メタデータ） (2023-01-17T12:42:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。