論文の概要: ROVI: A VLM-LLM Re-Captioned Dataset for Open-Vocabulary Instance-Grounded Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2508.01008v1
• Date: Fri, 01 Aug 2025 18:19:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:21.661398
• Title: ROVI: A VLM-LLM Re-Captioned Dataset for Open-Vocabulary Instance-Grounded Text-to-Image Generation
• Title（参考訳）: ROVI:VLM-LLMリカプリドデータセット
• Authors: Cihang Peng, Qiming Hou, Zhong Ren, Kun Zhou,
• Abstract要約: ROVIは,画像生成のための高品質な合成データセットである。 私たちの重要なイノベーションは、リキャプション(recaptioning)と呼ばれる戦略です。 実証的目的のために、ROVIで訓練されたテキスト・ツー・イメージモデルGLIGENは、例えば精度、迅速な忠実度、美的品質において最先端の代替品よりも著しく優れている。
• 参考スコア（独自算出の注目度）: 23.118080583803266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present ROVI, a high-quality synthetic dataset for instance-grounded text-to-image generation, created by labeling 1M curated web images. Our key innovation is a strategy called re-captioning, focusing on the pre-detection stage, where a VLM (Vision-Language Model) generates comprehensive visual descriptions that are then processed by an LLM (Large Language Model) to extract a flat list of potential categories for OVDs (Open-Vocabulary Detectors) to detect. This approach yields a global prompt inherently linked to instance annotations while capturing secondary visual elements humans typically overlook. Evaluations show that ROVI exceeds existing detection datasets in image quality and resolution while containing two orders of magnitude more categories with an open-vocabulary nature. For demonstrative purposes, a text-to-image model GLIGEN trained on ROVI significantly outperforms state-of-the-art alternatives in instance grounding accuracy, prompt fidelity, and aesthetic quality. Our dataset and reproducible pipeline are available at https://github.com/CihangPeng/ROVI.
• Abstract（参考訳）: 本稿では,1MのキュレートされたWeb画像にラベルを付けることで,画像生成のための高品質な合成データセットROVIを提案する。 VLM(Vision-Language Model)は、LLM(Large Language Model)によって処理され、OVD(Open-Vocabulary Detectors)の潜在的なカテゴリのフラットリストを抽出する包括的な視覚記述を生成する。 このアプローチは、一般的に人間が見落としている二次視覚要素をキャプチャしながら、インスタンスアノテーションに本質的に関連付けられたグローバルなプロンプトをもたらす。 ROVIは、画像の品質と解像度において既存の検出データセットを超え、オープン語彙の性質を持つ2桁以上のカテゴリを含んでいることを示す。 実証的目的のために、ROVIで訓練されたテキスト・ツー・イメージモデルGLIGENは、例えば精度、迅速な忠実度、美的品質において最先端の代替品よりも著しく優れている。 データセットと再現可能なパイプラインはhttps://github.com/CihangPeng/ROVI.comで公開されています。

関連論文リスト

• ViLa-MIL: Dual-scale Vision-Language Multiple Instance Learning for Whole Slide Image Classification [52.405499816861635]
  多重インスタンス学習(MIL)ベースのフレームワークは、スライド画像全体(WSI)を処理する上で主流になっている。 スライド画像全体の分類のための2次元視覚言語多言語学習(ViLa-MIL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T13:28:46Z)
• LLMDet: Learning Strong Open-Vocabulary Object Detectors under the Supervision of Large Language Models [44.578308186225826]
  最近のオープンボキャブラリ検出器は、豊富な領域レベルのアノテートデータで有望な性能を達成する。 画像ごとに画像レベルの詳細なキャプションを生成することにより,大規模言語モデルと共用するオープン語彙検出器により,性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-01-31T08:27:31Z)
• RWKV-CLIP: A Robust Vision-Language Representation Learner [31.501759213619646]
  コントラスト言語-画像事前学習(CLIP)は、様々な視覚言語タスクのパフォーマンスを大幅に改善した。 本稿では,Large Language Models(LLM)を利用して,Webベースのテキスト,合成キャプション,検出タグからコンテンツを合成・洗練する多種多様な記述生成フレームワークを提案する。 RWKV-CLIPは,変換器の効果的な並列学習とRNNの効率的な推論を組み合わせた,最初のRWKV駆動型視覚言語表現学習モデルである。
  論文  参考訳（メタデータ） (2024-06-11T06:10:46Z)
• OVMR: Open-Vocabulary Recognition with Multi-Modal References [96.21248144937627]
  既存の研究では、モデルにカテゴリキューを埋め込む方法がいくつか提案されている。 本稿では,テキスト記述と模範画像からなるマルチモーダル手がかりを参考に,異なる視点からオープン語彙認識に取り組む。 提案したOVMRはプラグイン・アンド・プレイモジュールであり、インターネットからランダムにクロールされた典型的な画像とうまく機能する。
  論文  参考訳（メタデータ） (2024-06-07T06:45:28Z)
• UniRAG: Universal Retrieval Augmentation for Large Vision Language Models [76.30799731147589]
  そこで,UniRAGというプラグイン・アンド・プレイ技術を紹介した。 Retrieval Augmentation(RA)は、主に非一般的なエンティティの生成や理解を改善するという一般的な信念とは異なり、MSCOCOデータセットの共通エンティティによる評価結果は、プロプライエタリモデルとより小さなオープンソースモデルの両方が生成品質を著しく向上させることを示している。
  論文  参考訳（メタデータ） (2024-05-16T17:58:45Z)
• DetCLIPv3: Towards Versatile Generative Open-vocabulary Object Detection [111.68263493302499]
  DetCLIPv3は、オープンボキャブラリオブジェクト検出と階層ラベルの両方で優れた高性能検出器である。 DetCLIPv3は,1)Versatileモデルアーキテクチャ,2)高情報密度データ,3)効率的なトレーニング戦略の3つのコア設計によって特徴付けられる。 DetCLIPv3は、GLIPv2, GroundingDINO, DetCLIPv2をそれぞれ18.0/19.6/6 APで上回り、優れたオープン語彙検出性能を示す。
  論文  参考訳（メタデータ） (2024-04-14T11:01:44Z)
• Visual Data-Type Understanding does not emerge from Scaling Vision-Language Models [31.69213233651326]
  視覚データ型識別の新しい課題について紹介する。 39の視覚言語モデル(VLM)の広範囲なゼロショット評価は、微妙なパフォーマンスランドスケープを示している。
  論文  参考訳（メタデータ） (2023-10-12T17:59:30Z)
• OSIC: A New One-Stage Image Captioner Coined [38.46732302316068]
  動的多視点学習を用いたワンステージ画像キャプタ(OSIC)を提案する。 リッチな特徴を得るためには、Swin Transformerを使ってマルチレベルの特徴を計算する。 キャプション用エンコーダのグローバルなモデリングを強化するために,新しい2次元精製モジュールを提案する。
  論文  参考訳（メタデータ） (2022-11-04T08:50:09Z)
• Retrieval-Augmented Transformer for Image Captioning [51.79146669195357]
  我々は、kNNメモリを用いた画像キャプション手法を開発し、外部コーパスから知識を抽出して生成プロセスを支援する。 我々のアーキテクチャは、視覚的類似性に基づく知識検索と、識別可能なエンコーダと、トークンを予測するためにkNN拡張アテンション層を組み合わせる。 COCOデータセットで実施した実験結果は、明示的な外部メモリを利用することで、生成プロセスの助けとなり、キャプションの品質が向上することを示した。
  論文  参考訳（メタデータ） (2022-07-26T19:35:49Z)
• Open-Vocabulary DETR with Conditional Matching [86.1530128487077]
  OV-DETRは、DETRに基づくオープンボキャブラリ検出器である。 クラス名や模範画像が与えられた任意のオブジェクトを検出できる。 芸術の現在の状態よりも、ささいな改善を達成している。
  論文  参考訳（メタデータ） (2022-03-22T16:54:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。