論文の概要: Panoptic Captioning: Seeking An Equivalency Bridge for Image and Text

• arxiv url: http://arxiv.org/abs/2505.16334v1
• Date: Thu, 22 May 2025 07:44:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.125817
• Title: Panoptic Captioning: Seeking An Equivalency Bridge for Image and Text
• Title（参考訳）: Panoptic Captioning: 画像とテキストの等価ブリッジを探す
• Authors: Kun-Yu Lin, Hongjun Wang, Weining Ren, Kai Han,
• Abstract要約: 高品質なデータを生成するためにPancapEngineという効果的なデータエンジンを提案し,また,パンコプトキャプションを改善するためにPancapChainという新しい手法を提案する。 当社のPancapChainは、難易度の高い汎視的キャプションタスクを複数のステージに分離し、段階的に汎視的キャプションを生成する。 実験によると、私たちのPancapChain-13Bモデルは、InternVL-2.5-78Bのような最先端のオープンソースMLLMを破り、GPT-4oやGemini-2.0-Proのようなプロプライエタリなモデルを超えている。
• 参考スコア（独自算出の注目度）: 15.64048708183143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work introduces panoptic captioning, a novel task striving to seek the minimum text equivalence of images. We take the first step towards panoptic captioning by formulating it as a task of generating a comprehensive textual description for an image, which encapsulates all entities, their respective locations and attributes, relationships among entities, as well as global image state.Through an extensive evaluation, our work reveals that state-of-the-art Multi-modal Large Language Models (MLLMs) have limited performance in solving panoptic captioning. To address this, we propose an effective data engine named PancapEngine to produce high-quality data and a novel method named PancapChain to improve panoptic captioning. Specifically, our PancapEngine first detects diverse categories of entities in images by an elaborate detection suite, and then generates required panoptic captions using entity-aware prompts. Additionally, our PancapChain explicitly decouples the challenging panoptic captioning task into multiple stages and generates panoptic captions step by step. More importantly, we contribute a comprehensive metric named PancapScore and a human-curated test set for reliable model evaluation.Experiments show that our PancapChain-13B model can beat state-of-the-art open-source MLLMs like InternVL-2.5-78B and even surpass proprietary models like GPT-4o and Gemini-2.0-Pro, demonstrating the effectiveness of our data engine and method. Project page: https://visual-ai.github.io/pancap/
• Abstract（参考訳）: この研究は、画像の最小テキスト等価性を求める新しいタスクである、パノプティクスキャプションを導入している。 画像の包括的テキスト記述を生成するタスクとして,全実体,それぞれの位置,属性,実体間の関係,及びグローバルな画像状態などをカプセル化する作業として,まず,画像の包括的記述を定式化して,その第一歩を踏み出した。 そこで本研究では,高品質なデータを生成するためにPancapEngineというデータエンジンを提案する。 具体的には、PancapEngineはまず精巧な検出スイートによって画像のさまざまなカテゴリのエンティティを検知し、エンティティ認識プロンプトを使用して必要なパンプトキャプションを生成する。 さらに、当社のPancapChainは、難易度の高い汎視的キャプションタスクを複数のステージに分離し、段階的に汎視的キャプションを生成する。 さらに重要なことは、PancapScoreという名前の総合的なメトリクスと、信頼性のあるモデル評価のための人為的なテストセットに貢献することです。実験により、PancapChain-13Bモデルは、InternVL-2.5-78Bのような最先端のオープンソースMLLMを破り、GPT-4oやGemini-2.0-Proのようなプロプライエタリなモデルを超え、私たちのデータエンジンとメソッドの有効性を示します。 プロジェクトページ: https://visual-ai.github.io/pancap/

関連論文リスト

• The Devil is in the Distributions: Explicit Modeling of Scene Content is Key in Zero-Shot Video Captioning [89.64905703368255]
  ゼロショットビデオキャプションのためのプログレッシブな多粒性テキストプロンプト戦略を提案する。 提案手法は,名詞句,名詞句のシーングラフ,全文を含む3つの異なる記憶バンクを構築する。
  論文  参考訳（メタデータ） (2025-03-31T03:00:19Z)
• Text Data-Centric Image Captioning with Interactive Prompts [20.48013600818985]
  画像キャプションの監視手法は大きな進歩を遂げているが,高品質な人手による画像テキストデータの収集は困難である。 本稿では,Interactive Prompts を用いた新しいテキストデータ中心型画像キャプタリング手法 TIPCap を提案する。
  論文  参考訳（メタデータ） (2024-03-28T07:43:49Z)
• User-Aware Prefix-Tuning is a Good Learner for Personalized Image Captioning [35.211749514733846]
  従来の画像キャプション方式は、ユーザの好みや特徴を無視することが多い。 既存のほとんどの手法は、メモリネットワークやトランスフォーマーによるユーザコンテキストの融合プロセスを強調している。 本稿では,ユーザコンテキストを利用したパーソナライズされた画像キャプションフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-08T02:08:00Z)
• Improving Multimodal Datasets with Image Captioning [65.74736570293622]
  生成したキャプションが非記述テキストによるWebスクラッピングデータポイントの有用性を高める方法について検討する。 DataComp の大規模字幕 (1.28B 画像テキストペア) を用いた実験により,合成テキストの限界について考察した。
  論文  参考訳（メタデータ） (2023-07-19T17:47:12Z)
• Self-Supervised Image Captioning with CLIP [0.0]
  本稿では,自己監督型画像キャプション手法を提案する。 小さなラベル付きデータセットから初期信号を学んだ後、ラベルなしデータに基づいて自己教師付き学習に移行する。 ラベル付きCOCOデータセットの2%未満を活用するにもかかわらず、我々の手法は完全なデータセットでトレーニングされた最先端モデルに匹敵するパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2023-06-26T23:29:16Z)
• Improving Image Captioning Descriptiveness by Ranking and LLM-based Fusion [17.99150939602917]
  State-of-The-Art (SoTA)イメージキャプションモデルは、トレーニングのためにMicrosoft COCO(MS-COCO)データセットに依存することが多い。 本稿では,異なるSoTAモデルから生成されたキャプションを効果的に融合させる方法を示すことによって,従来の課題に対処する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-20T15:13:02Z)
• Exploiting Auxiliary Caption for Video Grounding [66.77519356911051]
  ビデオグラウンディングは、あるクエリ文にマッチする興味のある瞬間を、トリミングされていないビデオから見つけることを目的としている。 以前の作業では、潜在的なイベントとデータセット内のクエリ文の間のコンテキスト情報の提供に失敗する、ビデオアノテーションの疎度ジレンマを無視していた。 具体的には、まず高密度なキャプションを生成し、次に非補助的なキャプション抑制(NACS)によって補助的なキャプションを得る。 補助キャプションにおける潜在的な情報を取得するために,補助キャプション間の意味的関係を計画するキャプションガイド注意(CGA)を提案する。
  論文  参考訳（メタデータ） (2023-01-15T02:04:02Z)
• Paraphrasing Is All You Need for Novel Object Captioning [126.66301869607656]
  新たな物体キャプション (NOC) は, 訓練中に真実のキャプションを観察することなく, 対象を含む画像を記述することを目的としている。 本稿では,NOC の2段階学習フレームワークである Paraphrasing-to-Captioning (P2C) について述べる。
  論文  参考訳（メタデータ） (2022-09-25T22:56:04Z)
• CapOnImage: Context-driven Dense-Captioning on Image [13.604173177437536]
  画像上のキャプション(CapOnImage)と呼ばれる新しいタスクを導入し、コンテキスト情報に基づいて画像の異なる場所で高密度キャプションを生成する。 テキストと画像位置の対応を段階的に学習するマルチレベル事前学習タスクを備えたマルチモーダル事前学習モデルを提案する。 他の画像キャプションモデルと比較すると、キャプション精度と多様性の両面で最良の結果が得られる。
  論文  参考訳（メタデータ） (2022-04-27T14:40:31Z)
• Injecting Semantic Concepts into End-to-End Image Captioning [61.41154537334627]
  本稿では、地域特徴を抽出することなくグリッド表現を使用する、純粋視覚変換器を用いた画像キャプションモデルViTCAPを提案する。 性能向上のために,意味論的概念を予測し,それをエンドツーエンドのキャプションに組み込む新しいコンセプトトークンネットワーク(CTN)を導入する。 特に、CTNは視覚変換器に基づいて構築され、分類タスクを通じて概念トークンを予測するように設計されている。
  論文  参考訳（メタデータ） (2021-12-09T22:05:05Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。