論文の概要: TMI: Text-to-Image Meets Image-to-Image for Complementary Data Synthesis to Boost Long-Tailed Instance Segmentation

• arxiv url: http://arxiv.org/abs/2607.08201v1
• Date: Thu, 09 Jul 2026 07:59:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.45655
• Title: TMI: Text-to-Image Meets Image-to-Image for Complementary Data Synthesis to Boost Long-Tailed Instance Segmentation
• Title（参考訳）: TMI: 長めのインスタンスセグメンテーションを促進する補完データ合成のための画像と画像のテキスト・トゥ・イメージ
• Abstract要約: 大語彙のインスタンスセグメンテーションは、長い尾の圏分布と粒度のクラス間のあいまいさによって制約される。 テキスト・トゥ・イメージ(T2I)メソッドは、ノイズの多い擬似ラベルを継承し、希少なクラスで苦労する。 本稿では,コンテキスト認識型イメージ・トゥ・イメージ(I2I)編集を用いたハイブリッドパイプライン結合T2I生成を提案する。
• 参考スコア（独自算出の注目度）: 6.97762648094816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-vocabulary instance segmentation is constrained by long-tailed category distributions and fine-grained inter-class ambiguity. While data synthesis offers a promising alternative, current paradigms have complementary limitations: text-to-image (T2I) methods inherit noisy pseudo-labels and struggle on rare classes, whereas copy-paste methods compromise contextual realism. To address these issues, we propose a hybrid pipeline coupling T2I generation with context-aware image-to-image (I2I) editing. The T2I branch provides broad category and scene diversity, while a teacher-student scheme ensures label reliability by selectively retaining only prompt-specified categories. To strengthen supervision for rare classes, we introduce VRAIN (Verified Rare-class Augmentation via INstructed editing), a novel I2I editor. VRAIN inserts high-confidence instances at semantically appropriate locations within in-the-wild scenes, yielding semantically coherent and visually natural edits that reduce domain gaps and enable targeted augmentation. On the LVIS benchmark, our method surpasses existing baselines, improving overall AP by up to +4.0 points and rare-class AP by up to +9.5 points, while scaling effectively with backbone capacity. Our project page is available at https://seokhunchoi.github.io/TMI
• Abstract（参考訳）: 大語彙のインスタンスセグメンテーションは、長い尾の圏分布と粒度のクラス間のあいまいさによって制約される。 テキスト・トゥ・イメージ(T2I)メソッドはノイズの多い擬似ラベルを継承し、希少なクラスで苦労するが、コピー・ペーストメソッドは文脈的リアリズムを妥協する。 これらの問題に対処するために、文脈認識画像画像画像(I2I)編集を用いたハイブリッドパイプライン結合T2I生成を提案する。 T2Iブランチは幅広いカテゴリとシーンの多様性を提供し、教師/学生のスキームは、プロンプト指定されたカテゴリのみを選択的に保持することで、ラベルの信頼性を保証する。 稀な授業の監督を強化するため,新しいI2IエディタであるVRAIN(Instructed Editor)を導入する。 VRAINは、シーン内のセマンティックに適切な場所で高信頼のインスタンスを挿入し、ドメインギャップを減らし、ターゲット拡張を可能にするセマンティックコヒーレントで視覚的に自然な編集を生成する。 LVISベンチマークでは、我々の手法は既存のベースラインを超え、AP全体を+4.0ポイント、レアクラスのAPを+9.5ポイント改善し、バックボーン容量を効果的にスケーリングする。 私たちのプロジェクトページはhttps://seokhunchoi.github.io/TMIで公開されています。

関連論文リスト

• [CLS] is Not Enough: Multi-Label Recognition via Patch-Level Inference and Adaptive Aggregation [20.637119409165418]
  PIAAは、アダプティブアグリゲーション(Adaptive Aggregation)によって、パッチレベルの推論として予測を定式化する。 パッチレベルのスコアを最終的なマルチラベル予測に集約するアダプティブアグリゲーションモジュールを導入する。 実験の結果,提案手法は最小限の余剰計算で強い改善を達成できることがわかった。
  論文  参考訳（メタデータ） (2026-05-25T13:19:12Z)
• Text to Image for Multi-Label Image Recognition with Joint Prompt-Adapter Learning [69.33115351856785]
  本稿では,PEFTのテキストキャプションのみを使用する場合のモダリティギャップ問題に対処するため,T2I-PALと呼ばれる新しい手法を提案する。 T2I-PALの中核となる設計は、事前訓練されたテキスト-画像生成モデルを利用して、テキストキャプションからフォトリアリスティックで多様な画像を生成することである。 MS-COCO、VOC2007、NAS-WIDEを含む複数のベンチマークに対する大規模な実験は、我々のT2I-PALが認識性能を平均3.47%向上させることができることを示している。
  論文  参考訳（メタデータ） (2025-06-12T11:09:49Z)
• Object-Attribute Binding in Text-to-Image Generation: Evaluation and Control [58.37323932401379]
  現在の拡散モデルは、入力としてテキストプロンプトが与えられたイメージを生成するが、テキストで言及されている属性を画像の正しいオブジェクトに正しく結び付けるのに苦労する。 入力文中の構文的制約により視覚的注意マップを制御できる集中的横断注意(FCA)を提案する。 我々は、T2I生成の大幅な改善、特にいくつかのデータセットに対する属性オブジェクトのバインディングを示す。
  論文  参考訳（メタデータ） (2024-04-21T20:26:46Z)
• DualCoOp++: Fast and Effective Adaptation to Multi-Label Recognition with Limited Annotations [79.433122872973]
  低ラベル体制における多ラベル画像認識は、大きな課題と実践的重要性の課題である。 我々は、何百万もの補助的な画像テキストペアで事前訓練されたテキストと視覚的特徴の強力なアライメントを活用する。 Evidence-guided Dual Context Optimization (DualCoOp++) という,効率的かつ効果的なフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-08-03T17:33:20Z)
• Dual-level Interaction for Domain Adaptive Semantic Segmentation [0.0]
  セマンティックセグメンテーションにおけるドメイン適応(DIDA)のための二重レベル相互作用を提案する。 具体的には、同じピクセルの異なる拡張ビューが類似したクラス予測を持つように推奨する。 我々の手法は、特に混乱した長い尾のクラスにおいて、最先端の技術よりも顕著に優れている。
  論文  参考訳（メタデータ） (2023-07-16T07:51:18Z)
• Task-Oriented Multi-Modal Mutual Leaning for Vision-Language Models [52.3032592038514]
  ラベル関連画像情報で生成したプロンプトを豊かにするためのクラス対応テキストプロンプトを提案する。 我々は、新しいクラスで4.03%、調和平均で3.19%の改善を11の分類ベンチマークで達成した。
  論文  参考訳（メタデータ） (2023-03-30T06:02:40Z)
• Focus on Your Target: A Dual Teacher-Student Framework for Domain-adaptive Semantic Segmentation [210.46684938698485]
  意味的セグメンテーションのための教師なしドメイン適応(UDA)について検討する。 対象領域からのトレーニングサンプルの割合を減少・増加させることで,「学習能力」が強化・弱まることがわかった。 本稿では,DTS(Double teacher-student)フレームワークを提案し,双方向学習戦略を取り入れた。
  論文  参考訳（メタデータ） (2023-03-16T05:04:10Z)
• Betrayed by Captions: Joint Caption Grounding and Generation for Open Vocabulary Instance Segmentation [80.48979302400868]
  オープンな語彙のインスタンスセグメンテーションに注目し、セグメンテーションモデルを拡張して、インスタンスレベルの新しいカテゴリを分類し、セグメンテーションする。 これまでは、画像領域と名詞の字幕間の1対1のマッピングを確立するために、大量の字幕データセットと複雑なパイプラインに頼っていた。 我々は,一致したオブジェクトのみに着目して学習効率を向上させる新しいグラウンドニング損失を取り入れた,共同の textbf Caption Grounding and Generation (CGG) フレームワークを考案した。
  論文  参考訳（メタデータ） (2023-01-02T18:52:12Z)
• Semantic Segmentation with Generative Models: Semi-Supervised Learning and Strong Out-of-Domain Generalization [112.68171734288237]
  本論文では,画像とラベルの再生モデルを用いた識別画素レベルのタスクのための新しいフレームワークを提案する。 我々は,共同画像ラベルの分布を捕捉し,未ラベル画像の大規模な集合を用いて効率的に訓練する生成的対向ネットワークを学習する。 ドメイン内性能をいくつかのベースラインと比較し,ドメイン外一般化を極端に示す最初の例である。
  論文  参考訳（メタデータ） (2021-04-12T21:41:25Z)
• iFAN: Image-Instance Full Alignment Networks for Adaptive Object Detection [48.83883375118966]
  iFANは、イメージレベルとインスタンスレベルの両方で、機能の分散を正確に調整することを目的としている。 ソースのみのベースライン上で10%以上のAPで、最先端のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2020-03-09T13:27:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。