論文の概要: Reverse Region-to-Entity Annotation for Pixel-Level Visual Entity Linking

• arxiv url: http://arxiv.org/abs/2412.13614v1
• Date: Wed, 18 Dec 2024 08:49:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:50:03.573710
• Title: Reverse Region-to-Entity Annotation for Pixel-Level Visual Entity Linking
• Title（参考訳）: ピクセルレベルビジュアルエンティティリンクのためのReverse Region-to-Entityアノテーション
• Authors: Zhengfei Xu, Sijia Zhao, Yanchao Hao, Xiaolong Liu, Lili Li, Yuyang Yin, Bo Li, Xi Chen, Xin Xin,
• Abstract要約: 我々は新しいタスクであるPixel-Level Visual Entity Linking (PL-VEL)を提案する。 PL-VELはオブジェクトを参照するために視覚入力からピクセルマスクを使用し、VELの参照メソッドを補完する。 このデータセットには500万以上のアノテーションが含まれており、ピクセルレベルの領域とエンティティレベルのラベルが一致している。
• 参考スコア（独自算出の注目度）: 9.378011289206428
• License:
• Abstract: Visual Entity Linking (VEL) is a crucial task for achieving fine-grained visual understanding, matching objects within images (visual mentions) to entities in a knowledge base. Previous VEL tasks rely on textual inputs, but writing queries for complex scenes can be challenging. Visual inputs like clicks or bounding boxes offer a more convenient alternative. Therefore, we propose a new task, Pixel-Level Visual Entity Linking (PL-VEL), which uses pixel masks from visual inputs to refer to objects, supplementing reference methods for VEL. To facilitate research on this task, we have constructed the MaskOVEN-Wiki dataset through an entirely automatic reverse region-entity annotation framework. This dataset contains over 5 million annotations aligning pixel-level regions with entity-level labels, which will advance visual understanding towards fine-grained. Moreover, as pixel masks correspond to semantic regions in an image, we enhance previous patch-interacted attention with region-interacted attention by a visual semantic tokenization approach. Manual evaluation results indicate that the reverse annotation framework achieved a 94.8% annotation success rate. Experimental results show that models trained on this dataset improved accuracy by 18 points compared to zero-shot models. Additionally, the semantic tokenization method achieved a 5-point accuracy improvement over the trained baseline.
• Abstract（参考訳）: ビジュアルエンティティリンク(VEL)は、きめ細かい視覚的理解を達成するための重要なタスクであり、画像内のオブジェクト(視覚的参照)と知識ベース内のエンティティとをマッチングする。 以前のVELタスクはテキスト入力に依存していたが、複雑なシーンのためのクエリを書くのは難しい。 クリックやバウンディングボックスのようなビジュアル入力は、より便利な代替手段を提供する。 そこで我々は,VELの参照メソッドを補完する新しいタスクであるPixel-Level Visual Entity Linking (PL-VEL)を提案する。 本研究は,全自動逆領域集中アノテーションフレームワークを用いて,MaskOVEN-Wikiデータセットを構築した。 このデータセットには、500万以上のアノテーションが含まれており、ピクセルレベルの領域とエンティティレベルのラベルが一致している。 さらに,画像中のセマンティック領域に対応するため,視覚的セマンティックトークン化手法により,従来のパッチ対応の注意を領域対応の注意で強化する。 手動評価の結果、逆アノテーションフレームワークが94.8%のアノテーション成功率を達成したことが示唆された。 実験の結果、このデータセットでトレーニングされたモデルでは、ゼロショットモデルと比較して精度が18ポイント向上した。 さらに、セマンティックトークン化法は、トレーニングされたベースラインよりも5ポイント精度の向上を実現した。

関連論文リスト

• Context-Based Visual-Language Place Recognition [4.737519767218666]
  視覚に基づく位置認識に対する一般的なアプローチは、低レベルの視覚的特徴に依存している。 シーン変更に対して堅牢で,追加のトレーニングを必要としない,新しいVPRアプローチを導入する。 ゼロショット・言語駆動セマンティックセグメンテーションモデルを用いて画素レベルの埋め込みを抽出し,セマンティックイメージ記述子を構築する。
  論文  参考訳（メタデータ） (2024-10-25T06:59:11Z)
• MaskInversion: Localized Embeddings via Optimization of Explainability Maps [49.50785637749757]
  MaskInversionは、テスト時にマスクによって指定されたクエリ画像領域に対するコンテキスト認識の埋め込みを生成する。 オープン語彙のクラス検索、表現理解の参照、局所的なキャプションや画像生成など、幅広いタスクに使用することができる。
  論文  参考訳（メタデータ） (2024-07-29T14:21:07Z)
• Hypergraph based Understanding for Document Semantic Entity Recognition [65.84258776834524]
  我々は,ハイパグラフアテンションを利用したハイパグラフアテンション文書セマンティックエンティティ認識フレームワークHGAを構築し,エンティティ境界とエンティティカテゴリを同時に重視する。 FUNSD, CORD, XFUNDIE で得られた結果は,本手法が意味的エンティティ認識タスクの性能を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2024-07-09T14:35:49Z)
• Understanding the Effect of using Semantically Meaningful Tokens for Visual Representation Learning [41.81009725976217]
  視覚言語事前学習フレームワーク内のトランスフォーマーエンコーダに対して意味論的に意味のある視覚トークンを提供する。 テキスト・ツー・イメージ検索タスクと画像・テキスト検索タスク間で学習された表現品質のViTに対する顕著な改善を示す。
  論文  参考訳（メタデータ） (2024-05-26T01:46:22Z)
• TagAlign: Improving Vision-Language Alignment with Multi-Tag Classification [59.779532652634295]
  画像とテキストのペア以外の追加データフォーマットを必要とせずに、画像とテキストの特徴の整合性を向上するための、恥ずかしいほど単純なアプローチを提案する。 画像中に存在する可能性が極めて高い記述からオブジェクトや属性を解析する。 実験は、既存の代替手段よりも平均5.2%のフレームワークの改善を裏付けるものです。
  論文  参考訳（メタデータ） (2023-12-21T18:59:06Z)
• Open-Vocabulary Camouflaged Object Segmentation [66.94945066779988]
  OVCOS(Open-vocabulary camouflaged Object segmentation)を導入した。 我々は11,483個の手選択画像とそれに対応するオブジェクトクラスを含む大規模複合シーンデータセット(textbfOVCamo)を構築した。 クラスセマンティック知識の指導とエッジ情報と深度情報からの視覚構造的手がかりの補足を統合することにより、提案手法は効率よくカモフラージュされたオブジェクトを捕捉できる。
  論文  参考訳（メタデータ） (2023-11-19T06:00:39Z)
• Learning Semantic Segmentation with Query Points Supervision on Aerial Images [57.09251327650334]
  セマンティックセグメンテーションアルゴリズムを学習するための弱教師付き学習アルゴリズムを提案する。 提案手法は正確なセマンティックセグメンテーションを行い,手作業のアノテーションに要するコストと時間を大幅に削減することで効率を向上する。
  論文  参考訳（メタデータ） (2023-09-11T14:32:04Z)
• Fine-Grained Visual Prompting [35.032567257651515]
  Fine-Grained Visual Prompting (FGVP) は参照表現のゼロショット理解において優れた性能を示す。 RefCOCO+ testAサブセットで最大12.5%改善され、平均マージンが3.0%から4.6%向上した。
  論文  参考訳（メタデータ） (2023-06-07T11:39:56Z)
• CLIP-Count: Towards Text-Guided Zero-Shot Object Counting [32.07271723717184]
  オープン語彙オブジェクトの密度マップをゼロショットで推定する,最初のエンドツーエンドパイプラインであるCLIP-Countを提案する。 テキスト埋め込みを濃密な視覚特徴と整合させるため、我々は、密集した予測のための情報的パッチレベルの視覚表現を学習するために、モデルを誘導するパッチテキストコントラスト損失を導入する。 本手法は,対象物に対する高品質な密度マップを効果的に生成する。
  論文  参考訳（メタデータ） (2023-05-12T08:19:39Z)
• Data Augmentation for Object Detection via Differentiable Neural Rendering [71.00447761415388]
  注釈付きデータが乏しい場合、堅牢なオブジェクト検出器を訓練することは困難です。 この問題に対処する既存のアプローチには、ラベル付きデータからラベル付きデータを補間する半教師付き学習が含まれる。 オブジェクト検出のためのオフラインデータ拡張手法を導入し、新しいビューでトレーニングデータを意味的に補間する。
  論文  参考訳（メタデータ） (2021-03-04T06:31:06Z)
• Structure-Consistent Weakly Supervised Salient Object Detection with Local Saliency Coherence [14.79639149658596]
  本論文では,スクリブルアノテーションによる弱監督オブジェクト検出のための1ラウンドのエンドツーエンドトレーニング手法を提案する。 6つのベンチマークで最新のパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2020-12-08T12:49:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。