論文の概要: Focusing on what to decode and what to train: SOV Decoding with Specific Target Guided DeNoising and Vision Language Advisor

• arxiv url: http://arxiv.org/abs/2307.02291v3
• Date: Sun, 22 Dec 2024 06:14:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 19:42:47.422534
• Title: Focusing on what to decode and what to train: SOV Decoding with Specific Target Guided DeNoising and Vision Language Advisor
• Title（参考訳）: デコードとトレーニングの方法に焦点をあてて - 特定のターゲットガイドと視覚言語アドバイザーによるSOVデコーディング
• Authors: Junwen Chen, Yingcheng Wang, Keiji Yanai,
• Abstract要約: 我々は、SOV-STG-VLAに3つの重要な要素、SOV-Object-Verb(SOV)デコーディング、特定ターゲットガイド(STG)デノナイズ、ビジョンランゲージ・アドバイザ(VLA)について紹介する。 我々のSOVデコーダは、オブジェクト検出と動詞認識を新しい相互作用領域表現で切り離す。 我々のVLAはSOV-STGを著しく改善し、最近のSOTAと比較して6分の1のトレーニングエポックでSOTA性能を達成する。
• 参考スコア（独自算出の注目度）: 15.364628173661778
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent transformer-based methods achieve notable gains in the Human-object Interaction Detection (HOID) task by leveraging the detection of DETR and the prior knowledge of Vision-Language Model (VLM). However, these methods suffer from extended training times and complex optimization due to the entanglement of object detection and HOI recognition during the decoding process. Especially, the query embeddings used to predict both labels and boxes suffer from ambiguous representations, and the gap between the prediction of HOI labels and verb labels is not considered. To address these challenges, we introduce SOV-STG-VLA with three key components: Subject-Object-Verb (SOV) decoding, Specific Target Guided (STG) denoising, and a Vision-Language Advisor (VLA). Our SOV decoders disentangle object detection and verb recognition with a novel interaction region representation. The STG denoising strategy learns label embeddings with ground-truth information to guide the training and inference. Our SOV-STG achieves a fast convergence speed and high accuracy and builds a foundation for the VLA to incorporate the prior knowledge of the VLM. We introduce a vision advisor decoder to fuse both the interaction region information and the VLM's vision knowledge and a Verb-HOI prediction bridge to promote interaction representation learning. Our VLA notably improves our SOV-STG and achieves SOTA performance with one-sixth of training epochs compared to recent SOTA. Code and models are available at https://github.com/cjw2021/SOV-STG-VLA
• Abstract（参考訳）: 近年のトランスフォーマーに基づく手法は,DETRの検出とビジョン・ランゲージ・モデル(VLM)の先行知識を活用することで,人物体間相互作用検出(HOID)タスクにおいて顕著な利得を達成している。 しかし、これらの手法は、デコード処理中にオブジェクト検出とHOI認識の絡み合いにより、訓練時間と複雑な最適化に悩まされる。 特に、ラベルとボックスの両方を予測するために使用されるクエリ埋め込みは曖昧な表現に悩まされており、HOIラベルと動詞ラベルの差は考慮されていない。 これらの課題に対処するため、SOV-STG-VLAには、SOVデコーディング、STGデノナイズ、VLA(Vision-Language Advisor)という3つの重要な要素がある。 我々のSOVデコーダは、オブジェクト検出と動詞認識を新しい相互作用領域表現で切り離す。 STGデノベーション戦略は、トレーニングと推論を導くために、地味な情報でラベル埋め込みを学習する。 我々のSOV-STGは、高速な収束速度と高精度を実現し、VLMの以前の知識を取り入れるための基盤を構築する。 本稿では,インタラクション領域情報とVLMの視覚知識を融合させる視覚アドバイザデコーダと,インタラクション表現学習を促進するためのVerb-HOI予測ブリッジを導入する。 我々のVLAはSOV-STGを著しく改善し、最近のSOTAと比較して6分の1のトレーニングエポックでSOTA性能を達成する。 コードとモデルはhttps://github.com/cjw2021/SOV-STG-VLAで公開されている。

関連論文リスト

• OTTER: A Vision-Language-Action Model with Text-Aware Visual Feature Extraction [95.6266030753644]
  Vision-Language-Action(VLA)モデルは、視覚的な観察と言語指示に基づいてロボット行動を予測することを目的としている。 既存のアプローチでは、視覚的特徴と言語的特徴が独立して下流ポリシーに供給されるため、微調整済みの視覚言語モデル(VLM)が必要である。 本稿では,テキスト認識による視覚的特徴抽出によって既存のアライメントを活用する新しいVLAアーキテクチャOTTERを提案する。
  論文  参考訳（メタデータ） (2025-03-05T18:44:48Z)
• VLM-HOI: Vision Language Models for Interpretable Human-Object Interaction Analysis [8.676256316312877]
  対象物間相互作用(HOI)検出タスク(bfVLM-HOI)の目的関数形式としてVLMを明示的に活用する新しい手法を提案する。 VLMの言語理解を十分に活用するために言語的にHOI三重項を表現し、その局所化とオブジェクト中心の性質からCLIPモデルよりも適している。 提案手法の有効性を実証し,ベンチマーク上での最先端HOI検出精度を実現する。
  論文  参考訳（メタデータ） (2024-11-27T04:13:23Z)
• CL-HOI: Cross-Level Human-Object Interaction Distillation from Vision Large Language Models [10.62320998365966]
  視覚言語モデル(VLLM)は、本質的には画像レベルでの相互作用を認識・推論できるが、計算的に重く、インスタンスレベルのHOI検出には設計されていない。 手動のアノテーションを必要とせずに,VLLMのイメージレベルの理解からインスタンスレベルのHOIを蒸留するクロスレベルHOI蒸留(CL-HOI)フレームワークを提案する。 本手法は,視覚情報から言語情報への変換を行う文脈蒸留と,対話認知ネットワーク(ICN)が空間的,視覚的,文脈的関係を推論する相互作用蒸留の2段階を含む。
  論文  参考訳（メタデータ） (2024-10-21T05:51:51Z)
• A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks [81.2624272756733]
  密集検索では、ディープエンコーダは入力とターゲットの両方に埋め込みを提供する。 我々は、古いキャッシュされたターゲット埋め込みを調整できる小さなパラメトリック補正ネットワークを訓練する。 私たちのアプローチは、トレーニング中にターゲット埋め込み更新が行われなくても、最先端の結果と一致します。
  論文  参考訳（メタデータ） (2024-09-03T13:29:13Z)
• MarvelOVD: Marrying Object Recognition and Vision-Language Models for Robust Open-Vocabulary Object Detection [107.15164718585666]
  開語彙検出コンテキスト下でのVLMの偏り予測の根本原因について検討した。 私たちの観察は、非常に優れたトレーニングターゲットを生成する、単純で効果的なパラダイム、コード化されたMarvelOVDにつながります。 我々の手法は、他の最先端技術よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2024-07-31T09:23:57Z)
• Unveiling Encoder-Free Vision-Language Models [62.52803514667452]
  既存の視覚言語モデル (VLM) は主に視覚的特徴を抽出するために視覚エンコーダに依存しており、視覚言語タスクには大きな言語モデル (LLM) が続く。 エンコーダベースモデルとエンコーダフリーモデルとのギャップを橋渡しし、純粋なVLMに対するシンプルで効果的なトレーニングレシピを示す。 EVEはエンコーダなしの視覚言語モデルで、効率的にトレーニングと転送ができる。
  論文  参考訳（メタデータ） (2024-06-17T17:59:44Z)
• Few-Shot Object Detection with Sparse Context Transformers [37.106378859592965]
  少ないショット検出は、少ないラベル付きデータでトレーニングされたモデルを使用してオブジェクトをローカライズするパターン認識における主要なタスクである。 本稿では,ソース領域におけるオブジェクトの知識を効果的に活用し,対象領域内の少数のトレーニング画像からスパースコンテキストを自動的に学習する新しいスパースコンテキスト変換器を提案する。 提案手法を2つの難易度オブジェクト検出ベンチマークで評価し,提案手法が関連する最先端技術と比較して競合性能を得ることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-02-14T17:10:01Z)
• Beyond Visual Cues: Synchronously Exploring Target-Centric Semantics for Vision-Language Tracking [3.416427651955299]
  単一のオブジェクトトラッキングは、最初の状態から、ビデオシーケンス内の特定のターゲットを見つけることを目的としている。ビジョンランゲージ(VL)トラッキングは、有望なアプローチとして登場した。 本稿では,VL追跡のためのターゲット中心のセマンティクスを徐々に探求する新しいトラッカーを提案する。
  論文  参考訳（メタデータ） (2023-11-28T02:28:12Z)
• Aligned Unsupervised Pretraining of Object Detectors with Self-training [41.03780087924593]
  物体検出器の教師なし事前訓練は、近年、物体検出器訓練の重要な要素となっている。 本稿では、この問題を緩和し、3つの単純かつ重要な要素からなるフレームワークを提案する。 当社の戦略は,スクラッチ(背骨を含む)からの事前トレーニングも可能であり,COCOのような複雑な画像にも適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-28T17:46:00Z)
• Divert More Attention to Vision-Language Object Tracking [87.31882921111048]
  大規模な視覚言語アノテートビデオと非効果的な視覚言語対話学習が欠如していることは、トラッキングのためのより効果的な視覚言語表現の設計を動機づけている、と我々は主張する。 本稿では,まず,6つの人気追跡ベンチマークで動画をデコレートする属性アノテーション戦略を提案する。 次に,非対称なアーキテクチャ探索とモダリティミキサー(ModaMixer)を提案する,統一適応型VL表現の学習によるトラッキング向上のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-19T15:22:06Z)
• Improving Commonsense in Vision-Language Models via Knowledge Graph Riddles [83.41551911845157]
  本稿では,近年普及している視覚言語モデル(VL)のコモンセンス能力の解析と改善に焦点をあてる。 我々は、よりスケーラブルな戦略、すなわち、CommonsensE機能のためのkNowledgeグラフ線形化によるデータ拡張を提案する(DANCE)。 より優れたコモンセンス評価のために,検索に基づく最初のコモンセンス診断ベンチマークを提案する。
  論文  参考訳（メタデータ） (2022-11-29T18:59:59Z)
• Label-Efficient Object Detection via Region Proposal Network Pre-Training [58.50615557874024]
  地域提案ネットワーク(RPN)に効果的な事前学習を提供するための簡単な事前学習タスクを提案する。 RPN事前学習のないマルチステージ検出器と比較して,本手法はダウンストリームタスク性能を継続的に改善することができる。
  論文  参考訳（メタデータ） (2022-11-16T16:28:18Z)
• Vision-Language Adaptive Mutual Decoder for OOV-STR [39.35424739459689]
  我々は、VLAMD(Vision Language Adaptive Mutual Decoder)というフレームワークを設計し、OoV(out-of-vocabulary)問題に部分的に対処する。 提案手法は,ECCV 2022 TiE Workshop における OOV-ST Challenge の単語認識タスクにおいて, IV+OOV と OOV の設定に対して 70.31% と 59.61% の単語精度を達成した。
  論文  参考訳（メタデータ） (2022-09-02T07:32:22Z)
• GLIPv2: Unifying Localization and Vision-Language Understanding [161.1770269829139]
  本稿では,ローカライズタスクとビジョンランゲージ(VL)理解タスクの両方を提供する,基底VL理解モデルGLIPv2を提案する。 GLIPv2は、ローカライゼーション事前トレーニングとビジョン言語事前トレーニングを3つの事前トレーニングタスクで統合する。 一つのGLIPv2モデルが,様々なローカライゼーションおよび理解タスクにおいて,SoTAに近い性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-06-12T20:31:28Z)
• Label, Verify, Correct: A Simple Few Shot Object Detection Method [93.84801062680786]
  トレーニングセットから高品質な擬似アノテーションを抽出するための簡単な擬似ラベリング手法を提案する。 擬似ラベリングプロセスの精度を向上させるための2つの新しい手法を提案する。 提案手法は,既存手法と比較して,最先端ないし第2の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-10T18:59:06Z)
• Activation to Saliency: Forming High-Quality Labels for Unsupervised Salient Object Detection [54.92703325989853]
  本稿では,高品質なサリエンシキューを効果的に生成する2段階アクティベーション・ツー・サリエンシ(A2S)フレームワークを提案する。 トレーニングプロセス全体において、私たちのフレームワークにヒューマンアノテーションは関与していません。 本フレームワークは,既存のUSOD法と比較して高い性能を示した。
  論文  参考訳（メタデータ） (2021-12-07T11:54:06Z)
• Aligning Pretraining for Detection via Object-Level Contrastive Learning [57.845286545603415]
  画像レベルのコントラスト表現学習は、伝達学習の汎用モデルとして非常に有効であることが証明されている。 我々は、これは準最適である可能性があり、従って、自己教師付きプレテキストタスクと下流タスクのアライメントを促進する設計原則を提唱する。 Selective Object Contrastive Learning (SoCo) と呼ばれる本手法は,COCO検出における伝達性能の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-04T17:59:52Z)
• LabelEnc: A New Intermediate Supervision Method for Object Detection [78.74368141062797]
  本稿では,オブジェクト検出システムのトレーニングを促進するため,LabelEncという新たな中間監視手法を提案する。 鍵となるアイデアは、新しいラベル符号化機能を導入し、接地木ラベルを潜伏埋め込みにマッピングすることである。 実験の結果,COCOデータセット上での検出精度は,約2%向上した。
  論文  参考訳（メタデータ） (2020-07-07T08:55:05Z)
• Context-Transformer: Tackling Object Confusion for Few-Shot Detection [0.0]
  本稿では,簡潔なディープトランスフレームワークにおけるコンテキスト変換器を提案する。 Context-Transformerは、ソースドメインオブジェクトの知識をガイダンスとして効果的に活用することができる。 これらのリレーショナルな手がかりを適応的に統合して、検出器の識別力を高めることができる。
  論文  参考訳（メタデータ） (2020-03-16T16:17:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。