論文の概要: Open-Vocabulary Gaze Object Prediction: Benchmark and Method

• arxiv url: http://arxiv.org/abs/2607.18827v1
• Date: Tue, 21 Jul 2026 08:03:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.354816
• Title: Open-Vocabulary Gaze Object Prediction: Benchmark and Method
• Title（参考訳）: Open-Vocabulary Gaze Object Prediction:ベンチマークと方法
• Abstract要約: In-the-wild category 86を含むベンチマークである Diverse Scenes for Gaze Object Prediction (DiSG) を導入する。 DiSGを基盤として,テキスト駆動型物体発見を利用した潜在的視線候補のローカライズを行うフレームワークを提案する。 提案手法は,オープン語彙設定において効果的に動作し,従来のクローズド語彙設定では既存手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 16.472504490295282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaze Object Prediction (GOP) aims to localize and recognize the objects humans attend to, a task crucial for understanding human-centric interactions. However, existing methods are typically trained under a closed-vocabulary paradigm with a fixed label space and evaluated on scene-specific datasets, limiting their applicability to real-world scenarios where gaze targets often follow a long-tail distribution or belong to unseen categories. To address this gap, we introduce Diverse Scenes for Gaze object prediction (DiSG), a benchmark containing 86 in-the-wild categories that facilitates the evaluation of Open-Vocabulary GOP (OVGOP). Building on DiSG, we propose a framework that leverages text-driven object discovery to localize potential gaze candidates, with a gaze-guided selection module to pinpoint the intended target from the candidate objects. Furthermore, to better capture semantic knowledge across diverse in-the-wild categories, we introduce Gradient-Informed Selection Tuning (GIST) to selectively update parameters most relevant to a given class vocabulary. Extensive experiments demonstrate that our proposed model performs effectively in open-vocabulary settings and also outperforms existing methods in the conventional closed-vocabulary setting. The benchmark and code is available at https://github.com/sensniu/ovgop.
• Abstract（参考訳）: Gaze Object Prediction(GOP)は、人間中心の相互作用を理解するのに不可欠なタスクである、人が参加するオブジェクトをローカライズし、認識することを目的としている。 しかし、既存の手法は通常、固定されたラベル空間を持つ閉語彙パラダイムの下で訓練され、シーン固有のデータセットに基づいて評価される。 このギャップに対処するために、我々は、Open-Vocabulary GOP (OVGOP) の評価を容易にする86のカテゴリを含むベンチマークであるDiverse Scenes for Gaze Object Prediction (DiSG)を紹介する。 DiSGをベースとして,テキスト駆動型物体発見を利用して潜在的な視線候補をローカライズするフレームワークを提案し,視線誘導選択モジュールを用いて対象対象を対象対象物から特定する。 さらに、様々な分野のセマンティック知識をよりよく把握するために、与えられたクラス語彙に最も関係のあるパラメータを選択的に更新するために、GIST(Gradient-Informed Selection Tuning)を導入する。 実験の結果,提案手法はオープン語彙設定において有効であり,従来のクローズド語彙設定では既存手法よりも優れていた。 ベンチマークとコードはhttps://github.com/sensniu/ovgop.comで公開されている。

関連論文リスト

• ECAD: Expanding Class-Agnostic Detection Beyond Thing-Centric Objectness [19.94019125942239]
  カテゴリーに依存しない視覚的候補を見つけることを目的とした,拡張型クラス非依存検出(ECAD)を定式化する。 ECADetは、凍ったDINOv3エンコーダ上に作られた軽量のDETRベースの検出器である。 ECADetはBTCO-Bench上のクラス非依存型および提案型検出器よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-07T06:01:06Z)
• Parameter-Efficient Semantic Augmentation for Enhancing Open-Vocabulary Object Detection [33.35667602014138]
  HSA-DINOは、オープン語彙オブジェクト検出を強化するためのパラメータ効率のよいセマンティック拡張フレームワークである。 推論中に適切な意味拡張戦略を動的に選択する意味認識ルータを提案する。 我々は,OV-COCO上のHSA-DINO,いくつかの垂直領域データセット,修正されたベンチマーク設定を評価した。
  論文  参考訳（メタデータ） (2026-04-06T05:41:33Z)
• GUIDED: Granular Understanding via Identification, Detection, and Discrimination for Fine-Grained Open-Vocabulary Object Detection [54.19989440021701]
  細粒度オープン語彙オブジェクト検出(FG-OVD)は属性リッチテキストで記述された新しいオブジェクトカテゴリを検出することを目的としている。 FG-OVDは、非絡み合いモデリングとモジュラー最適化の利点を実証し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2026-03-27T22:08:11Z)
• Geospatial-Reasoning-Driven Vocabulary-Agnostic Remote Sensing Semantic Segmentation [13.743073097114461]
  オープンボキャブラリセマンティックセグメンテーションはリモートセンシングにおける有望な研究方向として浮上している。 本研究では,Geospatial Reasoning Chain-of-Thought(GR-CoT)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-09T02:09:21Z)
• Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
  現在、視覚言語モデル(VLM)には、状況を考慮した特定の物体をシーン内でローカライズする学習という、基本的な認知能力がないことが分かっています。 この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
  論文  参考訳（メタデータ） (2024-11-20T13:34:22Z)
• The devil is in the fine-grained details: Evaluating open-vocabulary object detectors for fine-grained understanding [8.448399308205266]
  本研究では,動的語彙生成に基づく評価プロトコルを導入し,モデルがオブジェクトに対して正確な粒度記述を検出し,識別し,割り当てるかどうかを検証する。 提案プロトコルを用いて,最先端のオープンボキャブラリオブジェクト検出器を複数評価することにより,研究をさらに強化する。
  論文  参考訳（メタデータ） (2023-11-29T10:40:52Z)
• Coherent Entity Disambiguation via Modeling Topic and Categorical Dependency [87.16283281290053]
  従来のエンティティ曖昧化(ED)メソッドは、参照コンテキストと候補エンティティの一致するスコアに基づいて予測を行う、識別パラダイムを採用している。 本稿では,エンティティ予測のコヒーレンス向上を目的とした新しいデザインを備えたEDシステムであるCoherentedを提案する。 我々は、人気EDベンチマークにおいて、平均1.3F1ポイントの改善により、最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-11-06T16:40:13Z)
• Prototype-based Embedding Network for Scene Graph Generation [105.97836135784794]
  現在のシーングラフ生成(SGG)手法は、コンテキスト情報を探索し、エンティティペア間の関係を予測する。 被写体と対象物の組み合わせが多様であるため、各述語カテゴリーには大きなクラス内変異が存在する。 プロトタイプベースのEmbedding Network (PE-Net) は、エンティティ/述語を、プロトタイプに準拠したコンパクトで独特な表現でモデル化する。 PLは、PE-Netがそのようなエンティティ述語マッチングを効率的に学習するのを助けるために導入され、不明瞭なエンティティ述語マッチングを緩和するためにプロトタイプ正規化(PR)が考案されている。
  論文  参考訳（メタデータ） (2023-03-13T13:30:59Z)
• CLIP the Gap: A Single Domain Generalization Approach for Object Detection [60.20931827772482]
  単一ドメインの一般化(Single Domain Generalization)は、単一のソースドメイン上でモデルをトレーニングすることで、目に見えないターゲットドメインに一般化する問題に取り組む。 本稿では、事前学習された視覚言語モデルを用いて、テキストプロンプトを介して意味領域の概念を導入することを提案する。 本手法は,検出器のバックボーンから抽出した特徴に作用する意味的拡張戦略と,テキストに基づく分類損失によって実現される。
  論文  参考訳（メタデータ） (2023-01-13T12:01:18Z)
• Exploiting Unlabeled Data with Vision and Language Models for Object Detection [64.94365501586118]
  堅牢で汎用的なオブジェクト検出フレームワークを構築するには、より大きなラベルスペースとより大きなトレーニングデータセットへのスケーリングが必要である。 本稿では,近年の視覚と言語モデルで利用可能なリッチなセマンティクスを利用して,未ラベル画像中のオブジェクトのローカライズと分類を行う手法を提案する。 生成した擬似ラベルの価値を,オープン語彙検出と半教師付きオブジェクト検出の2つのタスクで示す。
  論文  参考訳（メタデータ） (2022-07-18T21:47:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。