論文の概要: Unsupervised Collaborative Metric Learning with Mixed-Scale Groups for General Object Retrieval

• arxiv url: http://arxiv.org/abs/2403.10798v1
• Date: Sat, 16 Mar 2024 04:01:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-03-19 21:45:00.590252
• Title: Unsupervised Collaborative Metric Learning with Mixed-Scale Groups for General Object Retrieval
• Title（参考訳）: 汎用検索のための混合スケールグループを用いた教師なし協調メトリック学習
• Authors: Shichao Kan, Yuhai Deng, Yixiong Liang, Lihui Cen, Zhe Qu, Yigang Cen, Zhihai He,
• Abstract要約: 本稿では,MS-UGCMLを用いた非教師なし協調的距離学習という,新しい教師なし深度学習手法を提案する。 オブジェクトレベルと画像レベルmAPは最大6.69%,画像レベルmAPは10.03%向上した。
• 参考スコア（独自算出の注目度）: 28.810040080126324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The task of searching for visual objects in a large image dataset is difficult because it requires efficient matching and accurate localization of objects that can vary in size. Although the segment anything model (SAM) offers a potential solution for extracting object spatial context, learning embeddings for local objects remains a challenging problem. This paper presents a novel unsupervised deep metric learning approach, termed unsupervised collaborative metric learning with mixed-scale groups (MS-UGCML), devised to learn embeddings for objects of varying scales. Following this, a benchmark of challenges is assembled by utilizing COCO 2017 and VOC 2007 datasets to facilitate the training and evaluation of general object retrieval models. Finally, we conduct comprehensive ablation studies and discuss the complexities faced within the domain of general object retrieval. Our object retrieval evaluations span a range of datasets, including BelgaLogos, Visual Genome, LVIS, in addition to a challenging evaluation set that we have individually assembled for open-vocabulary evaluation. These comprehensive evaluations effectively highlight the robustness of our unsupervised MS-UGCML approach, with an object level and image level mAPs improvement of up to 6.69% and 10.03%, respectively. The code is publicly available at https://github.com/dengyuhai/MS-UGCML.
• Abstract（参考訳）: 画像データセットで視覚オブジェクトを検索する作業は、サイズが変化するオブジェクトの効率的なマッチングと正確な位置決めを必要とするため、難しい。 セグメントエイズモデル(SAM)は、オブジェクト空間コンテキストを抽出する潜在的なソリューションを提供するが、ローカルオブジェクトの埋め込みを学習することは難しい問題である。 本稿では,異なるスケールのオブジェクトに対する埋め込みを学習するために考案された,混合スケールグループ(MS-UGCML)による教師なし協調的メトリック学習(unsupervised collaborative metric learning)と呼ばれる新しいディープ・メトリック・ラーニング手法を提案する。 その後、COCO 2017とVOC 2007データセットを使用して、一般的なオブジェクト検索モデルのトレーニングと評価を容易にすることで、課題のベンチマークが作成される。 最後に、包括的アブレーション研究を行い、汎用オブジェクト検索の領域で直面する複雑さについて論じる。 オブジェクト検索評価は,BelgaLogos,Visual Genome,LVISなど,さまざまなデータセットにまたがる。 これらの総合評価は、オブジェクトレベルと画像レベルmAPをそれぞれ6.69%と10.03%改善した、教師なしMS-UGCMLアプローチの堅牢性を効果的に強調する。 コードはhttps://github.com/dengyuhai/MS-UGCMLで公開されている。

関連論文リスト

• Composed Object Retrieval: Object-level Retrieval via Composed Expressions [71.47650333199628]
  Composed Object Retrieval (COR)は、画像レベルの検索を超えてオブジェクトレベルの精度を達成するための新しいタスクである。 COR127KはCORの最初の大規模ベンチマークであり、408カテゴリの様々な意味変換を持つ127,166個の検索三重項を含む。 また、参照領域エンコーディング、適応型視覚・テキストインタラクション、および領域レベルのコントラスト学習を統合した統合エンドツーエンドモデルであるCOREを提案する。
  論文  参考訳（メタデータ） (2025-08-06T13:11:40Z)
• Are We Done with Object-Centric Learning? [65.67948794110212]
  オブジェクト中心学習(OCL)は、シーン内の他のオブジェクトやバックグラウンドキューから分離されたオブジェクトのみをエンコードする表現を学習しようとする。 最近のサンプル効率のセグメンテーションモデルでは、ピクセル空間内のオブジェクトを分離し、それらを独立に符号化することができる。 我々は,OCLのレンズを通した背景刺激によるOOD一般化の課題に対処する。
  論文  参考訳（メタデータ） (2025-04-09T17:59:05Z)
• Retrieval-Augmented Visual Question Answering via Built-in Autoregressive Search Engines [17.803396998387665]
  Retrieval-augmented Generation (RAG)は、知識集約型視覚質問応答(VQA)タスクに対処するために登場した。 本稿では,知識に基づくVQAタスクに対する従来のRAGモデルの代替としてReAuSEを提案する。 我々のモデルは生成型検索器と正確な回答生成器の両方として機能する。
  論文  参考訳（メタデータ） (2025-02-23T16:39:39Z)
• Combining Knowledge Graph and LLMs for Enhanced Zero-shot Visual Question Answering [20.16172308719101]
  ゼロショット視覚質問応答(ZS-VQA)は、トレーニングサンプルを提供することなく、視覚的な質問に答えることを目的としている。 ZS-VQAの既存の研究は、知識グラフや大規模言語モデル(LLM)を外部情報ソースとして活用することを提案した。 ゼロショット視覚質問応答のための知識グラフとLLMを組み合わせた新しい設計を提案する。
  論文  参考訳（メタデータ） (2025-01-22T08:14:11Z)
• Training-Free Open-Ended Object Detection and Segmentation via Attention as Prompts [14.631774737903015]
  既存の知覚モデルは大量のラベル付きデータから学習することで大きな成功を収めるが、それでもオープンワールドのシナリオに苦戦している。 我々は、オブジェクトカテゴリを入力として含まない未確認オブジェクトを検出する、オープンな対象検出(textiti.e.)を提案する。 提案手法は,オブジェクト検出タスクにおける従来のオープンエンドメソッドを超越し,追加のインスタンスセグメンテーションマスクを提供できることを示す。
  論文  参考訳（メタデータ） (2024-10-08T12:15:08Z)
• FineCops-Ref: A new Dataset and Task for Fine-Grained Compositional Referring Expression Comprehension [10.482908189805872]
  Referring Expression (REC) は言語理解能力、画像理解能力、言語と画像の接地能力を客観的に評価する重要なクロスモーダルタスクである。 我々は2つの重要な特徴を特徴とする新しいRECデータセットを構築した。 これには、既存のデータに基づいて微細な編集と生成によって作成された否定的なテキストと画像が含まれる。
  論文  参考訳（メタデータ） (2024-09-23T06:56:51Z)
• EchoSight: Advancing Visual-Language Models with Wiki Knowledge [39.02148880719576]
  知識に基づく視覚質問応答のための新しいフレームワークであるEchoSightを紹介する。 ハイパフォーマンスな検索のために、EchoSightはまずビジュアルのみの情報を用いてwikiの記事を検索する。 The Encyclopedic VQA and InfoSeek datasets on our experimental results on the Encyclopedic VQA and InfoSeek shows that EchoSight establishs new-of-the-art results in knowledge-based VQA。
  論文  参考訳（メタデータ） (2024-07-17T16:55:42Z)
• SnapNTell: Enhancing Entity-Centric Visual Question Answering with Retrieval Augmented Multimodal LLM [48.15067480282839]
  本研究は、エンティティ中心のVQAに特化して開発された、textbfSnapNTellという新しい評価ベンチマークを導入する。 データセットは22の主要なカテゴリに分けられ、合計で7,568のユニークなエンティティが含まれている。 提案手法はSnapNTellデータセットの既存手法を著しく上回り,BELURTスコアの66.5%向上を達成した。
  論文  参考訳（メタデータ） (2024-03-07T18:38:17Z)
• Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
  ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。 画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。 オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
  論文  参考訳（メタデータ） (2023-07-07T04:03:48Z)
• AVIS: Autonomous Visual Information Seeking with Large Language Model Agent [123.75169211547149]
  本稿では,視覚的質問応答フレームワークAVISを提案する。 本手法は,LLM(Large Language Model)を利用して外部ツールの利用を動的に強化する。 AVIS は Infoseek や OK-VQA などの知識集約型視覚質問応答ベンチマークの最先端結果を達成する。
  論文  参考訳（メタデータ） (2023-06-13T20:50:22Z)
• End-to-end Knowledge Retrieval with Multi-modal Queries [50.01264794081951]
  ReMuQは、テキストと画像のクエリからコンテンツを統合することで、大規模なコーパスから知識を取得するシステムを必要とする。 本稿では,入力テキストや画像を直接処理し,関連する知識をエンドツーエンドで検索する検索モデルReViz'を提案する。 ゼロショット設定下での2つのデータセットの検索において,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-01T08:04:12Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• Fusing Local Similarities for Retrieval-based 3D Orientation Estimation of Unseen Objects [70.49392581592089]
  我々は,モノクロ画像から未確認物体の3次元配向を推定する作業に取り組む。 我々は検索ベースの戦略に従い、ネットワークがオブジェクト固有の特徴を学習するのを防ぐ。 また,LineMOD,LineMOD-Occluded,T-LESSのデータセットを用いた実験により,本手法が従来の手法よりもはるかに優れた一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-03-16T08:53:00Z)
• Learning Open-World Object Proposals without Learning to Classify [110.30191531975804]
  本研究では,各領域の位置と形状がどの接地トラストオブジェクトとどのように重なり合うかによって,各領域の目的性を純粋に推定する,分類不要なオブジェクトローカライゼーションネットワークを提案する。 この単純な戦略は一般化可能な対象性を学び、クロスカテゴリの一般化に関する既存の提案より優れている。
  論文  参考訳（メタデータ） (2021-08-15T14:36:02Z)
• Found a Reason for me? Weakly-supervised Grounded Visual Question Answering using Capsules [85.98177341704675]
  近年,VQAタスクの接地に関する問題が研究コミュニティで注目されている。 カプセル特徴のクエリーに基づく選択機構を備えたビジュアルカプセルモジュールを提案する。 提案するカプセルモジュールを既存のVQAシステムに統合することで,弱教師付き接地作業における性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-05-11T07:45:32Z)
• Salient Objects in Clutter [130.63976772770368]
  本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。 この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。 我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
  論文  参考訳（メタデータ） (2021-05-07T03:49:26Z)
• Unsupervised Discovery of the Long-Tail in Instance Segmentation Using Hierarchical Self-Supervision [3.841232411073827]
  本稿では,インスタンスセグメンテーションにおける長尾カテゴリの非監視的発見を行う手法を提案する。 我々のモデルは、一般的なカテゴリよりも新しくよりきめ細かなオブジェクトを発見できる。 本モデルでは,LVISにおいて,教師付きおよび部分教師付き手法と比較して,競争力のある定量的結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-04-02T22:05:03Z)
• The IKEA ASM Dataset: Understanding People Assembling Furniture through Actions, Objects and Pose [108.21037046507483]
  IKEA ASMは300万フレーム、マルチビュー、家具組み立てビデオデータセットで、深さ、原子活動、オブジェクトセグメンテーション、人間のポーズを含む。 我々は,この課題のあるデータセット上で,映像行動認識,オブジェクトセグメンテーション,人間のポーズ推定タスクの顕著な手法をベンチマークする。 このデータセットは、マルチモーダルデータとマルチビューデータを統合してこれらのタスクをよりよく実行する、全体論的手法の開発を可能にする。
  論文  参考訳（メタデータ） (2020-07-01T11:34:46Z)
• Novel Human-Object Interaction Detection via Adversarial Domain Generalization [103.55143362926388]
  本研究では,新たな人-物間相互作用(HOI)検出の問題点を考察し,モデルの一般化能力を向上させることを目的とした。 この課題は、主に対象と述語の大きな構成空間に起因し、全ての対象と述語の組み合わせに対する十分な訓練データが欠如している。 本稿では,予測のためのオブジェクト指向不変の特徴を学習するために,対数領域の一般化の統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-05-22T22:02:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。