論文の概要: Uncertainty-based Cross-Modal Retrieval with Probabilistic Representations

• arxiv url: http://arxiv.org/abs/2204.09268v1
• Date: Wed, 20 Apr 2022 07:24:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-21 13:10:48.196118
• Title: Uncertainty-based Cross-Modal Retrieval with Probabilistic Representations
• Title（参考訳）: 不確実性に基づく確率表現を用いたクロスモーダル検索
• Authors: Leila Pishdad, Ran Zhang, Konstantinos G. Derpanis, Allan Jepson, Afsaneh Fazly
• Abstract要約: 確率的埋め込みは、画像マッチングにおけるあいまいさだけでなく、多文語の意味を捉えるのに有用であることが証明されている。 本稿では,既存の画像テキストマッチングモデルに標準ベクトル点埋め込みをパラメトリック学習した確率分布に置き換える簡単な手法を提案する。
• 参考スコア（独自算出の注目度）: 18.560958487332265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Probabilistic embeddings have proven useful for capturing polysemous word meanings, as well as ambiguity in image matching. In this paper, we study the advantages of probabilistic embeddings in a cross-modal setting (i.e., text and images), and propose a simple approach that replaces the standard vector point embeddings in extant image-text matching models with probabilistic distributions that are parametrically learned. Our guiding hypothesis is that the uncertainty encoded in the probabilistic embeddings captures the cross-modal ambiguity in the input instances, and that it is through capturing this uncertainty that the probabilistic models can perform better at downstream tasks, such as image-to-text or text-to-image retrieval. Through extensive experiments on standard and new benchmarks, we show a consistent advantage for probabilistic representations in cross-modal retrieval, and validate the ability of our embeddings to capture uncertainty.
• Abstract（参考訳）: 確率的埋め込みは、画像マッチングにおける曖昧さと同様に多義語の意味を捉えるのに有用であることが証明されている。 本稿では,確率的埋め込みのアドバンテージをクロスモーダルな設定(テキストと画像)で検討し,既存の画像-テキストマッチングモデルにおける標準ベクトル点埋め込みを,パラメトリックに学習される確率的分布に置き換える簡易な手法を提案する。 我々の指針となる仮説は、確率的埋め込みにエンコードされる不確実性が入力インスタンスのクロスモーダルな曖昧さを捉え、確率的モデルが画像対テキストやテキスト対画像検索のような下流タスクでよりうまく機能できるという不確かさを捉えることによって得られる、ということである。 標準および新しいベンチマークに関する広範な実験を通じて、クロスモーダル検索における確率的表現に対する一貫した優位性を示し、不確実性を捉えるための埋め込みの能力を検証する。

関連論文リスト

• FlowSDF: Flow Matching for Medical Image Segmentation Using Distance Transforms [60.195642571004804]
  署名された距離関数(SDF)を表す画像誘導型条件付きフローマッチングフレームワークであるFlowSDFを提案する。 SDFの条件分布の確率パスに直接関係するベクトル場を学習することにより、セグメント化マスクの分布から正確にサンプリングすることができる。
  論文  参考訳（メタデータ） (2024-05-28T11:47:12Z)
• Domain Generalization with Small Data [27.040070085669086]
  我々は,各データポイントを確率的埋め込みにマッピングすることで,確率的フレームワークに基づくドメイン不変表現を学習する。 提案手法は,分布上のテクスト分布の測定値(大域的視点アライメント)と分布に基づくコントラスト的セマンティックアライメント(コントラスト的セマンティックアライメント)を結合することができる。
  論文  参考訳（メタデータ） (2024-02-09T02:59:08Z)
• Boosting Semi-Supervised Semantic Segmentation with Probabilistic Representations [30.672426195148496]
  本稿では,表現質を向上させるための確率的表現コントラスト学習フレームワークを提案する。 確率論の新しい視点からピクセルワイズ表現を定義する。 また,表現の信頼性を高めるため,分散分散の正規化も提案する。
  論文  参考訳（メタデータ） (2022-10-26T12:47:29Z)
• Probabilistic Warp Consistency for Weakly-Supervised Semantic Correspondences [118.6018141306409]
  本稿では,セマンティックマッチングのための弱教師付き学習目標である確率ワープ一貫性を提案する。 まず、同じオブジェクトクラスの異なるインスタンスを表現したペアで、既知のワープを画像の1つに適用することで、画像トリプルを構築する。 我々の目的はまた、キーポイントアノテーションと組み合わせることで、強く監督された体制を大幅に改善する。
  論文  参考訳（メタデータ） (2022-03-08T18:55:11Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• PDC-Net+: Enhanced Probabilistic Dense Correspondence Network [161.76275845530964]
  高度確率密度対応ネットワーク(PDC-Net+)は、精度の高い高密度対応を推定できる。 我々は、堅牢で一般化可能な不確実性予測に適したアーキテクチャと強化されたトレーニング戦略を開発する。 提案手法は,複数の挑戦的幾何マッチングと光学的フローデータセットに対して,最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-09-28T17:56:41Z)
• Handling Epistemic and Aleatory Uncertainties in Probabilistic Circuits [18.740781076082044]
  確率的推論の大規模クラスを扱うアプローチの背後にある独立性の仮定を克服する手法を提案する。 ベイズ学習のアルゴリズムは、完全な観察にもかかわらず、スパースから提供します。 そのような回路の各リーフは、不確実な確率を表すエレガントなフレームワークを提供するベータ分散ランダム変数でラベル付けされています。
  論文  参考訳（メタデータ） (2021-02-22T10:03:15Z)
• Probabilistic Embeddings for Cross-Modal Retrieval [38.04859099157609]
  クロスモーダル検索法は、複数のモダリティからのサンプルの共通表現空間を構築する。 本稿では、決定論的関数はそのような一対多対応を捉えるのに十分ではないと主張する。 代わりに、確率的クロスモーダル埋め込み (PCME) を用いて、異なるモードからのサンプルを共通の埋め込み空間内の確率分布として表現する。
  論文  参考訳（メタデータ） (2021-01-13T13:58:00Z)
• Learning Accurate Dense Correspondences and When to Trust Them [161.76275845530964]
  2つの画像に関連する密度の高い流れ場と、堅牢な画素方向の信頼度マップの推定を目指しています。 フロー予測とその不確実性を共同で学習するフレキシブルな確率的アプローチを開発する。 本手法は,幾何学的マッチングと光フローデータセットに挑戦する最新の結果を得る。
  論文  参考訳（メタデータ） (2021-01-05T18:54:11Z)
• Uncertainty-Aware Few-Shot Image Classification [118.72423376789062]
  ラベル付き限られたデータから新しいカテゴリを認識できる画像分類はほとんどない。 画像分類のための不確実性を考慮したFew-Shotフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-09T12:26:27Z)
• Calibrated Adversarial Refinement for Stochastic Semantic Segmentation [5.849736173068868]
  本稿では,各予測に関連付けられた確率が,その根拠となる真偽の正しさを反映する,セマンティックマップ上の校正された予測分布を学習するための戦略を提案する。 マルチグレーダのLIDCデータセットと、注入曖昧さのあるCityscapesデータセットに対して、最先端の成果を達成し、アプローチの汎用性と堅牢性を実証する。 本研究は,おもちゃの回帰データセットを用いて実験することにより,校正された予測分布の学習を必要とする他のタスクにコア設計を適用することができることを示す。
  論文  参考訳（メタデータ） (2020-06-23T16:39:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。