論文の概要: Multivariate Representation Learning for Information Retrieval

• arxiv url: http://arxiv.org/abs/2304.14522v1
• Date: Thu, 27 Apr 2023 20:30:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-01 15:44:42.617529
• Title: Multivariate Representation Learning for Information Retrieval
• Title（参考訳）: 情報検索のための多変量表現学習
• Authors: Hamed Zamani and Michael Bendersky
• Abstract要約: 本稿では,高密度検索のための新しい表現学習フレームワークを提案する。 クエリやドキュメント毎にベクトルを学習する代わりに、我々のフレームワークは多変量分布を学習する。 近似した近似近似アルゴリズムにシームレスに統合できることが示される。
• 参考スコア（独自算出の注目度）: 31.31440742912932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dense retrieval models use bi-encoder network architectures for learning query and document representations. These representations are often in the form of a vector representation and their similarities are often computed using the dot product function. In this paper, we propose a new representation learning framework for dense retrieval. Instead of learning a vector for each query and document, our framework learns a multivariate distribution and uses negative multivariate KL divergence to compute the similarity between distributions. For simplicity and efficiency reasons, we assume that the distributions are multivariate normals and then train large language models to produce mean and variance vectors for these distributions. We provide a theoretical foundation for the proposed framework and show that it can be seamlessly integrated into the existing approximate nearest neighbor algorithms to perform retrieval efficiently. We conduct an extensive suite of experiments on a wide range of datasets, and demonstrate significant improvements compared to competitive dense retrieval models.
• Abstract（参考訳）: デンス検索モデルは、クエリと文書表現の学習にバイエンコーダネットワークアーキテクチャを使用する。 これらの表現はしばしばベクトル表現の形で計算され、それらの類似性はドット積関数を用いて計算される。 本稿では,高密度検索のための新しい表現学習フレームワークを提案する。 各クエリとドキュメントのベクトルを学習する代わりに、我々のフレームワークは多変量分布を学習し、負の多変量KL分散を用いて分布間の類似性を計算する。 単純さと効率性の理由から、分布は多変量正規分布であると仮定し、その分布に対して平均および分散ベクトルを生成するために大きな言語モデルを訓練する。 本稿では,提案フレームワークの理論的基盤を提供し,既存の近接近似アルゴリズムにシームレスに統合して効率よく検索できることを示す。 我々は、幅広いデータセットで広範な実験を行い、競合する高密度検索モデルと比較して大幅に改善した。

関連論文リスト

• Binary Code Similarity Detection via Graph Contrastive Learning on Intermediate Representations [52.34030226129628]
  バイナリコード類似度検出(BCSD)は、脆弱性検出、マルウェア分析、コードの再利用識別など、多くの分野で重要な役割を果たしている。 本稿では,LLVM-IRと高レベルのセマンティック抽象化を利用して,コンパイル差を緩和するIRBinDiffを提案する。 IRBinDiffは1対1の比較と1対多の検索シナリオにおいて,他の主要なBCSD手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-24T09:09:20Z)
• Hierarchical Visual Categories Modeling: A Joint Representation Learning and Density Estimation Framework for Out-of-Distribution Detection [28.442470704073767]
  本稿では,分布外データと分布内データとを分離する階層型視覚カテゴリーモデリング手法を提案する。 我々は、CIFAR、iNaturalist、SUN、Places、Textures、ImageNet-O、OpenImage-Oを含む7つの人気のあるベンチマーク実験を行った。 我々の視覚表現は古典的手法で学習した特徴と比較して競争力がある。
  論文  参考訳（メタデータ） (2024-08-28T07:05:46Z)
• RGM: A Robust Generalizable Matching Model [49.60975442871967]
  RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。 合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。 さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
  論文  参考訳（メタデータ） (2023-10-18T07:30:08Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Convolutional autoencoder-based multimodal one-class classification [80.52334952912808]
  1クラス分類は、単一のクラスからのデータを用いた学習のアプローチを指す。 マルチモーダルデータに適した深層学習一クラス分類法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T12:31:18Z)
• An Upper Bound for the Distribution Overlap Index and Its Applications [18.481370450591317]
  本稿では,2つの確率分布間の重なり関数に対する計算容易な上限を提案する。 提案した境界は、一級分類と領域シフト解析においてその値を示す。 私たちの研究は、重複ベースのメトリクスの応用を拡大する大きな可能性を示しています。
  論文  参考訳（メタデータ） (2022-12-16T20:02:03Z)
• Invariant Causal Mechanisms through Distribution Matching [86.07327840293894]
  本研究では、因果的視点と不変表現を学習するための新しいアルゴリズムを提供する。 実験により,このアルゴリズムは様々なタスク群でうまく動作し,特にドメインの一般化における最先端のパフォーマンスを観察する。
  論文  参考訳（メタデータ） (2022-06-23T12:06:54Z)
• Multimodal Adversarially Learned Inference with Factorized Discriminators [10.818838437018682]
  本稿では,生成逆ネットワークに基づくマルチモーダルデータの生成モデリングのための新しい手法を提案する。 コヒーレントなマルチモーダル生成モデルを学習するためには、異なるエンコーダ分布とジョイントデコーダ分布を同時に整合させることが必要であることを示す。 判別器を分解することで、対照的な学習を生かし、単調なデータに基づいてモデルを訓練する。
  論文  参考訳（メタデータ） (2021-12-20T08:18:49Z)
• Multivariate Data Explanation by Jumping Emerging Patterns Visualization [78.6363825307044]
  多変量データセットにおけるパターンの識別と視覚的解釈を支援するVAX(multiVariate dAta eXplanation)を提案する。 既存の類似のアプローチとは異なり、VAXはJumping Emerging Patternsという概念を使って、複数の多様化したパターンを特定し、集約し、データ変数のロジックの組み合わせを通して説明を生成する。
  論文  参考訳（メタデータ） (2021-06-21T13:49:44Z)
• pRSL: Interpretable Multi-label Stacking by Learning Probabilistic Rules [0.0]
  本稿では,確率論的命題論理則と信念伝播を用いた確率論的ルールスタックリング(pRSL)を提案し,その基礎となる分類器の予測と組み合わせる。 精度と近似推論と学習のためのアルゴリズムを導出し、様々なベンチマークデータセット上でpRSLが最先端の性能に達することを示す。
  論文  参考訳（メタデータ） (2021-05-28T14:06:21Z)
• Orthogonal Multi-view Analysis by Successive Approximations via Eigenvectors [7.870955752916424]
  このフレームワークは、複数のビューに相関関係、教師付き識別能力、距離保存を統合する。 特殊ケースとして既存のモデルがいくつか含まれているだけでなく、新しいモデルにもインスピレーションを与えている。 多視点識別分析と多視点多ラベル分類のための実世界のデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2020-10-04T17:16:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。