論文の概要: Hypencoder: Hypernetworks for Information Retrieval

• arxiv url: http://arxiv.org/abs/2502.05364v1
• Date: Fri, 07 Feb 2025 22:31:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:33:10.795069
• Title: Hypencoder: Hypernetworks for Information Retrieval
• Title（参考訳）: Hypencoder: 情報検索のためのハイパーネットワーク
• Authors: Julian Killingback, Hansi Zeng, Hamed Zamani,
• Abstract要約: 我々は,学習関連関数として機能する小さなニューラルネットワークを生成するクエリを表現するベクトルを生成する代わりに,新しいパラダイムを提案する。 小さなニューラルネットワークを生成するには、クエリエンコーダとして、あるいはHypencoderと呼ぶものとして、他のネットワークの重みを生成するネットワークであるハイパーネットワークを使用します。
• 参考スコア（独自算出の注目度）: 20.173669986209024
• License:
• Abstract: The vast majority of retrieval models depend on vector inner products to produce a relevance score between a query and a document. This naturally limits the expressiveness of the relevance score that can be employed. We propose a new paradigm, instead of producing a vector to represent the query we produce a small neural network which acts as a learned relevance function. This small neural network takes in a representation of the document, in this paper we use a single vector, and produces a scalar relevance score. To produce the little neural network we use a hypernetwork, a network that produce the weights of other networks, as our query encoder or as we call it a Hypencoder. Experiments on in-domain search tasks show that Hypencoder is able to significantly outperform strong dense retrieval models and has higher metrics then reranking models and models an order of magnitude larger. Hypencoder is also shown to generalize well to out-of-domain search tasks. To assess the extent of Hypencoder's capabilities, we evaluate on a set of hard retrieval tasks including tip-of-the-tongue retrieval and instruction-following retrieval tasks and find that the performance gap widens substantially compared to standard retrieval tasks. Furthermore, to demonstrate the practicality of our method we implement an approximate search algorithm and show that our model is able to search 8.8M documents in under 60ms.
• Abstract（参考訳）: 検索モデルの大部分は、クエリとドキュメントの間の関連スコアを生成するために、ベクトル内積に依存している。 これにより、適用可能な関連スコアの表現性が自然に制限される。 我々は,学習関連関数として機能する小さなニューラルネットワークを生成するクエリを表現するベクトルを生成する代わりに,新しいパラダイムを提案する。 この小さなニューラルネットワークは文書を表現しており、この論文では単一のベクトルを使用し、スカラー関連スコアを生成する。 小さなニューラルネットワークを生成するには、クエリエンコーダとして、あるいはHypencoderと呼ぶものとして、他のネットワークの重みを生成するネットワークであるハイパーネットワークを使用します。 ドメイン内探索タスクの実験では、Hypencoderは強力な高密度検索モデルを大幅に上回り、より高いメトリクスを持ち、モデルとモデルを桁違いに大きく並べ替えることができる。 また、Hypencoderはドメイン外の検索タスクをうまく一般化する。 本研究では,Hypencoderの能力範囲を評価するために,一括検索や命令追従検索タスクを含む一連のハード検索タスクを評価し,通常の検索タスクと比較して性能ギャップが大幅に大きくなることを確認する。 さらに,本手法の実用性を示すために,近似探索アルゴリズムを実装し,60ms以下で8.8Mの文書を検索可能であることを示す。

関連論文リスト

• A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks [81.2624272756733]
  密集検索では、ディープエンコーダは入力とターゲットの両方に埋め込みを提供する。 我々は、古いキャッシュされたターゲット埋め込みを調整できる小さなパラメトリック補正ネットワークを訓練する。 私たちのアプローチは、トレーニング中にターゲット埋め込み更新が行われなくても、最先端の結果と一致します。
  論文  参考訳（メタデータ） (2024-09-03T13:29:13Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Tram: A Token-level Retrieval-augmented Mechanism for Source Code Summarization [76.57699934689468]
  ニューラルモデルの性能を高めるために,デコーダ側で詳細なTokenレベル検索強化機構(Tram)を提案する。 文脈的コードセマンティクスの取得におけるトークンレベルの検索の課題を克服するために,コードセマンティクスを個々の要約トークンに統合することを提案する。
  論文  参考訳（メタデータ） (2023-05-18T16:02:04Z)
• CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
  単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。 我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
  論文  参考訳（メタデータ） (2022-08-16T10:22:49Z)
• GROWN+UP: A Graph Representation Of a Webpage Network Utilizing Pre-training [0.2538209532048866]
  我々は、Webページ構造を取り込み、大量のラベル付きデータに基づいて事前訓練を行い、Webページ上の任意のタスクに効果的に微調整できる、非依存のディープグラフニューラルネットワーク特徴抽出器を導入する。 我々は,Webページボイラプレートの除去とジャンル分類という,非常に異なる2つのベンチマークで複数のデータセットを用いて,事前学習したモデルが最先端の結果を得ることを示す。
  論文  参考訳（メタデータ） (2022-08-03T13:37:27Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Gluing Neural Networks Symbolically Through Hyperdimensional Computing [8.209945970790741]
  ニューラルネットワークの出力信号の最終的な分類を符号化するためにバイナリハイパーベクタを用いるという概念について検討する。 これにより、複数のニューラルネットワークが協力して問題を解決することができ、オーバーヘッドは少なくなる。 これは、非常に少ないオーバーヘッドを使用しながら、芸術の状態を上回り、あるいはそれと同等であることがわかった。
  論文  参考訳（メタデータ） (2022-05-31T04:44:02Z)
• ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference [70.36083572306839]
  本稿では,再ランク付けのための新しいトレーニングおよび推論パラダイムを提案する。 文書形式を用いて事前訓練したエンコーダ・デコーダモデルを精査し,クエリ生成を行う。 このエンコーダ-デコーダアーキテクチャは,推論中にデコーダのみの言語モデルに分解可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:26:29Z)
• A Variational Graph Autoencoder for Manipulation Action Recognition and Prediction [1.1816942730023883]
  シンボルシーングラフから操作タスクの認識と予測を共同で学習するディープグラフオートエンコーダを提案する。 我々のネットワークは2つの分岐を持つ変分オートエンコーダ構造を持ち、1つは入力グラフタイプを識別し、もう1つは将来のグラフを予測する。 提案手法は,MANIACとMSRC-9の2つの異なるデータセット上で異なる最先端手法に対してベンチマークを行い,提案手法がより優れた性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-25T21:40:42Z)
• Learning Purified Feature Representations from Task-irrelevant Labels [18.967445416679624]
  本稿では,タスク関連ラベルから抽出したタスク関連機能を利用したPurifiedLearningという新しい学習フレームワークを提案する。 本研究は,PurifiedLearningの有効性を実証する,ソリッド理論解析と広範囲な実験に基づいている。
  論文  参考訳（メタデータ） (2021-02-22T12:50:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。