Fugu-MT 論文翻訳(概要): The Matryoshka Hypencoder

論文の概要: The Matryoshka Hypencoder

arxiv url: http://arxiv.org/abs/2607.17457v1
Date: Mon, 20 Jul 2026 01:10:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-21 18:48:37.472195
Title: The Matryoshka Hypencoder
Title（参考訳）: マトリオシカハイペンコーダ
Abstract要約: Hypencoderはクエリを浅いニューラルネットワークとしてエンコードする("Q-Nets") 我々は,複数サイズのQ-NetをサポートするためにHypencoderを拡張することができることを示す。この"Matryoshka Hypencoder"はドメイン内の約7倍のアクティブパラメータで、ドメイン内の同等の有効性を実現する。
参考スコア（独自算出の注目度）: 18.931250709121432
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The Hypencoder is a recently-proposed retrieval approach that encodes queries as shallow neural networks ("Q-Nets") that estimate relevance over pre-computed document embeddings. Inspired by Matryoshka Representation Learning, we show that the Hypencoder can be extended to support multiple sizes of Q-Nets, allowing trade-offs between effectiveness and efficiency when deployed. We find that this "Matryoshka Hypencoder" achieves comparable in-domain effectiveness with approximately 7x fewer active parameters in-domain and half as many active parameters out-of-domain, which corresponds to a 1.6-3.4x increase in scoring throughput. This work paves the way for practical deployment of Hypencoders.
Abstract（参考訳）: Hypencoderは、クエリを浅いニューラルネットワーク("Q-Nets")としてエンコードする、最近提案された検索手法である。 Matryoshka Representation LearningにインスパイアされたHypencoderは、複数サイズのQ-Netをサポートするために拡張可能であることを示し、デプロイ時の効率性と効率のトレードオフを可能にする。この"Matryoshka Hypencoder"はドメイン内のアクティブパラメータを約7倍少なくし、ドメイン外のアクティブパラメータを半分にすることで、スコアリングスループットの1.6～3.4倍に向上する。この作業は、Hypencodersの実践的なデプロイの道を開くものだ。

関連論文リスト

Hypencoder Revisited: Reproducibility and Analysis of Non-Linear Scoring for First-Stage Retrieval [12.49873774352119]
Hypencoderは、標準的なバイエンコーダで使用される固定内積スコアリング機能を、クエリ固有のニューラルネットワークに置き換える検索フレームワークである。我々は、ハイペンコーダの研究を行い、元の解析を3方向に拡張する。
論文参考訳（メタデータ） (2026-04-29T17:05:53Z)
Hypencoder: Hypernetworks for Information Retrieval [20.173669986209024]
私たちは、学習されたクエリ固有の関連関数として機能する小さなニューラルネットワークを使用します。我々は,60ミリ秒未満で8.8M文書のコーパスからモデルを検索可能であることを示す。
論文参考訳（メタデータ） (2025-02-07T22:31:38Z)
Triple-Encoders: Representations That Fire Together, Wire Together [51.15206713482718]
コントラスト学習(Contrastive Learning)は、バイエンコーダを介して発話間の相対距離を埋め込み空間に符号化する表現学習法である。本研究では,これら独立に符号化された発話から分散発話混合物を効率よく計算する三重エンコーダを提案する。トリプルエンコーダはバイエンコーダよりも大幅に改善され、シングルベクトル表現モデルよりもゼロショットの一般化が向上することがわかった。
論文参考訳（メタデータ） (2024-02-19T18:06:02Z)
Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
論文参考訳（メタデータ） (2023-03-31T15:44:13Z)
In Defense of Cross-Encoders for Zero-Shot Retrieval [4.712097135437801]
バイエンコーダとクロスエンコーダは、多くの最先端のパイプラインで広く使われている。クロスエンコーダのパラメータ数と初期クエリ文書間相互作用は,検索モデルの一般化能力において重要な役割を担っている。
論文参考訳（メタデータ） (2022-12-12T18:50:03Z)
ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference [70.36083572306839]
本稿では,再ランク付けのための新しいトレーニングおよび推論パラダイムを提案する。文書形式を用いて事前訓練したエンコーダ・デコーダモデルを精査し,クエリ生成を行う。このエンコーダ-デコーダアーキテクチャは,推論中にデコーダのみの言語モデルに分解可能であることを示す。
論文参考訳（メタデータ） (2022-04-25T06:26:29Z)
Dynamic Neural Representational Decoders for High-Resolution Semantic Segmentation [98.05643473345474]
動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
論文参考訳（メタデータ） (2021-07-30T04:50:56Z)
HyperSeg: Patch-wise Hypernetwork for Real-time Semantic Segmentation [95.47168925127089]
本稿では,エンコーダがデコーダのパラメータ(重み)をエンコードして生成する,新しいリアルタイムセマンティックセグメンテーションネットワークを提案する。我々は、より高レベルなコンテキスト特徴を描画するためのネストされたU-Netからなる新しいタイプのハイパーネットワークを設計する。
論文参考訳（メタデータ） (2020-12-21T18:58:18Z)
Augmented SBERT: Data Augmentation Method for Improving Bi-Encoders for Pairwise Sentence Scoring Tasks [59.13635174016506]
本稿では,Augmented SBERTと呼ばれる単純なデータ拡張戦略を提案する。クロスエンコーダを用いて、より大きな入力ペアのセットをラベル付けし、バイエンコーダのトレーニングデータを増強する。このプロセスでは,文ペアの選択は非自明であり,提案手法の成功には不可欠であることを示す。
論文参考訳（メタデータ） (2020-10-16T08:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。