論文の概要: UIBK-Embedding: Effective Text Retrieval by Unifying Dense and Late-Interaction Retrieval

• arxiv url: http://arxiv.org/abs/2610.27195v1
• Date: Mon, 19 Oct 2026 19:30:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.481243
• Title: UIBK-Embedding: Effective Text Retrieval by Unifying Dense and Late-Interaction Retrieval
• Title（参考訳）: UIBK-Embedding:DenseとLat-Interaction Retrievalの統合による効果的なテキスト検索
• Abstract要約: UIBK-Embedding-v1は、両方の表現を1つのパスで生成し、1つの修正されていないMaxSimでスコアする。 デンス埋め込みは3つの余分なベクトルとしてトークンベクトルのリストに書き込まれる。 1次元タグは2種類のベクトルが互いに一致しないようにするため、平らなMaxSimはトークンレベルMaxSimと重み付き高密度コサインに等しい。
• 参考スコア（独自算出の注目度）: 22.82938587928396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dense bi-encoders and late-interaction retrievers are usually treated as alternatives, yet they fail on different queries: one vector captures what a text is about, token-level matching finds its exact entities and phrases. Using both today means two models, two indexes and a score-fusion step. We present UIBK-Embedding-v1, a 179M-parameter English encoder that produces both representations in one pass and scores them with one unmodified MaxSim. The dense embedding is written into the list of token vectors as three extra vectors, and a one-dimensional tag keeps the two kinds of vectors from matching each other, so that plain MaxSim equals the token-level MaxSim plus a weighted dense cosine. The model therefore runs in a standard late-interaction index without changes; we test it with PLAID. A shared 18-layer trunk with a separate 4-layer top per head, and a cross-encoder distilled into the fused score, turn the two heads into one retriever. On BEIR, UIBK-Embedding-v1 reaches 59.79 nDCG@10. This is 2.57 points above LateOn, the strongest model of its size, and 2.10 points above it when both models read documents of the same length; UIBK-Embedding-v1 is ahead on all 15 datasets. On a decontaminated version of BEIR it stays ahead on average (61.55 against 60.36) and on 8 of 12 datasets. Among the 156 models with complete BEIR results in the MTEB results repository, only models with at least 1.5B parameters score higher. Code, model weights, and a technical blog post are available at https://github.com/DataScienceUIBK/uibk-embedding , https://huggingface.co/DataScience-UIBK/uibk-embedding-v1 , and https://huggingface.co/blog/abdoelsayed/uibk-embedding-v1 .
• Abstract（参考訳）: 複雑なバイエンコーダとレイトアクションレトリバーは通常、代替として扱われるが、異なるクエリでフェールする: 1つのベクトルはテキストが何をしているかをキャプチャし、トークンレベルのマッチングはその正確なエンティティとフレーズを見つける。 今日の両方を使うということは、2つのモデル、2つのインデックス、1つのスコア融合ステップを意味する。 提案するUIBK-Embedding-v1は、179Mパラメータの英語エンコーダで、両方の表現を1パスで生成し、1つの修正されていないMaxSimでスコア付けする。 密埋め込みは3つの余分なベクトルとしてトークンベクトルのリストに書き込まれ、1次元のタグは2種類のベクトルが互いに一致しないよう保たれるので、平易なマックスシムはトークンレベルのマックスシムと重み付き密度コサインに等しい。 したがって、モデルは変更なしに標準の遅延反応指数で動作し、PLAIDでテストする。 別個の4層トップを持つ共有の18層トランクと、融合したスコアに蒸留したクロスエンコーダにより、2つのヘッドを1つのレトリバーに変える。 BEIRでは、UIBK-Embedding-v1が59.79 nDCG@10に達する。 これはLateOnより2.57ポイント高く、両方のモデルが同じ長さのドキュメントを読み込む場合2.10ポイント、UIBK-Embedding-v1が15のデータセットの上位である。 BEIRの非汚染バージョンでは、平均で61.55対60.36)、12のデータセットのうち8つに留まる。 完全なBEIRを持つ156モデルのうち、MTEB結果レポジトリは、少なくとも1.5Bパラメータを持つモデルのみがスコアが高い。 コード、モデルウェイト、および技術的なブログ記事はhttps://github.com/DataScienceUIBK/uibk-embedding , https://huggingface.co/DataScience-UIBK/uibk-embedding-v1 , https://huggingface.co/blog/abdoelsayed/uibk-embedding-v1 で入手できる。

関連論文リスト

• OBLIQ-IR: Training a Dense Retriever for Oblique Queries [21.24115784579366]
  OBLIQ-IRは、メカニズムごとの合成クエリと新しい形式のクロスモデル監視を組み合わせた、シングルベクターの高密度検索器である。 3Bレトリバーの微調整は、書き込みスタイルで0.211 NDCG@10、Mathで0.171、Twitterで0.177、議会で0.281に達する。
  論文  参考訳（メタデータ） (2026-09-21T17:57:24Z)
• Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models [67.72077328700088]
  本稿では,2次元の異なるデコーダのみの高密度変圧器モデルについて検討した。 Token-1B モデルは低FLOP 方式ではバイトモデル (End-Of-Token-1B と Bytes-1B) より優れていたが、最終的には高原となる。 100Kトークンの順序ではなく256バイトの小さな語彙で操作することで、ログダンピング時にトップクランケーションの必要性を回避することができる。
  論文  参考訳（メタデータ） (2026-09-11T00:17:22Z)
• FLASH-MAXSIM: IO-Aware Fused Kernels for Late-Interaction Scoring [2.159285655678094]
  Flash-MaxSimは、テンソルを作らずに全く同じスコアを計算するIO対応カーネルである。 一致した精度ではPyTorchよりもA100では最大3.9倍高速で、推論メモリは最大16倍、トレーニングメモリは28倍高速である。
  論文  参考訳（メタデータ） (2026-05-28T07:38:27Z)
• DMax: Aggressive Parallel Decoding for dLLMs [77.24184219948337]
  効率的な拡散言語モデル(dLLM)のための新しいパラダイムであるDMaxを提案する。 並列デコードにおけるエラーの蓄積を軽減し、生成品質を維持しながらアグレッシブデコードを可能にする。 当社のアプローチの核心は、マスクと均一なdLLMを効率的に統合する新しいトレーニング戦略であるOn-Policy Uniform Trainingである。
  論文  参考訳（メタデータ） (2026-04-09T14:35:42Z)
• Towards Sequence Modeling Alignment between Tokenizer and Autoregressive Model [69.79418000132995]
  AliTokはトークンシーケンスの依存性構造を変更する新しいアラインド・トークンライザである。 AliTokは177Mパラメータしか持たない標準的なデコーダのみの自己回帰モデルで、ImageNet-256ベンチマークで1.44のgFIDと319.5のISを達成している。
  論文  参考訳（メタデータ） (2025-06-05T17:45:10Z)
• Learning Multiplex Representations on Text-Attributed Graphs with One Language Model Encoder [55.24276913049635]
  テキスト分散グラフ上での多重表現学習のための新しいフレームワークMETAGを提案する。 既存の手法とは対照的に、MeTAGは1つのテキストエンコーダを使用して関係性間の共有知識をモデル化する。 学術分野と電子商取引分野の5つのグラフにおいて,9つの下流タスクについて実験を行った。
  論文  参考訳（メタデータ） (2023-10-10T14:59:22Z)
• AWTE-BERT:Attending to Wordpiece Tokenization Explicitly on BERT for Joint Intent Classification and SlotFilling [5.684659127683238]
  BERT (Bidirectional Representations from Transformers) は2つのタスクを共同で最適化する。 本稿では,ワードピーストークン化後の複数のサブトークン特徴を明示的にモデル化したBERTに基づく新しいジョイントモデルを提案する。 実験により,本モデルが意図分類精度,スロットフィリングF1,文レベルの意味的フレーム精度を大幅に向上することを確認した。
  論文  参考訳（メタデータ） (2022-11-27T13:49:19Z)
• CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for Efficient and Effective Multi-Vector Retrieval [72.90850213615427]
  マルチベクター検索法はスパース(例えばBM25)と高密度(例えばDPR)レトリバーの利点を組み合わせたものである。 これらの手法は桁違いに遅く、単ベクトルの手法に比べてインデックスを格納するのにはるかに多くのスペースを必要とする。 動的語彙ルーティング(CITADEL)による条件付きトークンの相互作用を,効率的かつ効率的なマルチベクタ検索のために提案する。
  論文  参考訳（メタデータ） (2022-11-18T18:27:35Z)
• Learning Tracking Representations via Dual-Branch Fully Transformer Networks [82.21771581817937]
  追従のためのトランスフォーマーのみをベースとした,シームズ型デュアルブランチネットワークを提案する。 注目ウィンドウ内の他のパッチとのマッチング結果に基づいて,各パッチの特徴ベクトルを抽出する。 この手法は、最高の性能の方法として、より良い結果または同等の結果を得る。
  論文  参考訳（メタデータ） (2021-12-05T13:44:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。