論文の概要: PyLate: Flexible Training and Retrieval for Late Interaction Models

• arxiv url: http://arxiv.org/abs/2508.03555v1
• Date: Tue, 05 Aug 2025 15:23:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:56.044785
• Title: PyLate: Flexible Training and Retrieval for Late Interaction Models
• Title（参考訳）: PyLate: 遅延インタラクションモデルのための柔軟なトレーニングと検索
• Authors: Antoine Chaffin, Raphaël Sourty,
• Abstract要約: マルチベクタアーキテクチャをサポートするために,Sentence Transformer上に構築されたライブラリであるPyLateを紹介した。 PyLateは、効率的なインデックスのようなマルチベクタ固有の機能を提供することで、遅延相互作用モデルの研究開発と実世界の応用を加速することを目指している。 PyLateはすでに、GTE-ModernColBERTやReason-ModernColBERTなど、最先端のモデルの開発を可能にしている。
• 参考スコア（独自算出の注目度）: 3.737581531719168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural ranking has become a cornerstone of modern information retrieval. While single vector search remains the dominant paradigm, it suffers from the shortcoming of compressing all the information into a single vector. This compression leads to notable performance degradation in out-of-domain, long-context, and reasoning-intensive retrieval tasks. Multi-vector approaches pioneered by ColBERT aim to address these limitations by preserving individual token embeddings and computing similarity via the MaxSim operator. This architecture has demonstrated superior empirical advantages, including enhanced out-of-domain generalization, long-context handling, and performance in complex retrieval scenarios. Despite these compelling empirical results and clear theoretical advantages, the practical adoption and public availability of late interaction models remain low compared to their single-vector counterparts, primarily due to a lack of accessible and modular tools for training and experimenting with such models. To bridge this gap, we introduce PyLate, a streamlined library built on top of Sentence Transformers to support multi-vector architectures natively, inheriting its efficient training, advanced logging, and automated model card generation while requiring minimal code changes to code templates users are already familiar with. By offering multi-vector-specific features such as efficient indexes, PyLate aims to accelerate research and real-world application of late interaction models, thereby unlocking their full potential in modern IR systems. Finally, PyLate has already enabled the development of state-of-the-art models, including GTE-ModernColBERT and Reason-ModernColBERT, demonstrating its practical utility for both research and production environments.
• Abstract（参考訳）: ニューラルランキングは現代の情報検索の基盤となっている。 単一のベクトル探索は依然として支配的なパラダイムであるが、全ての情報を単一のベクトルに圧縮する欠点に悩まされている。 この圧縮により、ドメイン外、長いコンテキスト、推論集約的な検索タスクのパフォーマンスが著しく低下する。 ColBERTの先駆的なマルチベクターアプローチは、個々のトークン埋め込みとMaxSim演算子による計算類似性を保存することで、これらの制限に対処することを目的としている。 このアーキテクチャは、ドメイン外一般化の強化、長いコンテキストハンドリング、複雑な検索シナリオのパフォーマンスなど、優れた経験的優位性を示している。 これらの魅力的な経験的結果と明確な理論的優位性にもかかわらず、後期相互作用モデルの実践的採用と公開性は、単一のベクトルモデルと比較して低いままである。 このギャップを埋めるために、私たちは、Sentence Transformer上に構築された合理化されたライブラリであるPyLateを紹介した。これは、マルチベクタアーキテクチャをネイティブにサポートし、その効率的なトレーニング、高度なロギング、自動モデルカード生成を継承し、ユーザが慣れ親しんだコードテンプレートに最小限のコード変更を必要とします。 PyLateは、効率的なインデックスなどのマルチベクター固有の機能を提供することで、遅延相互作用モデルの研究開発と実世界の応用を加速し、現代のIRシステムにおけるその潜在能力を最大限に活用することを目指している。 最後に、PyLateは、GTE-ModernColBERTやReason-ModernColBERTを含む最先端のモデルの開発をすでに可能にしており、研究環境と生産環境の両方に実用性を実証している。

関連論文リスト

• Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate [0.0]
  本稿では,非学習可能で決定論的な入力埋め込みの基礎の上に構築された,モデル開発のための代替的,建設的なアプローチについて検討する。 異なるデータセットでトレーニングされたスペシャリストモデルは、単一のより有能なMixture-of-Expertsモデルにマージ可能であることを示す。 そこで我々は,深層トランスフォーマーを段階的に積み重ねて,一度に1つのレイヤをトレーニングすることで,階層的に構築的なトレーニング手法を導入する。
  論文  参考訳（メタデータ） (2025-07-08T20:01:15Z)
• SWE-Bench-CL: Continual Learning for Coding Agents [0.0]
  SWE-Bench-CLは、人間検証されたSWE-Bench検証データセット上に構築された、新しい連続学習ベンチマークである。 GitHubのイシューを、自然リポジトリの進化を反映した時系列順序に整理することで、SWE-Bench-CLは、エージェントのエクスペリエンスを蓄積する能力を直接評価できる。
  論文  参考訳（メタデータ） (2025-06-13T07:11:14Z)
• An Efficient and Mixed Heterogeneous Model for Image Restoration [71.85124734060665]
  現在の主流のアプローチは、CNN、Transformers、Mambasの3つのアーキテクチャパラダイムに基づいている。 混合構造融合に基づく効率的で汎用的なIRモデルであるRestorMixerを提案する。
  論文  参考訳（メタデータ） (2025-04-15T08:19:12Z)
• MoSE: Hierarchical Self-Distillation Enhances Early Layer Embeddings [2.1262605464247812]
  自己蒸留(Self-Distillation)は、様々なコード理解タスクにおける正確性のための推論コストの取引方法である。 我々のアーキテクチャは、特定のエンコーダ層を出口ヘッドとしてターゲットとして、テキスト・ツー・コード検索とコード・ツー・コード検索を改善している。 我々は、テキストからコードへのベンチマークを言語間のコード-コードペアで拡張するコード翻訳によって作成された新しいデータセットをリリースする。
  論文  参考訳（メタデータ） (2025-03-04T21:08:17Z)
• Adaptable Embeddings Network (AEN) [49.1574468325115]
  我々はカーネル密度推定(KDE)を用いた新しいデュアルエンコーダアーキテクチャであるAdaptable Embeddings Networks (AEN)を紹介する。 AENは、再トレーニングせずに分類基準のランタイム適応を可能にし、非自己回帰的である。 アーキテクチャのプリプロセスとキャッシュ条件の埋め込み能力は、エッジコンピューティングアプリケーションやリアルタイム監視システムに最適である。
  論文  参考訳（メタデータ） (2024-11-21T02:15:52Z)
• Data-Juicer Sandbox: A Feedback-Driven Suite for Multimodal Data-Model Co-development [67.55944651679864]
  統合データモデル共同開発に適した新しいサンドボックススイートを提案する。 このサンドボックスは、フィードバック駆動の実験プラットフォームを提供し、コスト効率とデータとモデルの両方のガイド付き洗練を可能にする。
  論文  参考訳（メタデータ） (2024-07-16T14:40:07Z)
• Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
  トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。 モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。 このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
  論文  参考訳（メタデータ） (2024-07-12T09:24:34Z)
• FlexModel: A Framework for Interpretability of Distributed Large Language Models [0.0]
  マルチGPUとマルチノード構成に分散したモデルを扱うための,合理化されたインターフェースを提供するソフトウェアパッケージであるFlexModelを紹介する。 このライブラリは既存のモデル配布ライブラリと互換性があり、PyTorchモデルをカプセル化している。 ユーザ登録可能なHookFunctionを公開して,分散モデル内部との直接的なインタラクションを容易にする。
  論文  参考訳（メタデータ） (2023-12-05T21:19:33Z)
• Training dynamic models using early exits for automatic speech recognition on resource-constrained devices [15.879328412777008]
  初期のアーキテクチャは、そのサイズとアーキテクチャを様々なレベルの計算リソースとASRパフォーマンス要求に適応できる動的モデルの開発を可能にする。 また,スクラッチからトレーニングした早期退避モデルは,エンコーダ層が少ない場合に性能を保ちつつ,単一退避モデルや事前学習モデルと比較してタスク精度が向上することを示した。 結果は、ASRモデルの早期アーキテクチャのトレーニングダイナミクスに関する洞察を与える。
  論文  参考訳（メタデータ） (2023-09-18T07:45:16Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• ColBERTv2: Effective and Efficient Retrieval via Lightweight Late Interaction [15.336103841957328]
  ColBERTv2は、攻撃的な残留圧縮機構と識別された監視戦略を結合するレトリバーである。 ColBERTv2をさまざまなベンチマークで評価し,トレーニング領域内外における最先端の品質を確立した。
  論文  参考訳（メタデータ） (2021-12-02T18:38:50Z)
• Sim-Env: Decoupling OpenAI Gym Environments from Simulation Models [0.0]
  強化学習(RL)は、AI研究の最も活発な分野の1つです。 開発方法論はまだ遅れており、RLアプリケーションの開発を促進するための標準APIが不足している。 多目的エージェントベースのモデルと派生した単一目的強化学習環境の分離開発と保守のためのワークフローとツールを提示する。
  論文  参考訳（メタデータ） (2021-02-19T09:25:21Z)
• Conditional Generative Modeling via Learning the Latent Space [54.620761775441046]
  マルチモーダル空間における条件生成のための新しい枠組みを提案する。 潜在変数を使って一般化可能な学習パターンをモデル化する。 推論では、潜伏変数は複数の出力モードに対応する最適解を見つけるために最適化される。
  論文  参考訳（メタデータ） (2020-10-07T03:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。