論文の概要: DS SERVE: A Framework for Efficient and Scalable Neural Retrieval
- arxiv url: http://arxiv.org/abs/2602.22224v1
- Date: Wed, 17 Dec 2025 00:43:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-02 07:21:25.689312
- Title: DS SERVE: A Framework for Efficient and Scalable Neural Retrieval
- Title(参考訳): DS SERVE: 効率的でスケーラブルなニューラル検索のためのフレームワーク
- Authors: Jinjian Liu, Yichuan Wang, Xinxi Lyu, Rulin Shao, Joseph E. Gonzalez, Matei Zaharia, Sewon Min,
- Abstract要約: 本稿では,5兆トークンからなる大規模テキストデータセットを高性能なニューラル検索システムに変換するDS-Serveを提案する。
DS-ServeはWebインターフェースとAPIエンドポイントの両方を提供する。
我々はDS-Serveが大規模検索強化世代(RAG)、データ属性のトレーニング、検索エージェントのトレーニングなど、幅広い応用に広く役立つことを期待する。
- 参考スコア(独自算出の注目度): 59.295343280892524
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present DS-Serve, a framework that transforms large-scale text datasets, comprising half a trillion tokens, into a high-performance neural retrieval system. DS-Serve offers both a web interface and API endpoints, achieving low latency with modest memory overhead on a single node. The framework also supports inference-time trade-offs between latency, accuracy, and result diversity. We anticipate that DS-Serve will be broadly useful for a range of applications, including large-scale retrieval-augmented generation (RAG), training data attribution, training search agents, and beyond.
- Abstract(参考訳): 本稿では,5兆トークンからなる大規模テキストデータセットを高性能なニューラル検索システムに変換するDS-Serveを提案する。
DS-ServeはWebインターフェースとAPIエンドポイントの両方を提供する。
このフレームワークは、レイテンシ、正確性、結果の多様性の間の推論時トレードオフもサポートする。
我々はDS-Serveが大規模検索強化世代(RAG)、データ属性のトレーニング、検索エージェントのトレーニングなど、幅広い応用に広く役立つことを期待する。
関連論文リスト
- A Co-Training Semi-Supervised Framework Using Faster R-CNN and YOLO Networks for Object Detection in Densely Packed Retail Images [1.0896567381206714]
本研究では,密集した小売環境におけるオブジェクト検出のための半教師付き協調学習フレームワークを提案する。
このフレームワークは、正確なローカライゼーションのためにFaster R-CNNと、グローバルコンテキストのためのYOLOを組み合わせたものだ。
XGBoost、Random Forest、SVMのアンサンブルを採用し、多様な特徴表現を高い堅牢性に活用している。
論文 参考訳(メタデータ) (2025-09-11T13:40:43Z) - fVDB: A Deep-Learning Framework for Sparse, Large-Scale, and High-Performance Spatial Intelligence [55.582429009401956]
fVDBは、大規模な3Dデータのディープラーニングのための新しいフレームワークである。
私たちのフレームワークは、既存のパイプラインとの相互運用性を可能にするPyTorchと完全に統合されています。
論文 参考訳(メタデータ) (2024-07-01T20:20:33Z) - ADASR: An Adversarial Auto-Augmentation Framework for Hyperspectral and
Multispectral Data Fusion [54.668445421149364]
HSI(Deep Learning-based Hyperspectral Image)は、HSI(Hyperspectral Image)とMSI(Multispectral Image)を深層ニューラルネットワーク(DNN)に融合させることにより、高空間分解能HSI(HR-HSI)を生成することを目的としている。
本稿では, HSI-MSI 融合のためのデータ多様性を向上するために, HSI-MSI サンプルペアの自動最適化と拡張を行う新しい逆自動データ拡張フレームワーク ADASR を提案する。
論文 参考訳(メタデータ) (2023-10-11T07:30:37Z) - OrcoDCS: An IoT-Edge Orchestrated Online Deep Compressed Sensing
Framework [31.95604675656826]
我々は,IoT-Edgeで編成されたオンライン深部圧縮センシングフレームワークOrcoDCSを提案する。
OrcoDCSは、異なるIoTデバイスグループとそのセンシングタスクに対して、高い柔軟性と適応性を提供する。
我々は、OrcoDCSが訓練時間において最先端のDCDAより優れていることを分析的かつ実証的に示す。
論文 参考訳(メタデータ) (2023-08-05T04:19:35Z) - HALSIE: Hybrid Approach to Learning Segmentation by Simultaneously
Exploiting Image and Event Modalities [6.543272301133159]
イベントカメラは、非同期イベントストリームを生成するためにピクセルごとの強度の変化を検出する。
リアルタイム自律システムにおいて、正確なセマンティックマップ検索のための大きな可能性を秘めている。
イベントセグメンテーションの既存の実装は、サブベースのパフォーマンスに悩まされている。
本研究では,ハイブリット・エンド・エンド・エンドの学習フレームワークHALSIEを提案する。
論文 参考訳(メタデータ) (2022-11-19T17:09:50Z) - Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。
既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。
本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
論文 参考訳(メタデータ) (2022-11-01T14:38:18Z) - Semi-supervised Network Embedding with Differentiable Deep Quantisation [81.49184987430333]
我々はネットワーク埋め込みのための微分可能な量子化法であるd-SNEQを開発した。
d-SNEQは、学習された量子化符号にリッチな高次情報を与えるためにランク損失を組み込む。
トレーニング済みの埋め込みのサイズを大幅に圧縮できるため、ストレージのフットプリントが減少し、検索速度が向上する。
論文 参考訳(メタデータ) (2021-08-20T11:53:05Z) - Multi-Exit Semantic Segmentation Networks [78.44441236864057]
本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。
パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。
接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
論文 参考訳(メタデータ) (2021-06-07T11:37:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。