論文の概要: OSCAR: Online Soft Compression And Reranking

• arxiv url: http://arxiv.org/abs/2504.07109v1
• Date: Mon, 17 Mar 2025 15:10:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-13 07:22:45.241693
• Title: OSCAR: Online Soft Compression And Reranking
• Title（参考訳）: OSCAR:オンラインのソフト圧縮とリグレード
• Authors: Maxime Louis, Thibault Formal, Hervé Dejean, Stéphane Clinchant,
• Abstract要約: OSCARは、クエリ依存のオンラインソフト圧縮手法である。 検索した情報を推論時に圧縮し、ストレージのオーバーヘッドをなくし、より高い圧縮率を実現する。 1B から 24B のパラメータを含む LLM の精度を 2-5 倍に向上し,精度の低下を最小限に抑えながら,最先端性能を実証した。
• 参考スコア（独自算出の注目度）: 7.7738192642118715
• License:
• Abstract: Retrieval-Augmented Generation (RAG) enhances Large Language Models (LLMs) by integrating external knowledge, leading to improved accuracy and relevance. However, scaling RAG pipelines remains computationally expensive as retrieval sizes grow. To address this, we introduce OSCAR, a novel query-dependent online soft compression method that reduces computational overhead while preserving performance. Unlike traditional hard compression methods, which shorten retrieved texts, or soft compression approaches, which map documents to continuous embeddings offline, OSCAR dynamically compresses retrieved information at inference time, eliminating storage overhead and enabling higher compression rates. Additionally, we extend OSCAR to simultaneously perform reranking, further optimizing the efficiency of the RAG pipeline. Our experiments demonstrate state-of-the-art performance with a 2-5x speed-up in inference and minimal to no loss in accuracy for LLMs ranging from 1B to 24B parameters. The models are available at: https://huggingface.co/collections/naver/oscar-67d446a8e3a2551f57464295.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、外部知識を統合することにより、Large Language Models (LLM)を強化し、精度と妥当性を向上させる。 しかしながら、RAGパイプラインのスケーリングは、検索サイズが大きくなるにつれて計算コストが上昇する。 これを解決するために,新しいクエリ依存型オンラインソフト圧縮手法であるOSCARを導入し,性能を保ちながら計算オーバーヘッドを低減する。 検索したテキストを短縮する従来のハード圧縮手法や、文書を連続的な埋め込みにオフラインにマッピングするソフト圧縮アプローチとは異なり、OSCARは推論時に検索した情報を動的に圧縮し、ストレージのオーバーヘッドをなくし、より高い圧縮率を実現する。 さらに、OSCARを拡張して同時にリランクを行い、RAGパイプラインの効率をさらに最適化する。 実験では,2～5倍の高速化と1Bから24BパラメータのLPMの精度の低下を最小限に抑えながら,最先端性能を実証した。 モデルは以下の通り:https://huggingface.co/collections/naver/oscar-67d446a8e3a2551f57464295。

関連論文リスト

• Efficient Long Context Language Model Retrieval with Compression [57.09163579304332]
  情報検索のための新しいパラダイムとしてLong Context Language Models (LCLM)が登場した。 本稿では,LCLM検索に適した新しい圧縮手法を提案する。 また,CoLoRはテキスト内サイズを1.91倍に圧縮し,検索性能を6%向上することを示した。
  論文  参考訳（メタデータ） (2024-12-24T07:30:55Z)
• CALLIC: Content Adaptive Learning for Lossless Image Compression [64.47244912937204]
  CALLICは、学習したロスレス画像圧縮のための新しい最先端(SOTA)を設定する。 本稿では,畳み込みゲーティング操作を利用したコンテンツ認識型自己回帰自己保持機構を提案する。 エンコーディング中、低ランク行列を用いて深度の畳み込みを含む事前学習層を分解し、レート誘導プログレッシブファインタニング(RPFT)による画像検査にインクリメンタルウェイトを適応させる。 推定エントロピーにより下位順にソートされたパッチを徐々に増加させたRPFTファインチューン,学習過程の最適化,適応時間の短縮を実現した。
  論文  参考訳（メタデータ） (2024-12-23T10:41:18Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• LanguaShrink: Reducing Token Overhead with Psycholinguistics [8.123272461141815]
  LanguaShrinkは、大規模言語モデルの即時圧縮フレームワークである。 本質的な情報を保持しながら、即時長を短縮する。 既存のプロンプト圧縮手法と比較して、LanguaShrinkはエンドツーエンドのレイテンシを1.43倍改善している。
  論文  参考訳（メタデータ） (2024-09-01T22:09:20Z)
• Long Context Compression with Activation Beacon [22.054232261437186]
  Activation Beaconは、トランスフォーマーベースのLLM用のプラグインモジュールである。 長いコンテキストの効率的な、効率的、柔軟な圧縮をターゲットとしている。 推論時間の2倍の高速化と、KVキャッシュのメモリコストの8倍の削減を実現している。
  論文  参考訳（メタデータ） (2024-01-07T11:57:40Z)
• GraVAC: Adaptive Compression for Communication-Efficient Distributed DL Training [0.0]
  分散データ並列(DDP)トレーニングは、複数のデバイスがデータのサブセットをトレーニングし、アップデートを集約してグローバルに共有するモデルを生成することにより、アプリケーション全体のスループットを向上させる。 GraVACは、モデル進捗を評価し、圧縮に関連する情報損失を評価することで、トレーニング全体を通して圧縮係数を動的に調整するフレームワークである。 静的圧縮係数を使用するのとは対照的に、GraVACはResNet101、VGG16、LSTMのエンドツーエンドのトレーニング時間をそれぞれ4.32x、1.95x、6.67x削減する。
  論文  参考訳（メタデータ） (2023-05-20T14:25:17Z)
• Unrolled Compressed Blind-Deconvolution [77.88847247301682]
  sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。 そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-09-28T15:16:58Z)
• A Highly Effective Low-Rank Compression of Deep Neural Networks with Modified Beam-Search and Modified Stable Rank [3.0938904602244355]
  自動ランク選択にビームサーチを改良し,圧縮フレンドリーなトレーニングに安定度を改良した低ランク圧縮法を提案する。 BSRの精度と圧縮比トレードオフ曲線のパフォーマンスは、これまで知られていた低ランク圧縮法よりも優れていることが判明した。
  論文  参考訳（メタデータ） (2021-11-30T07:36:23Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• A Generic Network Compression Framework for Sequential Recommender Systems [71.81962915192022]
  シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。 CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。 大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
  論文  参考訳（メタデータ） (2020-04-21T08:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。