論文の概要: Reranking with Compressed Document Representation

• arxiv url: http://arxiv.org/abs/2505.15394v1
• Date: Wed, 21 May 2025 11:35:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.533367
• Title: Reranking with Compressed Document Representation
• Title（参考訳）: 圧縮された文書表現によるリグレード
• Authors: Hervé Déjean, Stéphane Clinchant,
• Abstract要約: 文書を固定サイズの埋め込み表現に圧縮することで、入力サイズを小さくする。 次に、蒸留により圧縮された入力を使用するようにリランカーに教える。 この圧縮された入力を用いたトレーニングされたリランカーは、数十億のモデルに基づいているが、有効性と効率の両面でより小さなリランカーに挑戦することができる。
• 参考スコア（独自算出の注目度）: 7.894770087349908
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reranking, the process of refining the output of a first-stage retriever, is often considered computationally expensive, especially with Large Language Models. Borrowing from recent advances in document compression for RAG, we reduce the input size by compressing documents into fixed-size embedding representations. We then teach a reranker to use compressed inputs by distillation. Although based on a billion-size model, our trained reranker using this compressed input can challenge smaller rerankers in terms of both effectiveness and efficiency, especially for long documents. Given that text compressors are still in their early development stages, we view this approach as promising.
• Abstract（参考訳）: リグレードは、特に大規模言語モデルにおいて、第1段階のレトリバーの出力を精錬するプロセスである。 RAGにおける文書圧縮の最近の進歩から、文書を固定サイズの埋め込み表現に圧縮することで、入力サイズを小さくする。 次に、蒸留により圧縮された入力を使用するようにリランカーに教える。 この圧縮された入力を用いたトレーニングされた再ランカは、数十億のモデルに基づいているが、特に長いドキュメントにおいて、有効性と効率の両面で、より小さな再ランカに挑戦することができる。 テキスト圧縮機はまだ開発の初期段階にあるので、このアプローチは有望だと考えています。

関連論文リスト

• ACoRN: Noise-Robust Abstractive Compression in Retrieval-Augmented Language Models [26.585985828583304]
  抽象圧縮は、より小さなランガウジュモデルを用いてクエリ関連コンテキストを凝縮する。 検索された文書には、質問に答えることに関係のない情報や、事実の誤りによって誤解を招く情報が含まれていることが多い。 この挙動は、抽象圧縮機は正しい解答に必要な重要な情報を省略する傾向にあることを示している。
  論文  参考訳（メタデータ） (2025-04-17T06:05:35Z)
• Efficient Long Context Language Model Retrieval with Compression [57.09163579304332]
  情報検索のための新しいパラダイムとしてLong Context Language Models (LCLM)が登場した。 本稿では,LCLM検索に適した新しい圧縮手法を提案する。 また,CoLoRはテキスト内サイズを1.91倍に圧縮し,検索性能を6%向上することを示した。
  論文  参考訳（メタデータ） (2024-12-24T07:30:55Z)
• In-Context Former: Lightning-fast Compressing Context for Large Language Model [48.831304302467004]
  本稿では,Transformer-based large language model (LLM) の長期入力コンテキストを圧縮する手法を提案する。 我々は,単語の埋め込みから情報を集めるために,クロスアテンション機構と少数の学習可能なダイジェストトークンを使用する。 実験の結果, 圧縮時のベースライン浮動小数点演算の1/32しか必要とせず, 処理速度を68倍から112倍に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-19T15:14:55Z)
• What Operations can be Performed Directly on Compressed Arrays, and with What Error? [1.3307486544794784]
  我々は、圧縮されたデータに直接、数十のかなり基本的な操作を可能にする、損失のある圧縮機を開発した。 3つの非自明なアプリケーション上で評価し、内部表現のために異なる数系を選択する。
  論文  参考訳（メタデータ） (2024-06-17T05:01:09Z)
• Context Compression for Auto-regressive Transformers with Sentinel Tokens [37.07722536907739]
  本稿では,特定のトークンの中間活性化をコンパクトに段階的に圧縮できるプラグイン・アンド・プレイ方式を提案する。 ドメイン内言語モデリングとゼロショットオープンエンド文書生成の両方の実験は、我々のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2023-10-12T09:18:19Z)
• RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation [61.53695868960846]
  テキスト内統合に先立って,検索した文書をテキスト要約に圧縮する手法を提案する。 これにより、計算コストを削減できるだけでなく、長期検索された文書の関連情報を識別する上で、LMの負担を軽減できる。 本研究では,あるLMに対して訓練した圧縮機を言語モデリングタスク上で他のLMに転送し,検索した文書にほぼ忠実な要約を提供することを示す。
  論文  参考訳（メタデータ） (2023-10-06T17:55:36Z)
• Unrolled Compressed Blind-Deconvolution [77.88847247301682]
  sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。 そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-09-28T15:16:58Z)
• Implicit Neural Representations for Image Compression [103.78615661013623]
  Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。 量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。 我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
  論文  参考訳（メタデータ） (2021-12-08T13:02:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。