論文の概要: ArcAligner: Adaptive Recursive Aligner for Compressed Context Embeddings in RAG

• arxiv url: http://arxiv.org/abs/2601.05038v1
• Date: Thu, 08 Jan 2026 15:44:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:53.260355
• Title: ArcAligner: Adaptive Recursive Aligner for Compressed Context Embeddings in RAG
• Title（参考訳）: ArcAligner: RAGにおける圧縮コンテキスト埋め込みのための適応的再帰アグリゲータ
• Authors: Jianbo Li, Yi Jiang, Sendong Zhao, Bairui Hu, Haochun Wang, Bing Qin,
• Abstract要約: ArcAlignerは、言語モデルレイヤに統合された軽量モジュールである。 適応的な''ゲーティング'システムを使用し、情報が複雑である場合にのみ追加の処理能力を追加する。
• 参考スコア（独自算出の注目度）: 46.14646374046088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) helps LLMs stay accurate, but feeding long documents into a prompt makes the model slow and expensive. This has motivated context compression, ranging from token pruning and summarization to embedding-based compression. While researchers have tried ''compressing'' these documents into smaller summaries or mathematical embeddings, there is a catch: the more you compress the data, the more the LLM struggles to understand it. To address this challenge, we propose ArcAligner (Adaptive recursive context *Aligner*), a lightweight module integrated into the language model layers to help the model better utilize highly compressed context representations for downstream generation. It uses an adaptive ''gating'' system that only adds extra processing power when the information is complex, keeping the system fast. Across knowledge-intensive QA benchmarks, ArcAligner consistently beats compression baselines at comparable compression rates, especially on multi-hop and long-tail settings. The source code is publicly available.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、LLMの正確性を維持するのに役立つが、長いドキュメントをプロンプトに投入することで、モデルを遅くて高価なものにすることができる。 これは、トークンプルーニングや要約から埋め込みベースの圧縮まで、コンテキスト圧縮を動機付けている。 研究者は、これらの文書を小さな要約や数学的埋め込みに「圧縮」しようとしたが、キャッチーがある: データを圧縮すればするほど、LCMはそれを理解するのに苦労する。 この課題に対処するために、我々は言語モデル層に統合された軽量モジュールであるArcAligner (Adaptive Recursive context *Aligner*)を提案する。 適応的な''ゲーティング'システムを使用し、情報が複雑である場合にのみ追加の処理能力を追加し、システムを高速に保つ。 知識集約型QAベンチマーク全体を通じて、ArcAlignerは圧縮ベースラインを、特にマルチホップとロングテールの設定において、同等の圧縮速度で一貫して上回っている。 ソースコードは公開されている。

関連論文リスト

• Revisiting Data Compression with Language Modeling [0.0]
  データ圧縮作業における大規模言語モデル(LLM)の有用性について検討する。 我々は、enwik9データセット上で、新しい最先端(SOTA)調整圧縮率約18%を達成する。 テキスト優位な領域におけるデータ圧縮における LLM の優位性を示す一方で,非自然なテキスト列の圧縮能力は,適切な設定を行うと競争力を維持することを示す。
  論文  参考訳（メタデータ） (2026-01-06T10:03:33Z)
• BRIEF-Pro: Universal Context Compression with Short-to-Long Synthesis for Fast and Accurate Multi-Hop Reasoning [86.4235795435618]
  BRIEF-Proは、取得した文書から与えられたクエリに関する関連する証拠を簡潔な要約に蒸留する軽量圧縮機である。 幅広いシナリオで10kワードを超える拡張コンテキストの抽象的圧縮を実行するように訓練されている。 実験により、BRIEF-Proはより簡潔で関連する要約を生成し、小型で大規模でプロプライエタリな言語モデルでの性能を向上させることが示されている。
  論文  参考訳（メタデータ） (2025-10-15T17:57:45Z)
• AttnComp: Attention-Guided Adaptive Context Compression for Retrieval-Augmented Generation [27.480791258325066]
  我々は適応的で効率的でコンテキスト対応の圧縮フレームワークであるAttnCompを紹介した。 AttnCompは最小限の文書を保持するためにトップP圧縮アルゴリズムを使用している。 圧縮に加えて、AttnCompは、検索したコンテンツの全体的な関連性を評価することで、応答の信頼性を推定する。
  論文  参考訳（メタデータ） (2025-09-22T08:18:50Z)
• Sentinel: Attention Probing of Proxy Models for LLM Context Compression with an Understanding Perspective [29.50363211934763]
  Retrieval-augmented Generation (RAG) は、外部コンテキストを持つ大きな言語モデルを強化するが、検索されたパスは、しばしば長い、騒々しい、あるいは入力限界を超える。 本研究では,文脈フィルタリングを注目に基づく理解タスクとして再構成する軽量な文レベル圧縮フレームワークであるSentinelを提案する。
  論文  参考訳（メタデータ） (2025-05-29T09:24:12Z)
• ICPC: In-context Prompt Compression with Faster Inference [0.0]
  I CPC(In-context Prompt Compression)は,新規かつスケーラブルなプロンプト圧縮手法であり,プロンプト長を適応的に削減する。 I CPCの鍵となる考え方は、エンコーダを用いてプロンプトに現れる各単語の確率を計算し、情報関数を介して各単語が持つ情報を計算することである。 実験により、I CPCは、異なるカテゴリの長いテキストを効果的に圧縮し、異なるタイプのNLPタスクにおいてより優れた性能と速度を実現することができることを示した。
  論文  参考訳（メタデータ） (2025-01-03T03:46:51Z)
• Efficient Long Context Language Model Retrieval with Compression [57.09163579304332]
  情報検索のための新しいパラダイムとしてLong Context Language Models (LCLM)が登場した。 本稿では,LCLM検索に適した新しい圧縮手法を提案する。 また,CoLoRはテキスト内サイズを1.91倍に圧縮し,検索性能を6%向上することを示した。
  論文  参考訳（メタデータ） (2024-12-24T07:30:55Z)
• BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
  Retrieval-augmented Generation (RAG)は、外部知識を統合することで、大きな言語モデル(LLM)を補完することができる。 本稿では,クエリ対応マルチホップ推論を行う軽量なアプローチであるBRIEFを提案する。 オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
  論文  参考訳（メタデータ） (2024-10-20T04:24:16Z)
• AdaComp: Extractive Context Compression with Adaptive Predictor for Retrieval-Augmented Large Language Models [15.887617654762629]
  ノイズを含む検索された文書は、RAGが答えの手がかりを検知するのを妨げ、推論プロセスを遅く、高価にする。 本稿では,クエリの複雑さと検索品質の両面から圧縮率を適応的に決定する,低コストな抽出文脈圧縮手法であるAdaCompを紹介する。
  論文  参考訳（メタデータ） (2024-09-03T03:25:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。