論文の概要: CompAct: Compressing Retrieved Documents Actively for Question Answering

• arxiv url: http://arxiv.org/abs/2407.09014v2
• Date: Mon, 15 Jul 2024 11:19:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-16 13:31:11.106127
• Title: CompAct: Compressing Retrieved Documents Actively for Question Answering
• Title（参考訳）: CompAct: 質問応答のために検索した文書をアクティブに圧縮する
• Authors: Chanwoong Yoon, Taewhoo Lee, Hyeon Hwang, Minbyul Jeong, Jaewoo Kang,
• Abstract要約: CompActは、キー情報を失うことなく、広範囲のドキュメントを格納するためのアクティブな戦略を採用した、新しいフレームワークである。 実験により,マルチホップ質問応答ベンチマークにおいて,CompActは性能と圧縮率に大きな改善をもたらすことが示された。
• 参考スコア（独自算出の注目度）: 15.585833125854418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented generation supports language models to strengthen their factual groundings by providing external contexts. However, language models often face challenges when given extensive information, diminishing their effectiveness in solving questions. Context compression tackles this issue by filtering out irrelevant information, but current methods still struggle in realistic scenarios where crucial information cannot be captured with a single-step approach. To overcome this limitation, we introduce CompAct, a novel framework that employs an active strategy to condense extensive documents without losing key information. Our experiments demonstrate that CompAct brings significant improvements in both performance and compression rate on multi-hop question-answering (QA) benchmarks. CompAct flexibly operates as a cost-efficient plug-in module with various off-the-shelf retrievers or readers, achieving exceptionally high compression rates (47x).
• Abstract（参考訳）: Retrieval-augmented Generationは、言語モデルをサポートし、外部コンテキストを提供することで、実際の基盤を強化する。 しかし、言語モデルは、広範囲な情報を与えるとしばしば課題に直面し、問題の解決においての有効性を低下させる。 コンテキスト圧縮は、無関係な情報をフィルタリングすることでこの問題に対処するが、現在の手法は、単一ステップのアプローチで重要な情報をキャプチャできない現実的なシナリオで依然として苦労している。 この制限を克服するために、キー情報を失うことなく広範囲の文書を凝縮するアクティブな戦略を取り入れた新しいフレームワークCompActを紹介する。 本実験は,マルチホップ質問応答(QA)ベンチマークにおいて,CompActが性能と圧縮速度の両方に大幅な改善をもたらすことを示した。 CompActは、様々なオフザシェルフレトリバーやリーダーを備えたコスト効率のよいプラグインモジュールとして柔軟に動作し、非常に高い圧縮率(47倍)を達成する。

関連論文リスト

• Dynamic Compressing Prompts for Efficient Inference of Large Language Models [38.604760935983364]
  大規模言語モデル(LLM)は、高度なプロンプト技術のために、様々なタスクで優れたパフォーマンスを示している。 プロンプト圧縮は簡単な解決策だが、既存の手法では、重要な情報を保持し、状況の変化に適応し、異なるタスクにまたがって効果的を維持するという課題に直面している。 本手法は,性能を最大限に保ちつつ,プロンプトトークンの数を削減する。
  論文  参考訳（メタデータ） (2025-04-15T09:20:45Z)
• Understanding and Improving Information Preservation in Prompt Compression for LLMs [10.912320980464571]
  情報集約的なタスクでは、プロンプト長は急速に増加し、計算要求の増大、性能劣化、無関係または冗長な情報からのバイアスが引き起こされる。 本稿では,プロンプト圧縮手法の詳細な解析を可能にする総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-24T20:06:11Z)
• GRITHopper: Decomposition-Free Multi-Hop Dense Retrieval [52.47514434103737]
  GRITHopper-7Bは,最先端性能を実現する新しいマルチホップ高密度検索モデルである。 GRITHopperは、因果言語モデリングと密集した検索訓練を統合することで、生成的および表現的命令チューニングを組み合わせる。 検索後言語モデリングと呼ばれる検索プロセスの後に追加のコンテキストを組み込むことで,検索性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-03-10T16:42:48Z)
• Task-agnostic Prompt Compression with Context-aware Sentence Embedding and Reward-guided Task Descriptor [16.830389144259584]
  Task-Agnostic Prompt Compression (TPC)は、入力質問やテンプレートを必要とせずにタスクやドメイン間の圧縮を一般化する新しいフレームワークである。 TPCは、コンテキストとクエリペアのキュレートされたデータセットに基づいてトレーニングされたタスク記述子を使用して、コンテキスト関連タスク記述を生成する。 我々は,LongBenchおよびZeroSCROLLSベンチマークにおいて,既存の最先端手法よりも優れた3つのモデルサイズ(Base, Large, Huge)を導入する。
  論文  参考訳（メタデータ） (2025-02-19T02:16:29Z)
• EXIT: Context-Aware Extractive Compression for Enhancing Retrieval-Augmented Generation [8.757777529568383]
  現在のRAGシステムは、検索モデルが最も関連性の高い文書のランク付けに失敗したときにしばしば苦労する。 抽出文脈圧縮フレームワークEXITを紹介する。 評価の結果,EXITは既存の圧縮手法を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-12-17T05:38:27Z)
• BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
  BRIEF(Bridging Retrieval and Inference through Evidence Fusion)は、クエリ対応のマルチホップ推論を実行する軽量なアプローチである。 オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
  論文  参考訳（メタデータ） (2024-10-20T04:24:16Z)
• Style-Compress: An LLM-Based Prompt Compression Framework Considering Task-Specific Styles [49.65811277223873]
  Style-Compressは、より小さな言語モデルを適用して、新たなタスクでより大きなモデルのプロンプトを、追加のトレーニングなしで圧縮する軽量フレームワークである。 提案手法は,実効圧縮プロンプトを,スタイルのバリエーションやコンテキスト内学習を通じて,タスク固有の実演として反復的に生成し,選択する。 Style-Compressは、オリジナルのプロンプト再構成、テキスト要約、マルチホップQA、CoT推論の4つのタスクで2つのベースライン圧縮モデルを上回っている。
  論文  参考訳（メタデータ） (2024-10-17T21:35:49Z)
• Selection-p: Self-Supervised Task-Agnostic Prompt Compression for Faithfulness and Transferability [67.77534983324229]
  本稿では,非形式的トークンを識別する統一圧縮法を開発するために,大規模言語モデルの能力について検討する。 実験により、Selection-pは様々な分類タスクで最先端のパフォーマンスを達成することが示された。 以前の作業と比べて、異なるモデルに対して優れた転送性を示す。
  論文  参考訳（メタデータ） (2024-10-15T17:05:25Z)
• Perception Compressor:A training-free prompt compression method in long context scenarios [17.720102137585503]
  パーセプション(Perception)は、大規模言語モデルのトレーニング不要なプロンプト圧縮手法である。 既存のメソッドのマージンを大きく上回り、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-09-28T07:13:33Z)
• QUITO-X: A New Perspective on Context Compression from the Information Bottleneck Theory [66.01597794579568]
  問題をモデル化するために情報ボトルネック理論(IB)を導入する。 IBにおける相互情報に近似するクロスアテンションに基づく手法を提案する。 提案手法は,最先端技術と比較して25%の圧縮率向上を実現している。
  論文  参考訳（メタデータ） (2024-08-20T02:44:45Z)
• Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models [21.025001473355996]
  大規模言語モデル(LLM)の即時圧縮問題について定式化する。 ブラックボックスモデルのハードプロンプトを生成するトークンレベルのプロンプト圧縮手法を統合するためのフレームワークを提案する。 本稿では,現在の高速圧縮法の性能と最適戦略との間に大きなギャップがあることを述べる。
  論文  参考訳（メタデータ） (2024-07-22T09:40:13Z)
• Concise and Precise Context Compression for Tool-Using Language Models [60.606281074373136]
  ツールを用いた言語モデルにおいて,ツール文書を簡潔かつ高精度な要約シーケンスに圧縮する2つの手法を提案する。 API-BankとAPIBenchの結果,最大16倍の圧縮率で上行ベースラインに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-07-02T08:17:00Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• Extending Context Window of Large Language Models via Semantic Compression [21.35020344956721]
  大規模言語モデル(LLM)は、しばしば、流動的で関連する応答の生成を保証するために、テキスト入力の長さに制限を課す。 本稿では,テキストを6～8倍長大に一般化するセマンティック圧縮手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T07:04:33Z)
• RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation [61.53695868960846]
  テキスト内統合に先立って,検索した文書をテキスト要約に圧縮する手法を提案する。 これにより、計算コストを削減できるだけでなく、長期検索された文書の関連情報を識別する上で、LMの負担を軽減できる。 本研究では,あるLMに対して訓練した圧縮機を言語モデリングタスク上で他のLMに転送し,検索した文書にほぼ忠実な要約を提供することを示す。
  論文  参考訳（メタデータ） (2023-10-06T17:55:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。