論文の概要: Familiarity-Aware Evidence Compression for Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2409.12468v2
• Date: Tue, 17 Dec 2024 00:25:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 17:09:38.214579
• Title: Familiarity-Aware Evidence Compression for Retrieval-Augmented Generation
• Title（参考訳）: 検索型生成のための親密性を考慮したエビデンス圧縮
• Authors: Dongwon Jung, Qin Liu, Tenghao Huang, Ben Zhou, Muhao Chen,
• Abstract要約: 対象モデルに慣れ親しんだ証拠を抽出する訓練不要な証拠圧縮手法であるFaviCompを提案する。 FaviCompは、複数のオープンドメインQAデータセット間で、最新のエビデンス圧縮ベースラインを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 33.13513003367646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented generation (RAG) improves large language models (LMs) by incorporating non-parametric knowledge through evidence retrieved from external sources. However, it often struggles to cope with inconsistent and irrelevant information that can distract the LM from its tasks, especially when multiple evidence pieces are required. While compressing the retrieved evidence with a compression model aims to address this issue, the compressed evidence may still be unfamiliar to the target model used for downstream tasks, potentially failing to utilize the evidence effectively. We propose FaviComp (Familarity-Aware Evidence Compression), a novel training-free evidence compression technique that makes retrieved evidence more familiar to the target model, while seamlessly integrating parametric knowledge from the model. Experimental results show that FaviComp consistently outperforms most recent evidence compression baselines across multiple open-domain QA datasets, improving accuracy by up to 28.1% while achieving high compression rates. Additionally, we demonstrate the effective integration of both parametric and non-parametric knowledge during evidence compression.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、外部ソースから取得した証拠を通じて非パラメトリック知識を組み込むことで、大規模な言語モデル(LM)を改善する。 しかし、特に複数のエビデンスが必要な場合、LMをそのタスクから逸脱させる可能性のある一貫性のない無関係な情報に対処するのに苦労することが多い。 得られたエビデンスを圧縮モデルで圧縮することはこの問題に対処することを目的としているが、圧縮されたエビデンスはまだ下流のタスクで使用されるターゲットモデルに馴染みがなく、効果的にエビデンスを利用することができない可能性がある。 本研究では,FaviComp(Familarity-Aware Evidence Compression)を提案する。FaviComp(Familarity-Aware Evidence Compression)は,モデルからパラメトリック知識をシームレスに統合しながら,対象モデルにより親しみやすい証拠を抽出する,新たなトレーニングフリーエビデンス圧縮手法である。 実験の結果、FaviCompは複数のオープンドメインQAデータセットで最新のエビデンス圧縮ベースラインを一貫して上回り、高い圧縮率を達成しながら精度を最大28.1%向上した。 さらに,エビデンス圧縮時のパラメトリック知識と非パラメトリック知識の効果的な統合を実証する。

関連論文リスト

• ACoRN: Noise-Robust Abstractive Compression in Retrieval-Augmented Language Models [26.585985828583304]
  抽象圧縮は、より小さなランガウジュモデルを用いてクエリ関連コンテキストを凝縮する。 検索された文書には、質問に答えることに関係のない情報や、事実の誤りによって誤解を招く情報が含まれていることが多い。 この挙動は、抽象圧縮機は正しい解答に必要な重要な情報を省略する傾向にあることを示している。
  論文  参考訳（メタデータ） (2025-04-17T06:05:35Z)
• Beyond RAG: Task-Aware KV Cache Compression for Comprehensive Knowledge Reasoning [23.376181947937788]
  ゼロまたは少数ショット設定で外部知識を圧縮するタスク対応キー値(KV)キャッシュ圧縮を提案する。 実験の結果,本手法はRAG法とタスク非依存圧縮法の両方に優れていた。 合成データセットは、粗いエビデンスで十分であるのに対して、タスク認識圧縮は幅広い知識タスクに優れていることを強調している。
  論文  参考訳（メタデータ） (2025-03-06T21:07:41Z)
• Compression-Aware One-Step Diffusion Model for JPEG Artifact Removal [56.307484956135355]
  CODiffはJPEGアーティファクト削除のための圧縮対応ワンステップ拡散モデルである。 明示的な学習と暗黙的な学習を組み合わせた二重学習戦略を提案する。 その結果,CODiffは定量的および視覚的品質指標の両方において,最近の先行手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2025-02-14T02:46:27Z)
• BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
  Retrieval-augmented Generation (RAG)は、外部知識を統合することで、大きな言語モデル(LLM)を補完することができる。 本稿では,クエリ対応マルチホップ推論を行う軽量なアプローチであるBRIEFを提案する。 オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
  論文  参考訳（メタデータ） (2024-10-20T04:24:16Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Accuracy is Not All You Need [9.371810162601623]
  複数の圧縮技術、モデル、データセットにまたがるメトリクスの詳細な調査を行います。 本研究では, 圧縮モデルがエンドユーザーに対して可視である場合, 精度が類似している場合でも, ベースラインモデルとは大きく異なることを示す。 我々は、KL-Divergence と flips という2つの指標を提案し、それらがよく相関していることを示す。
  論文  参考訳（メタデータ） (2024-07-12T10:19:02Z)
• Compression Represents Intelligence Linearly [14.651664954289354]
  大規模言語モデル(LLM)は圧縮と等価であることが示されている。 このような魅力的な議論にもかかわらず、圧縮と知性の間の相互作用には実証的な証拠はほとんど存在しない。 12のベンチマークで、さまざまな組織から生まれた31のパブリックLLMをまとめました。 注目すべきは、LLMのインテリジェンスは、外部テキストコーパスを圧縮する能力とほぼ線形に相関していることである。
  論文  参考訳（メタデータ） (2024-04-15T17:03:41Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• The Cost of Compression: Investigating the Impact of Compression on Parametric Knowledge in Language Models [11.156816338995503]
  大規模言語モデル(LLM)は、より高速な推論、メモリフットプリントの縮小、ローカルデプロイメントを可能にする。 2つの標準的な圧縮手法はプルーニングと量子化であり、前者はモデル層における冗長な接続を排除し、後者はより少ないビットでモデルパラメータを表現する。 LLM圧縮に関する既存の研究は、主にパープレキシティやダウンストリームタスクの精度といった一般的な指標のパフォーマンスに焦点を当てている。 パラメトリックな知識を測定するような、よりきめ細かいメトリクスは、いまだにかなり過小評価されている。
  論文  参考訳（メタデータ） (2023-12-01T22:27:12Z)
• Do Compressed LLMs Forget Knowledge? An Experimental Study with Practical Implications [63.29358103217275]
  大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて、パフォーマンスを低下させることが多い。 損傷の性質に関する2つの予想を提案する。1つは、圧縮後に忘れられた(または消された)知識である。 Inference-time Dynamic Prompting (IDP)と呼ばれる変種を導入し、推論オーバーヘッドを発生させることなく、迅速な多様性を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-02T03:12:06Z)
• Benchmarking Adversarial Robustness of Compressed Deep Learning Models [15.737988622271219]
  本研究は, 基本モデルの逆入力が刈り取ったバージョンに与える影響を理解することを目的とする。 以上の結果から, 汎用性, 圧縮性, 高速な推論時間は保たれるが, 対向ロバスト性はベースモデルに匹敵することがわかった。
  論文  参考訳（メタデータ） (2023-08-16T06:06:56Z)
• Uncertainty Guided Adaptive Warping for Robust and Efficient Stereo Matching [77.133400999703]
  相関に基づくステレオマッチングは優れた性能を達成した。 固定モデルによる現在のメソッドは、さまざまなデータセットで均一に動作しない。 本稿では,ロバストなステレオマッチングのための相関を動的に計算する新しい視点を提案する。
  論文  参考訳（メタデータ） (2023-07-26T09:47:37Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
  本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。 本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。 サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
  論文  参考訳（メタデータ） (2021-10-16T00:20:04Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Self-Supervised GAN Compression [32.21713098893454]
  従来の手法では,標準モデル圧縮手法であるウェイトプルーニングがGANに適用できないことを示す。 次に、訓練された判別器を用いて圧縮発電機の訓練を監督する自己教師圧縮手法を開発する。 我々は,このフレームワークが高い疎度に対して魅力的な性能を示し,新しいタスクやモデルに容易に適用できることを示し,異なるプルーニング粒度間の有意義な比較を可能にする。
  論文  参考訳（メタデータ） (2020-07-03T04:18:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。