Fugu-MT 論文翻訳(概要): Familiarity-aware Evidence Compression for Retrieval Augmented Generation

論文の概要: Familiarity-aware Evidence Compression for Retrieval Augmented Generation

arxiv url: http://arxiv.org/abs/2409.12468v1
Date: Thu, 19 Sep 2024 05:14:55 GMT
ステータス: 処理完了
システム内更新日: 2024-11-07 14:41:29.317783
Title: Familiarity-aware Evidence Compression for Retrieval Augmented Generation
Title（参考訳）: 検索向上のための親密性を考慮したエビデンス圧縮
Authors: Dongwon Jung, Qin Liu, Tenghao Huang, Ben Zhou, Muhao Chen,
Abstract要約: 対象モデルに慣れ親しんだ証拠を抽出する訓練不要な証拠圧縮手法であるFaviCompを提案する。 FaviCompは、対象モデルに関する圧縮された証拠の難易度を積極的に下げる。 FaviCompは、複数のオープンドメインQAにおいて、既存のベースラインを一貫して上回ることを示す実験結果が得られた。
参考スコア（独自算出の注目度）: 33.13513003367646
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Retrieval Augmented Generation (RAG) improves large language models (LMs) by incorporating non-parametric knowledge through evidence retrieval from external sources. However, it often struggles to filter out inconsistent and irrelevant information that can distract the LM from its tasks. While compressing the retrieved evidence with a compression model aims to address this issue, the compressed evidence may still be unfamiliar to the target model used for downstream task, potentially failing to utilize the evidence effectively. We propose FaviComp (Familiarity-aware Evidence Compression), a novel training-free evidence compression technique that makes retrieved evidence more familiar to the target model, while seamlessly integrating parametric knowledge from the model. Specifically, FaviComp proactively lowers the perplexity of the compressed evidence with regard to the target model by combining token probabilities from both the compression model and the target model to generate context that is more familiar to the target model. This approach balances the integration of parametric and non-parametric knowledge, which is especially helpful in complex tasks where the retrieved evidence set may not contain all the necessary information. Experimental results demonstrate that FaviComp consistently outperforms existing baselines in multiple open-domain QA datasets, achieving high compression rates and showcasing the effective integration of both parametric and non-parametric knowledge.
Abstract（参考訳）: Retrieval Augmented Generation (RAG)は、外部ソースからのエビデンス検索を通じて、非パラメトリック知識を組み込むことにより、大規模な言語モデル(LM)を改善する。しかし、LMをタスクから逸脱させる可能性のある、一貫性のない無関係な情報をフィルタリングするのに苦労することが多い。抽出された証拠を圧縮モデルで圧縮することは、この問題に対処することを目的としているが、圧縮された証拠は、下流タスクで使用されるターゲットモデルに不慣れであり、その証拠を効果的に活用できない可能性がある。本研究では,FaviComp (Familiarity-aware Evidence Compression) を提案する。FaviComp (Familiarity-aware Evidence Compression) は,モデルからパラメトリック知識をシームレスに統合しながら,対象モデルにより親しみやすいエビデンスを抽出する,新たなトレーニングフリーエビデンス圧縮手法である。具体的には、FaviCompは、圧縮モデルとターゲットモデルの両方からのトークン確率を組み合わせて、対象モデルに慣れ親しんだコンテキストを生成することにより、対象モデルに関する圧縮されたエビデンスの難易度を積極的に下げる。このアプローチはパラメトリック知識と非パラメトリック知識の統合のバランスをとるが、これは検索されたエビデンスセットが必要な情報をすべて含まないような複雑なタスクにおいて特に有用である。実験の結果、FaviCompは複数のオープンドメインQAデータセットにおいて既存のベースラインを一貫して上回り、高い圧縮率を達成し、パラメトリック知識と非パラメトリック知識の効果的な統合を示す。

関連論文リスト

Compression-Aware One-Step Diffusion Model for JPEG Artifact Removal [56.307484956135355]
CODiffはJPEGアーティファクト削除のための圧縮対応ワンステップ拡散モデルである。明示的な学習と暗黙的な学習を組み合わせた二重学習戦略を提案する。その結果,CODiffは定量的および視覚的品質指標の両方において,最近の先行手法を超越していることがわかった。
論文参考訳（メタデータ） (2025-02-14T02:46:27Z)
BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
Retrieval-augmented Generation (RAG)は、外部知識を統合することで、大きな言語モデル(LLM)を補完することができる。本稿では,クエリ対応マルチホップ推論を行う軽量なアプローチであるBRIEFを提案する。オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
論文参考訳（メタデータ） (2024-10-20T04:24:16Z)
Compress and Compare: Interactively Evaluating Efficiency and Behavior Across ML Model Compression Experiments [20.360936113552597]
デバイス上で機械学習モデルをデプロイするには、圧縮アルゴリズムを使用して、高品質なアウトプットを維持しながらモデルを縮小および高速化する。既存の圧縮ツールは比較を不十分にサポートし、退屈な結果となり、時には不完全な解析が非結合ツールに分散する。実世界の比較を支援するために,Compress and Compareという対話型ビジュアルシステムを開発した。コンプレックスとコンプレックスは、圧縮されたモデル間の前兆関係を可視化し、モデルの予測、重み、アクティベーションを比較することで圧縮誘起の挙動変化を明らかにすることで、圧縮戦略を約束する。
論文参考訳（メタデータ） (2024-08-06T16:17:51Z)
Compression Represents Intelligence Linearly [14.651664954289354]
大規模言語モデル(LLM)は圧縮と等価であることが示されている。このような魅力的な議論にもかかわらず、圧縮と知性の間の相互作用には実証的な証拠はほとんど存在しない。 12のベンチマークで、さまざまな組織から生まれた31のパブリックLLMをまとめました。注目すべきは、LLMのインテリジェンスは、外部テキストコーパスを圧縮する能力とほぼ線形に相関していることである。
論文参考訳（メタデータ） (2024-04-15T17:03:41Z)
Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
論文参考訳（メタデータ） (2024-01-15T15:54:54Z)
The Cost of Compression: Investigating the Impact of Compression on Parametric Knowledge in Language Models [11.156816338995503]
大規模言語モデル(LLM)は、より高速な推論、メモリフットプリントの縮小、ローカルデプロイメントを可能にする。 2つの標準的な圧縮手法はプルーニングと量子化であり、前者はモデル層における冗長な接続を排除し、後者はより少ないビットでモデルパラメータを表現する。 LLM圧縮に関する既存の研究は、主にパープレキシティやダウンストリームタスクの精度といった一般的な指標のパフォーマンスに焦点を当てている。パラメトリックな知識を測定するような、よりきめ細かいメトリクスは、いまだにかなり過小評価されている。
論文参考訳（メタデータ） (2023-12-01T22:27:12Z)
Do Compressed LLMs Forget Knowledge? An Experimental Study with Practical Implications [63.29358103217275]
大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて、パフォーマンスを低下させることが多い。損傷の性質に関する2つの予想を提案する。1つは、圧縮後に忘れられた(または消された)知識である。 Inference-time Dynamic Prompting (IDP)と呼ばれる変種を導入し、推論オーバーヘッドを発生させることなく、迅速な多様性を効果的に向上させることができる。
論文参考訳（メタデータ） (2023-10-02T03:12:06Z)
Benchmarking Adversarial Robustness of Compressed Deep Learning Models [15.737988622271219]
本研究は, 基本モデルの逆入力が刈り取ったバージョンに与える影響を理解することを目的とする。以上の結果から, 汎用性, 圧縮性, 高速な推論時間は保たれるが, 対向ロバスト性はベースモデルに匹敵することがわかった。
論文参考訳（メタデータ） (2023-08-16T06:06:56Z)
What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文参考訳（メタデータ） (2021-10-16T00:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。