Fugu-MT 論文翻訳(概要): ACoRN: Noise-Robust Abstractive Compression in Retrieval-Augmented Language Models

論文の概要: ACoRN: Noise-Robust Abstractive Compression in Retrieval-Augmented Language Models

arxiv url: http://arxiv.org/abs/2504.12673v1
Date: Thu, 17 Apr 2025 06:05:35 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-25 22:45:04.761929
Title: ACoRN: Noise-Robust Abstractive Compression in Retrieval-Augmented Language Models
Title（参考訳）: ACoRN:Retrieval-Augmented Language Modelにおけるノイズロバスト抽象圧縮
Authors: Singon Kim, Gunho Jung, Seong-Whan Lee,
Abstract要約: 抽象圧縮は、より小さなランガウジュモデルを用いてクエリ関連コンテキストを凝縮する。検索された文書には、質問に答えることに関係のない情報や、事実の誤りによって誤解を招く情報が含まれていることが多い。この挙動は、抽象圧縮機は正しい解答に必要な重要な情報を省略する傾向にあることを示している。
参考スコア（独自算出の注目度）: 26.585985828583304
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Abstractive compression utilizes smaller langauge models to condense query-relevant context, reducing computational costs in retrieval-augmented generation (RAG). However,retrieved documents often include information that is either irrelevant to answering the query or misleading due to factual incorrect content, despite having high relevance scores. This behavior indicates that abstractive compressors are more likely to omit important information essential for the correct answer, especially in long contexts where attention dispersion occurs. To address this issue, we categorize retrieved documents in a more fine-grained manner and propose Abstractive Compression Robust against Noise (ACoRN), which introduces two novel training steps. First, we use offline data augmentation on the training dataset to enhance compressor robustness against two distinct types of retrieval noise. Second, since the language modelbased compressor cannot fully utilize information from multiple retrieved documents and exhibits positional bias, we perform finetuning to generate summaries centered around key information that directly supports the correct answer. Our experiments demonstrate that T5-large, trained with ACoRN as a compressor, improves EM and F1 scores while preserving the answer string, which could serve as direct evidence. ACoRN excels on datasets with many accuracy-reducing documents, making it highly useful in real-world scenarios.
Abstract（参考訳）: 抽象圧縮は、より小さなランガウジュモデルを用いてクエリ関連コンテキストを凝縮し、検索拡張生成(RAG)の計算コストを削減する。しかし、検索された文書には、高い関連性スコアがあるにもかかわらず、質問に答えることに関係のない情報や、事実の不正な内容によって誤解を招く情報が含まれていることが多い。この挙動は、特に注意分散が発生した長い文脈において、抽象圧縮機は正しい回答に必要な重要な情報を省略する傾向にあることを示している。この問題に対処するため、検索した文書をよりきめ細かな方法で分類し、2つの新しいトレーニング手順を導入する抽象圧縮ロバスト対ノイズ(ACoRN)を提案する。まず、トレーニングデータセット上のオフラインデータ拡張を用いて、2種類の検索ノイズに対して圧縮体ロバスト性を高める。第二に、言語モデルに基づく圧縮機は、複数の検索された文書からの情報を完全に活用することができず、位置バイアスが生じるので、我々は、正しい回答を直接サポートするキー情報を中心とした要約を生成するために微調整を行う。実験により, ACoRN を圧縮機として訓練した T5-large は, 応答文字列を保存しながら, EM と F1 のスコアを向上し, 直接的な証拠となることを示した。 ACoRNは多くの精度を低減したドキュメントを持つデータセットを抽出し、現実世界のシナリオで非常に有用である。

関連論文リスト

Collapse of Dense Retrievers: Short, Early, and Literal Biases Outranking Factual Evidence [56.09494651178128]
検索モデルは、Retrieval-Augmented Generation (RAG)のような情報検索(IR)アプリケーションで一般的に使用される。検索者は文書の優先順位の過度な開始、短い文書、繰り返しのエンティティ、リテラルマッチングといった表面的なパターンにしばしば依存していることを示す。これらのバイアスは、検索優先の文書がLLMを誤解させるおそれのあるRAGのような下流アプリケーションに直接的な結果をもたらすことを示す。
論文参考訳（メタデータ） (2025-03-06T23:23:13Z)
GeAR: Generation Augmented Retrieval [82.20696567697016]
文書検索技術は大規模情報システム開発の基礎となる。一般的な手法は、バイエンコーダを構築し、セマンティックな類似性を計算することである。我々は、よく設計された融合およびデコードモジュールを組み込んだ $textbfGe$neration という新しい手法を提案する。
論文参考訳（メタデータ） (2025-01-06T05:29:00Z)
BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
Retrieval-augmented Generation (RAG)は、外部知識を統合することで、大きな言語モデル(LLM)を補完することができる。本稿では,クエリ対応マルチホップ推論を行う軽量なアプローチであるBRIEFを提案する。オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
論文参考訳（メタデータ） (2024-10-20T04:24:16Z)
From Reading to Compressing: Exploring the Multi-document Reader for Prompt Compression [9.5823848981136]
大規模言語モデル(LLM)は、高度なプロンプト技術を用いて、大幅な性能向上を実現している。プロンプト圧縮はこれらの問題を緩和するために提案されているが、グローバルコンテキストを捕捉し、圧縮機を効果的に訓練する際の課題に直面している。
論文参考訳（メタデータ） (2024-10-05T12:27:47Z)
Perception Compressor: A Training-Free Prompt Compression Framework in Long Context Scenarios [17.720102137585503]
Perceptionは、大規模な言語モデルのためのトレーニングフリーのプロンプト圧縮フレームワークである。これには、指導的質問と指示を利用して、最も関連するデモンストレーションを検索する知覚検索機能が含まれる。長いコンテキスト、ベンチマーク、iSie、LongBench、MuSiQueに関する広範な実験を行います。
論文参考訳（メタデータ） (2024-09-28T07:13:33Z)
AdaComp: Extractive Context Compression with Adaptive Predictor for Retrieval-Augmented Large Language Models [15.887617654762629]
ノイズを含む検索された文書は、RAGが答えの手がかりを検知するのを妨げ、推論プロセスを遅く、高価にする。本稿では,クエリの複雑さと検索品質の両面から圧縮率を適応的に決定する,低コストな抽出文脈圧縮手法であるAdaCompを紹介する。
論文参考訳（メタデータ） (2024-09-03T03:25:59Z)
Retaining Key Information under High Compression Ratios: Query-Guided Compressor for LLMs [35.91962517513945]
圧縮比が増加するにつれて従来の手法の性能は劇的に低下し、時にはクローズドブックレベルにまで低下する。本稿では、クエリを利用してコンテキスト圧縮プロセスをガイドするQuery-Guided (QGC)を紹介する。提案したQGCの有効性を,NaturalQuestions,TriviaQA,HotpotQAデータセットを含む質問応答タスクで検証する。
論文参考訳（メタデータ） (2024-06-04T14:53:24Z)
An Information Bottleneck Perspective for Effective Noise Filtering on Retrieval-Augmented Generation [35.76451156732993]
情報ボトルネック理論を検索強化世代に導入する。提案手法では,圧縮と地盤出力の相互情報を同時に最大化することにより,ノイズのフィルタリングを行う。我々は,情報ボトルネックの定式化を導出し,新たな包括的評価を行う。
論文参考訳（メタデータ） (2024-06-03T17:31:06Z)
RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation [61.53695868960846]
テキスト内統合に先立って,検索した文書をテキスト要約に圧縮する手法を提案する。これにより、計算コストを削減できるだけでなく、長期検索された文書の関連情報を識別する上で、LMの負担を軽減できる。本研究では,あるLMに対して訓練した圧縮機を言語モデリングタスク上で他のLMに転送し,検索した文書にほぼ忠実な要約を提供することを示す。
論文参考訳（メタデータ） (2023-10-06T17:55:36Z)
Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。 CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。 MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
論文参考訳（メタデータ） (2023-04-06T22:16:53Z)
Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
論文参考訳（メタデータ） (2022-12-20T00:33:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。