論文の概要: Adaptive Contrastive Decoding in Retrieval-Augmented Generation for Handling Noisy Contexts

• arxiv url: http://arxiv.org/abs/2408.01084v2
• Date: Mon, 7 Oct 2024 06:11:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 13:18:17.265199
• Title: Adaptive Contrastive Decoding in Retrieval-Augmented Generation for Handling Noisy Contexts
• Title（参考訳）: 雑音文脈処理のための検索拡張生成における適応的コントラスト復号法
• Authors: Youna Kim, Hyuhng Joon Kim, Cheonbok Park, Choonghyun Park, Hyunsoo Cho, Junyeob Kim, Kang Min Yoo, Sang-goo Lee, Taeuk Kim,
• Abstract要約: 文脈の影響を効果的に活用するための適応型コントラスト復号法(ACD)を提案する。 ACDは、ベースラインよりもオープンドメインの質問応答タスクの改善を示している。
• 参考スコア（独自算出の注目度）: 24.5315425886482
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When using large language models (LLMs) in knowledge-intensive tasks, such as open-domain question answering, external context can bridge the gap between external knowledge and the LLMs' parametric knowledge. Recent research has been developed to amplify contextual knowledge over the parametric knowledge of LLMs with contrastive decoding approaches. While these approaches could yield truthful responses when relevant context is provided, they are prone to vulnerabilities when faced with noisy contexts. We extend the scope of previous studies to encompass noisy contexts and propose adaptive contrastive decoding (ACD) to leverage contextual influence effectively. ACD demonstrates improvements in open-domain question answering tasks compared to baselines, especially in robustness by remaining undistracted by noisy contexts in retrieval-augmented generation.
• Abstract（参考訳）: オープンドメイン質問応答のような知識集約的なタスクで大きな言語モデル(LLM)を使用する場合、外部コンテキストは外部知識とLLMのパラメトリック知識のギャップを埋める可能性がある。 近年,LLMのパラメトリック知識に関する文脈知識を対照的な復号法で増幅する研究が進められている。 これらのアプローチは、関連するコンテキストが提供されると真に反応する可能性があるが、ノイズの多いコンテキストに直面すると脆弱性が発生する傾向がある。 我々は,従来の研究の範囲を広げて,雑音の文脈を包含し,文脈の影響を効果的に活用するための適応型コントラッシブ・デコーディング(ACD)を提案する。 ACDは、ベースラインと比較してオープンドメインの質問応答タスクの改善を示す。

関連論文リスト

• Oreo: A Plug-in Context Reconstructor to Enhance Retrieval-Augmented Generation [28.568010424711563]
  大規模言語モデル(LLM)は、パラメトリックな知識が限られ、ドメイン固有の専門知識が欠如しているため、幻覚に弱いままである。 Retrieval-Augmented Generation (RAG)は、LLMの知識基盤を強化するために外部文書検索を組み込むことによって、この問題に対処する。 発電機に供給する前に外部の知識ソースを洗練するためのコンパクトで効率的でプラガブルなモジュールを導入する。
  論文  参考訳（メタデータ） (2025-02-18T16:38:39Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• Context-DPO: Aligning Language Models for Context-Faithfulness [80.62221491884353]
  本研究では,大規模言語モデルの文脈信頼度を高めるためのアライメント手法を提案する。 ConFiQAから提供されたコンテキストの質問に対する忠実で頑健な応答を活用することで、Context-DPOは直接の選好最適化を通じてLLMを調整します。 大規模な実験により、私たちのContext-DPOは、一般的なオープンソースモデルで35%から280%の改善を達成し、コンテキスト忠実性を大幅に改善します。
  論文  参考訳（メタデータ） (2024-12-18T04:08:18Z)
• Context Awareness Gate For Retrieval Augmented Generation [2.749898166276854]
  Retrieval Augmented Generation (RAG) は、大規模言語モデル(LLM)の限界を軽減し、ドメイン固有の質問に答える手段として広く採用されている。 これまでの研究は主に、取得したデータチャンクの精度と品質を改善し、生成パイプライン全体のパフォーマンスを向上させることに重点を置いてきた。 オープンドメイン質問応答における無関係情報検索の効果について検討し,LLM出力の品質に対する顕著な有害な影響を明らかにする。
  論文  参考訳（メタデータ） (2024-11-25T06:48:38Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Enhancing Robustness of Retrieval-Augmented Language Models with In-Context Learning [5.053086684547045]
  本研究では、ALMの推論能力を高めるために、文脈内学習に基づくアプローチを導入する。 我々のアプローチは、追加の微調整を必要とせずに、解決不可能なシナリオと矛盾するシナリオを特定する精度を高める。
  論文  参考訳（メタデータ） (2024-08-08T12:42:43Z)
• Retrieval Meets Reasoning: Dynamic In-Context Editing for Long-Text Understanding [11.5386284281652]
  動的インテキスト編集による情報検索を再現する新しい手法を提案する。 長大な文脈を拡張可能な外部知識として扱うことにより,本手法は対話的に関連情報を収集・統合する。 実験結果から,提案手法はコンテキスト限定LLMを効果的に活用し,マルチホップ推論に有効であることを示す。
  論文  参考訳（メタデータ） (2024-06-18T06:54:28Z)
• Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding [9.2433070542025]
  大規模言語モデル(LLM)は、テキスト生成時に入力コンテキストを不適切に統合する傾向がある。 本稿では, 逆無関係なパスを負のサンプルとして, コントラストデコーディングを統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T20:38:41Z)
• REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
  REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA) 我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。 オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-02-27T13:22:51Z)
• Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
  生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。 自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。 本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T15:46:02Z)
• Learning to Filter Context for Retrieval-Augmented Generation [75.18946584853316]
  生成モデルは、部分的にまたは完全に無関係な経路が与えられた出力を生成するために要求される。 FILCOは、語彙と情報理論のアプローチに基づいて有用なコンテキストを特定する。 テスト時に検索したコンテキストをフィルタリングできるコンテキストフィルタリングモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-14T18:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。