論文の概要: An Analysis of Decoding Methods for LLM-based Agents for Faithful Multi-Hop Question Answering

• arxiv url: http://arxiv.org/abs/2503.23415v1
• Date: Sun, 30 Mar 2025 12:18:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 19:35:57.110329
• Title: An Analysis of Decoding Methods for LLM-based Agents for Faithful Multi-Hop Question Answering
• Title（参考訳）: 忠実なマルチホップ質問応答のためのLLMエージェントの復号法の解析
• Authors: Alexander Murphy, Mohd Sanad Zaki Rizvi, Aden Haussmann, Ping Nie, Guifu Liu, Aryo Pradipta Gema, Pasquale Minervini,
• Abstract要約: 大規模言語モデル(LLM)は、しばしば事実的に不正確な出力を生成する。 この現象は知識集約型NLPタスクにおける精度を制限する。 近年の研究では、モデル世代に対する忠実性を改善するために、トレーニング不要なデコード戦略を探求している。
• 参考スコア（独自算出の注目度）: 44.41915467956464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) frequently produce factually inaccurate outputs - a phenomenon known as hallucination - which limits their accuracy in knowledge-intensive NLP tasks. Retrieval-augmented generation and agentic frameworks such as Reasoning and Acting (ReAct) can address this issue by giving the model access to external knowledge. However, LLMs often fail to remain faithful to retrieved information. Mitigating this is critical, especially if LLMs are required to reason about the retrieved information. Recent research has explored training-free decoding strategies to improve the faithfulness of model generations. We present a systematic analysis of how the combination of the ReAct framework and decoding strategies (i.e., DeCoRe, DoLa, and CAD) can influence the faithfulness of LLM-generated answers. Our results show that combining an agentic framework for knowledge retrieval with decoding methods that enhance faithfulness can increase accuracy on the downstream Multi-Hop Question Answering tasks. For example, we observe an F1 increase from 19.5 to 32.6 on HotpotQA when using ReAct and DoLa.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、知識集約型NLPタスクにおいて、その正確さを制限する、事実的に不正確な出力(幻覚と呼ばれる現象)をしばしば生成する。 Retrieval-augmented GenerationとReasoning and Acting (ReAct)のようなエージェントフレームワークは、モデルが外部の知識にアクセスすることによってこの問題に対処できる。 しかし、LSMは検索された情報に忠実でないことがしばしばある。 特に、LLMが取得した情報について推論する必要がある場合、これを緩和することが重要である。 近年の研究では、モデル世代に対する忠実性を改善するために、トレーニング不要なデコード戦略を探求している。 本稿では、ReActフレームワークとデコード戦略(DeCoRe、DoLa、CAD)の組み合わせが、LCM生成した回答の忠実さにどのように影響するかを体系的に分析する。 本研究は,知識検索のためのエージェント・フレームワークと忠実度を高める復号法を組み合わせることで,下流のマルチホップ質問回答タスクの精度を高めることができることを示す。 例えば、ReAct と DoLa を用いた場合、HotpotQA 上で F1 が 19.5 から 32.6 に増加するのを観察する。

関連論文リスト

• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• Post-training an LLM for RAG? Train on Self-Generated Demonstrations [19.972220654354494]
  大規模言語モデル(LLM)は知識集約型NLPタスクとしばしば競合する。 検索拡張生成(RAG)は、モデルがコンテキスト内情報を利用することを可能にする。 自己生成型実演を用いたRAG対応LDMの学習法を提案する。
  論文  参考訳（メタデータ） (2025-02-14T23:00:49Z)
• Review-Then-Refine: A Dynamic Framework for Multi-Hop Question Answering with Temporal Adaptability [19.722009684115434]
  Retrieve-augmented Generation (RAG) フレームワークがマルチホップ質問応答(QA)タスクの有望なソリューションとして登場した。 既存のRAGフレームワークは、通常、検索対象のパラダイムに従っており、時間情報を持つマルチホップQAと競合することが多い。 本稿では,マルチホップQAシナリオにおけるLLMの性能向上を目的とした,Review-then-refineと呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-19T17:48:23Z)
• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• Retrieval-enhanced Knowledge Editing in Language Models for Multi-Hop Question Answering [47.199078631274745]
  大規模言語モデル(LLM)は質問応答タスクの習熟度を示しているが、しばしばリアルタイム知識の統合に苦慮している。 マルチホップ質問応答のためのRetrieval-Augmented Model Editing (RAE) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-28T17:47:19Z)
• ActiveRAG: Autonomously Knowledge Assimilation and Accommodation through Retrieval-Augmented Agents [49.30553350788524]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)が外部知識を活用することを可能にする。 既存のRAGモデルは、LLMを受動的情報受信者として扱うことが多い。 人間の学習行動を模倣するマルチエージェントフレームワークであるActiveRAGを紹介する。
  論文  参考訳（メタデータ） (2024-02-21T06:04:53Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。