論文の概要: What External Knowledge is Preferred by LLMs? Characterizing and Exploring Chain of Evidence in Imperfect Context

• arxiv url: http://arxiv.org/abs/2412.12632v1
• Date: Tue, 17 Dec 2024 07:49:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 17:09:38.591226
• Title: What External Knowledge is Preferred by LLMs? Characterizing and Exploring Chain of Evidence in Imperfect Context
• Title（参考訳）: LLMが求める外部知識 : 不完全な文脈におけるエビデンスの特徴と探索
• Authors: Zhiyuan Chang, Mingyang Li, Xiaojun Jia, Junjie Wang, Yuekai Huang, Qing Wang, Yihao Huang, Yang Liu,
• Abstract要約: 本稿では,マルチホップQAを扱う際に,LLMが好む不完全な文脈における外部知識に着目した。 犯罪手続法における証拠の連鎖(CoE)に着想を得て, LLMが好む知識は, 問題との関連と, 知識の相互支援の両方を維持すべきである,と特徴づける。 提案手法は,LLMの有効性,忠実性,頑健性,および単純検索型RAG(Retrieval-Augmented Generation)におけるCoEのユーザビリティについて検討するものである。
• 参考スコア（独自算出の注目度）: 19.78140793942713
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Incorporating external knowledge into large language models (LLMs) has emerged as a promising approach to mitigate outdated knowledge and hallucination in LLMs. However, external knowledge is often imperfect. In addition to useful knowledge, external knowledge is rich in irrelevant or misinformation in the context that can impair the reliability of LLM responses. This paper focuses on LLMs' preferred external knowledge in imperfect contexts when handling multi-hop QA. Inspired by criminal procedural law's Chain of Evidence (CoE), we characterize that knowledge preferred by LLMs should maintain both relevance to the question and mutual support among knowledge pieces. Accordingly, we propose an automated CoE discrimination approach and explore LLMs' preferences from their effectiveness, faithfulness and robustness, as well as CoE's usability in a naive Retrieval-Augmented Generation (RAG) case. The evaluation on five LLMs reveals that CoE enhances LLMs through more accurate generation, stronger answer faithfulness, better robustness against knowledge conflict, and improved performance in a popular RAG case.
• Abstract（参考訳）: 大規模言語モデル(LLM)に外部知識を組み込むことは、LLMにおける時代遅れの知識と幻覚を緩和するための有望なアプローチとして現れてきた。 しかし、外部知識は不完全であることが多い。 有用な知識に加えて、外部知識はLLM応答の信頼性を損なう可能性のある文脈における無関係または誤報に富んでいる。 本稿では,マルチホップQAを扱う際に,LLMが好む不完全な文脈における外部知識に着目した。 犯罪手続法における証拠の連鎖(CoE)に着想を得て, LLMが好む知識は, 問題との関連と, 知識の相互支援の両方を維持すべきである,と特徴づける。 そこで,本研究では,LLMの自己判別手法を提案し,その有効性,忠実性,頑健性,および,単純検索型RAG(Retrieval-Augmented Generation)におけるCoEのユーザビリティについて検討する。 5つのLCMの評価から,CoEはより正確な生成,回答忠実度の向上,知識衝突に対する堅牢性の向上,一般的なRAGケースの性能向上などを通じてLCMを向上することが明らかとなった。

関連論文リスト

• Accommodate Knowledge Conflicts in Retrieval-augmented LLMs: Towards Reliable Response Generation in the Wild [11.058848731627233]
  大規模言語モデル (LLM) には高度な情報検索システムがある。 LLMは、しばしば内部記憶と検索された外部情報の間の知識の衝突に直面している。 スウィンVIBは,変分情報ボトルネックモデルのパイプラインを,検索した情報の適応的拡張に統合する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-04-17T14:40:31Z)
• PIP-KAG: Mitigating Knowledge Conflicts in Knowledge-Augmented Generation via Parametric Pruning [92.07119924043461]
  Knowledge-Augmented Generation (KAG) は,Large Language Models (LLMs) の内部メモリの更新において,大きな可能性を秘めている。 これらの対立を緩和するための現在のアプローチは、主に外部知識の利用を改善することに焦点を当てている。 本稿では,LLMの内部知識を引き出すParametrIc Pruning-based Knowledge-Augmented Generation (PIP-KAG)アプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-21T15:50:41Z)
• Decoding Knowledge in Large Language Models: A Framework for Categorization and Comprehension [14.039653386385519]
  大規模言語モデル(LLM)は知識を取得し、保持し、適用する。 本稿では,LLMの知識を2次元に分類する新しいフレームワークK-(CSA)2を紹介する。
  論文  参考訳（メタデータ） (2025-01-02T16:34:10Z)
• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• When Do LLMs Need Retrieval Augmentation? Mitigating LLMs' Overconfidence Helps Retrieval Augmentation [66.01754585188739]
  大規模言語モデル(LLM)は、特定の知識を持っていないことを知るのが困難であることが判明した。 Retrieval Augmentation (RA)はLLMの幻覚を緩和するために広く研究されている。 本稿では,LLMの知識境界に対する認識を高めるためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2024-02-18T04:57:19Z)
• KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
  本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。 KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
  論文  参考訳（メタデータ） (2024-02-17T02:54:32Z)
• RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge [69.79676144482792]
  本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。 本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
  論文  参考訳（メタデータ） (2023-11-14T13:24:19Z)
• "Merge Conflicts!" Exploring the Impacts of External Distractors to Parametric Knowledge Graphs [15.660128743249611]
  大規模言語モデル(LLM)は、パラメトリック知識として知られる事前学習中に広範な知識を取得する。 LLMは必然的にユーザとの対話中に外部知識を必要とする。 外部知識がパラメトリック知識に干渉した場合、LCMはどのように反応するのだろうか?
  論文  参考訳（メタデータ） (2023-09-15T17:47:59Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。