論文の概要: Reliability Across Parametric and External Knowledge: Understanding Knowledge Handling in LLMs

• arxiv url: http://arxiv.org/abs/2502.13648v1
• Date: Wed, 19 Feb 2025 11:49:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:00:13.350900
• Title: Reliability Across Parametric and External Knowledge: Understanding Knowledge Handling in LLMs
• Title（参考訳）: パラメトリックおよび外部知識の信頼性:LLMにおける知識処理の理解
• Authors: Youna Kim, Minjoon Choi, Sungmin Cho, Hyuhng Joon Kim, Sang-goo Lee, Taeuk Kim,
• Abstract要約: 大規模言語モデル(LLM)はパラメトリックと外部の知識を活用することで問題解決能力を高める。 本稿では,パラメトリック知識の存在と外部知識の情報性という2つの重要な側面に基づいて,知識処理を解析するための枠組みを提案する。 知識処理シナリオに基づいて構築されたデータによるトレーニングは、知識の統合と活用におけるLLMの信頼性を向上させることを実証する。
• 参考スコア（独自算出の注目度）: 11.860265967829884
• License:
• Abstract: Large Language Models (LLMs) enhance their problem-solving capability by leveraging both parametric and external knowledge. Beyond leveraging external knowledge to improve response accuracy, they require key capabilities for reliable knowledge-handling: resolving conflicts between knowledge sources, avoiding distraction from uninformative external knowledge, and abstaining when sufficient knowledge is unavailable. Prior studies have examined these scenarios in isolation or with limited scope. To systematically evaluate these capabilities, we introduce a comprehensive framework for analyzing knowledge-handling based on two key dimensions: the presence of parametric knowledge and the informativeness of external knowledge. Through analysis, we identify biases in knowledge utilization and examine how the ability to handle one scenario impacts performance in others. Furthermore, we demonstrate that training on data constructed based on the knowledge-handling scenarios improves LLMs' reliability in integrating and utilizing knowledge.
• Abstract（参考訳）: 大規模言語モデル(LLM)はパラメトリックと外部の知識を活用することで問題解決能力を高める。 知識ソース間の衝突を解決すること、非形式的な外部知識からの注意をそらすことを避けること、十分な知識が利用できない場合の回避である。 以前の研究では、これらのシナリオを独立した、あるいは限られた範囲で調べてきた。 これらの能力を体系的に評価するために、パラメトリック知識の存在と外部知識の情報性という2つの重要な側面に基づいて知識処理を総合的に分析する枠組みを導入する。 分析により、知識利用におけるバイアスを特定し、あるシナリオを扱う能力が他のシナリオのパフォーマンスにどのように影響するかを調べる。 さらに、知識処理シナリオに基づいて構築されたデータに対するトレーニングは、知識の統合と活用におけるLLMの信頼性を向上させることを実証する。

関連論文リスト

• How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training [92.88889953768455]
  大きな言語モデル(LLM)は、どのようにして新しい知識を内部化するかを理解する上で、重大なギャップに直面します。 知識記憶と処理を容易にする計算サブグラフを同定する。
  論文  参考訳（メタデータ） (2025-02-16T16:55:43Z)
• Internal and External Knowledge Interactive Refinement Framework for Knowledge-Intensive Question Answering [33.89176174108559]
  本稿では,IEKRと呼ばれる新たな内部知識と外部知識の対話的改良パラダイムを提案する。 LLM に “Tell me something about” のようなプロンプトを追加するだけで、関連する明示的な知識をレビューして、クエリに挿入して外部検索します。
  論文  参考訳（メタデータ） (2024-08-23T10:52:57Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Evaluating the External and Parametric Knowledge Fusion of Large Language Models [72.40026897037814]
  我々は、知識融合シナリオをシミュレートするデータ構築と知識注入のための体系的なパイプラインを開発する。 本研究は, LLMにおけるパラメトリック知識の強化が, 知識統合能力を大幅に向上させることを明らかにした。 本研究の目的は,LLM内の外部およびパラメトリック知識の調和を図ることにある。
  論文  参考訳（メタデータ） (2024-05-29T11:48:27Z)
• InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [58.61492157691623]
  知識を統合する手法が開発され、外部モジュールを通してLLMをドメイン固有の知識グラフに拡張した。 本研究は,未知の知識をLLMに効率的に統合することで,未知の知識を不要に重複させるという,新たな問題に焦点をあてる。 新しい知識を導入するリスクは、既存の知識を忘れることである。
  論文  参考訳（メタデータ） (2024-02-18T03:36:26Z)
• RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge [69.79676144482792]
  本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。 本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
  論文  参考訳（メタデータ） (2023-11-14T13:24:19Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• "Merge Conflicts!" Exploring the Impacts of External Distractors to Parametric Knowledge Graphs [15.660128743249611]
  大規模言語モデル(LLM)は、パラメトリック知識として知られる事前学習中に広範な知識を取得する。 LLMは必然的にユーザとの対話中に外部知識を必要とする。 外部知識がパラメトリック知識に干渉した場合、LCMはどのように反応するのだろうか?
  論文  参考訳（メタデータ） (2023-09-15T17:47:59Z)
• Informed Learning by Wide Neural Networks: Convergence, Generalization and Sampling Complexity [27.84415856657607]
  ドメイン知識が情報学習のパフォーマンスにどのような影響を及ぼすか、なぜ研究する。 本稿では,知識の利点をうまく活用し,ラベルと知識の不完全性のバランスをとるための,汎用的な情報教育目標を提案する。
  論文  参考訳（メタデータ） (2022-07-02T06:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。