論文の概要: Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators

• arxiv url: http://arxiv.org/abs/2310.07289v1
• Date: Wed, 11 Oct 2023 08:22:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 23:44:00.346884
• Title: Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators
• Title（参考訳）: ファクチュアリティを超えて:知識ジェネレータとしての大規模言語モデルの包括的評価
• Authors: Liang Chen, Yang Deng, Yatao Bian, Zeyu Qin, Bingzhe Wu, Tat-Seng Chua, Kam-Fai Wong
• Abstract要約: 大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
• 参考スコア（独自算出の注目度）: 78.63553017938911
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) outperform information retrieval techniques for downstream knowledge-intensive tasks when being prompted to generate world knowledge. However, community concerns abound regarding the factuality and potential implications of using this uncensored knowledge. In light of this, we introduce CONNER, a COmpreheNsive kNowledge Evaluation fRamework, designed to systematically and automatically evaluate generated knowledge from six important perspectives -- Factuality, Relevance, Coherence, Informativeness, Helpfulness and Validity. We conduct an extensive empirical analysis of the generated knowledge from three different types of LLMs on two widely studied knowledge-intensive tasks, i.e., open-domain question answering and knowledge-grounded dialogue. Surprisingly, our study reveals that the factuality of generated knowledge, even if lower, does not significantly hinder downstream tasks. Instead, the relevance and coherence of the outputs are more important than small factual mistakes. Further, we show how to use CONNER to improve knowledge-intensive tasks by designing two strategies: Prompt Engineering and Knowledge Selection. Our evaluation code and LLM-generated knowledge with human annotations will be released to facilitate future research.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、世界的知識を生み出すよう促されるとき、下流の知識集約的なタスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 これを踏まえて,6つの重要な視点 - 事実性,妥当性,一貫性,情報性,有用性,妥当性 - から生成した知識を体系的かつ自動的に評価する,包括的知識評価フレームワークであるconnerを紹介する。 我々は,3種類のLLMから生成された知識を,広く研究されている2つの知識集約的課題,すなわち,オープンドメイン質問応答と知識接地対話に基づいて広範囲に分析する。 驚くべきことに、我々の研究は、たとえ低い場合でも、生成された知識の事実が下流のタスクを著しく妨げないことを示した。 むしろ、アウトプットの関連性と一貫性は、小さな事実的誤りよりも重要である。 さらに,ConNERを用いて知識集約型タスクを改善する方法として,プロンプトエンジニアリングとナレッジセレクションの2つの戦略を設計する。 今後の研究を促進するため,人間のアノテーションを用いた評価コードとLLM生成知識を公開します。

関連論文リスト

• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [61.554209059971576]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著なオープンジェネレーション機能を示している。 新しい知識を注入すると、以前に獲得した知識を忘れるリスクが生じる。 Infuser-Guided Knowledge Integration フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:36:26Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
  モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。 実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-08-12T18:59:37Z)
• Informed Learning by Wide Neural Networks: Convergence, Generalization and Sampling Complexity [27.84415856657607]
  ドメイン知識が情報学習のパフォーマンスにどのような影響を及ぼすか、なぜ研究する。 本稿では,知識の利点をうまく活用し,ラベルと知識の不完全性のバランスをとるための,汎用的な情報教育目標を提案する。
  論文  参考訳（メタデータ） (2022-07-02T06:28:25Z)
• Does Knowledge Help General NLU? An Empirical Study [13.305282275999781]
  言語モデルのエンドツーエンド性能を計測し,外部知識の寄与について検討する。 知識の導入は、他のタスクに悪影響を及ぼすことなく、特定のタスクにおける結果を大幅に改善できることがわかった。
  論文  参考訳（メタデータ） (2021-09-01T18:17:36Z)
• Contextualized Knowledge-aware Attentive Neural Network: Enhancing Answer Selection with Knowledge [77.77684299758494]
  ナレッジグラフ(KG)による外部知識による回答選択モデル向上のアプローチを幅広く検討しています。 まず、KGの外部知識とテキスト情報との密接な相互作用を考慮し、QA文表現を学習するコンテキスト知識相互作用学習フレームワークであるナレッジアウェアニューラルネットワーク(KNN)を紹介します。 KG情報の多様性と複雑性に対処するために, カスタマイズされたグラフ畳み込みネットワーク (GCN) を介して構造情報を用いた知識表現学習を改善し, コンテキストベースおよび知識ベースの文表現を総合的に学習する コンテキスト型知識認識型アテンシブニューラルネットワーク (CKANN) を提案する。
  論文  参考訳（メタデータ） (2021-04-12T05:52:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。