論文の概要: Towards Verifiable Generation: A Benchmark for Knowledge-aware Language
Model Attribution
- arxiv url: http://arxiv.org/abs/2310.05634v1
- Date: Mon, 9 Oct 2023 11:45:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 05:20:44.881124
- Title: Towards Verifiable Generation: A Benchmark for Knowledge-aware Language
Model Attribution
- Title(参考訳): 検証可能な生成に向けて:知識認識言語モデルの帰属に関するベンチマーク
- Authors: Xinze Li, Yixin Cao2, Liangming Pan, Yubo Ma, Aixin Sun
- Abstract要約: 我々は知識認識型言語モデル属性(KaLMA)の新しいタスクを定義する。
まず、構造化されていないテキストから知識グラフ(KG)へ属性ソースを拡張する。
第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。
第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
- 参考スコア(独自算出の注目度): 48.92960579675478
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Although achieving great success, Large Language Models (LLMs) usually suffer
from unreliable hallucinations. In this paper, we define a new task of
Knowledge-aware Language Model Attribution (KaLMA) that improves upon three
core concerns on conventional attributed LMs. First, we extend attribution
source from unstructured texts to Knowledge Graph (KG), whose rich structures
benefit both the attribution performance and working scenarios. Second, we
propose a new ``Conscious Incompetence" setting considering the incomplete
knowledge repository, where the model identifies the need for supporting
knowledge beyond the provided KG. Third, we propose a comprehensive automatic
evaluation metric encompassing text quality, citation quality, and text
citation alignment. To implement the above innovations, we build a dataset in
biography domain BioKaLMA via a well-designed evolutionary question generation
strategy, to control the question complexity and necessary knowledge to the
answer. For evaluation, we develop a baseline solution and demonstrate the room
for improvement in LLMs' citation generation, emphasizing the importance of
incorporating the "Conscious Incompetence" setting, and the critical role of
retrieval accuracy.
- Abstract(参考訳): 大きな成功を収めるが、大言語モデル(llm)は通常、信頼性の低い幻覚に苦しむ。
本稿では,従来の属性付きLMにおける3つの中核的関心事を改善する,知識対応言語モデル属性(KaLMA)の新たなタスクを定義する。
まず,構造化されていないテキストから知識グラフ(kg)への帰属源を拡張し,そのリッチな構造は帰属性能と作業シナリオの両方に有益である。
Second, we propose a new ``Conscious Incompetence" setting considering the incomplete knowledge repository, where the model identifies the need for supporting knowledge beyond the provided KG. Third, we propose a comprehensive automatic evaluation metric encompassing text quality, citation quality, and text citation alignment. To implement the above innovations, we build a dataset in biography domain BioKaLMA via a well-designed evolutionary question generation strategy, to control the question complexity and necessary knowledge to the answer. For evaluation, we develop a baseline solution and demonstrate the room for improvement in LLMs' citation generation, emphasizing the importance of incorporating the "Conscious Incompetence" setting, and the critical role of retrieval accuracy.
関連論文リスト
- Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳(メタデータ) (2024-01-28T08:56:49Z) - Context Matters: Pushing the Boundaries of Open-Ended Answer Generation
with Graph-Structured Knowledge Context [4.368725325557961]
本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。
我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。
われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
論文 参考訳(メタデータ) (2024-01-23T11:25:34Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - KoLA: Carefully Benchmarking World Knowledge of Large Language Models [56.672981891304005]
我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。
能力モデリングでは、人間の認知を模倣して知識関連能力の4段階の分類を作成し、19ドルのタスクをカバーしている。
データには、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集される新興コーパスの両方を使用し、目に見えないデータを扱う能力と知識の進化を評価することを目的としています。
論文 参考訳(メタデータ) (2023-06-15T17:20:46Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - Knowledge-based Review Generation by Coherence Enhanced Text Planning [45.473253542837995]
我々は,知識グラフ(KGs)に基づく新しいコヒーレンス拡張テキストプランニングモデル(CETP)を提案し,レビュー生成のためのグローバルおよびローカルのコヒーレンスを改善する。
グローバルコヒーレンスのために,サブグラフとノードレベルの双方に注意を払って,サブグラフ間の相関性を高める階層的自己意図アーキテクチャを設計する。
3つのデータセットの実験は、生成されたテキストのコンテンツコヒーレンスを改善するためのモデルの有効性を確認します。
論文 参考訳(メタデータ) (2021-05-09T02:12:05Z) - Knowledge-enriched, Type-constrained and Grammar-guided Question
Generation over Knowledge Bases [20.412744079015475]
知識ベース上の質問生成(KBQG)は、サブグラフに関する自然言語の質問を生成することを目的としている。
現在のエンコーダデコーダベースの手法、特に小さなサブグラフでは、大きな課題が2つ残っている。
我々は、KTGという、知識に富んだ、型に制約のある、文法に制約のあるKBQGモデルを提案する。
論文 参考訳(メタデータ) (2020-10-07T04:49:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。