論文の概要: Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution
- arxiv url: http://arxiv.org/abs/2310.05634v2
- Date: Thu, 23 May 2024 04:51:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-05-26 20:43:06.244130
- Title: Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution
- Title（参考訳）: 検証可能な生成に向けて:知識を考慮した言語モデル属性のベンチマーク
- Authors: Xinze Li, Yixin Cao, Liangming Pan, Yubo Ma, Aixin Sun,
- Abstract要約: 本稿では,知識認識型言語モデル属性(KaLMA)の新たな課題について述べる。
まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。
第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。
第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
- 参考スコア（独自算出の注目度）: 48.86322922826514
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Although achieving great success, Large Language Models (LLMs) usually suffer from unreliable hallucinations. Although language attribution can be a potential solution, there are no suitable benchmarks and evaluation metrics to attribute LLMs to structured knowledge. In this paper, we define a new task of Knowledge-aware Language Model Attribution (KaLMA) that improves upon three core concerns with conventional attributed LMs. First, we extend attribution source from unstructured texts to Knowledge Graph (KG), whose rich structures benefit both the attribution performance and working scenarios. Second, we propose a new ``Conscious Incompetence" setting considering the incomplete knowledge repository, where the model identifies the need for supporting knowledge beyond the provided KG. Third, we propose a comprehensive automatic evaluation metric encompassing text quality, citation quality, and text citation alignment. To implement the above innovations, we build a dataset in biography domain BioKaLMA via evolutionary question generation strategy, to control the question complexity and necessary knowledge to the answer. For evaluation, we develop a baseline solution and demonstrate the room for improvement in LLMs' citation generation, emphasizing the importance of incorporating the "Conscious Incompetence" setting, and the critical role of retrieval accuracy.
- Abstract（参考訳）: 大成功にもかかわらず、大言語モデル(LLM)は通常、信頼できない幻覚に悩まされる。
言語属性は潜在的な解決策となる可能性があるが、構造化知識にLLMを属性付けるのに適したベンチマークや評価指標は存在しない。
本稿では,従来の属性付きLMにおける3つの中核的関心事を改善する,知識対応言語モデル属性(KaLMA)の新たなタスクを定義する。
まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。
第2に,提案したKG以外の知識の活用の必要性をモデルが認識する,不完全な知識リポジトリを考慮した,新たな「意識的能力」設定を提案する。第3に,テキスト品質,引用品質,テキスト引用アライメントを含む総合的な自動評価尺度を提案する。上記のイノベーションを実現するために,生物工学領域のデータセットを構築し,進化的質問生成戦略を用いて,質問の複雑さと答えに必要な知識を制御する。評価には,ベースラインソリューションを開発し,LLMの引用生成を改善するための空間を実証し,"意識的能力"の設定を取り入れることの重要性を強調し,精度の重要さを強調する。
関連論文リスト
- Beyond Holistic Scores: Automatic Trait-Based Quality Scoring of Argumentative Essays [15.895792302323883]
教育の文脈では、教師と学習者は解釈可能な特性レベルのフィードバックを必要とする。
本稿では,2つの相補的モデリングパラダイムを用いた特徴量に基づく自動弁別評価手法について検討する。
スコア・オーディナリティを明示的にモデル化することは、人間のレーダとの合意を著しく改善することを示します。
論文 参考訳（メタデータ） (2026-02-04T14:30:52Z) - Towards Improving Interpretability of Language Model Generation through a Structured Knowledge Discovery Approach [33.17711262799183]
我々は,知識を付加したテキスト生成タスクに対して,タスクに依存しない構造化された知識ハンターを開発する。
我々のモデルは高い解釈可能性を実現し、ユーザーはモデル出力生成プロセスを理解することができる。
我々は,RotoWireFGデータセットとKdConvデータセットを用いた外部知識強化対話生成の両方において,我々のモデルの有効性を実証的に実証した。
論文 参考訳（メタデータ） (2025-11-28T16:43:46Z) - Are Large Language Models Effective Knowledge Graph Constructors? [26.60279256406507]
知識グラフ(KG)は知識集約的なタスクに不可欠であり、大型言語モデル(LLM)における幻覚の低減に有望であることを示す。
本稿では,複数のレベルで情報を整理し,セマンティックにリッチで構造化されたKGの作成を可能にする階層的抽出フレームワークを提案する。
現状のLLMを用いて知識グラフを抽出・構築し,構造的・意味的両面から包括的に評価する。
論文 参考訳（メタデータ） (2025-10-13T11:37:48Z) - CATER: Leveraging LLM to Pioneer a Multidimensional, Reference-Independent Paradigm in Translation Quality Evaluation [0.0]
Comprehensive AI-assisted Translation Edit Ratio (CATER)は、機械翻訳(MT)の品質を評価するための新しいフレームワークである。
大きな言語モデル(LLM)は、慎重に設計されたプロンプトベースのプロトコルによって使用される。
論文 参考訳（メタデータ） (2024-12-15T17:45:34Z) - CoTKR: Chain-of-Thought Enhanced Knowledge Rewriting for Complex Knowledge Graph Question Answering [33.89497991289916]
そこで本研究では,新たな書込み手法であるCoTKRを提案し,推論トレースとそれに対応する知識をインターリーブ方式で生成する。
我々は,様々な知識グラフ質問回答 (KGQA) ベンチマークを用いて,様々な言語モデル (LLM) を用いて実験を行う。
論文 参考訳（メタデータ） (2024-09-29T16:08:45Z) - Supportiveness-based Knowledge Rewriting for Retrieval-augmented Language Modeling [65.72918416258219]
支援性に基づく知識書き換え(SKR)は、LLM生成に本質的に最適化された堅牢でプラガブルな知識書き換えである。
知識支援に基づき、まず、リライターモデルのためのトレーニングデータキュレーション戦略を設計する。
次に、生成したリライトを最適な支持度に調整するために、直接選好最適化(DPO)アルゴリズムを導入する。
論文 参考訳（メタデータ） (2024-06-12T11:52:35Z) - A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。
KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。
KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。
CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
論文 参考訳（メタデータ） (2024-03-11T03:42:03Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳（メタデータ） (2023-10-31T04:37:57Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z) - KoLA: Carefully Benchmarking World Knowledge of Large Language Models [87.96683299084788]
我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。
人間の認知を模倣して、知識関連能力の4段階の分類を形成し、19ドルのタスクをカバーします。
私たちは、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集された新興コーパスを使用して、目に見えないデータや進化する知識を扱う能力を評価します。
論文 参考訳（メタデータ） (2023-06-15T17:20:46Z) - Structured Knowledge Grounding for Question Answering [0.23068481501673416]
本稿では,知識に基づく質問応答の柔軟性,範囲の広さ,構造的推論に言語と知識を活用することを提案する。
具体的には,動的ホップを用いて関連するコンテキストを検索する知識構築手法を考案する。
そして、言語と知識の間のボトルネックを交換する情報を橋渡しする深層融合機構を考案する。
論文 参考訳（メタデータ） (2022-09-17T08:48:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。