論文の概要: Towards Improving Interpretability of Language Model Generation through a Structured Knowledge Discovery Approach

• arxiv url: http://arxiv.org/abs/2511.23335v1
• Date: Fri, 28 Nov 2025 16:43:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.985249
• Title: Towards Improving Interpretability of Language Model Generation through a Structured Knowledge Discovery Approach
• Title（参考訳）: 構造化知識発見手法による言語モデル生成の解釈可能性向上に向けて
• Authors: Shuqi Liu, Han Wu, Guanzhi Deng, Jianshu Chen, Xiaoyang Wang, Linqi Song,
• Abstract要約: 我々は,知識を付加したテキスト生成タスクに対して,タスクに依存しない構造化された知識ハンターを開発する。 我々のモデルは高い解釈可能性を実現し、ユーザーはモデル出力生成プロセスを理解することができる。 我々は,RotoWireFGデータセットとKdConvデータセットを用いた外部知識強化対話生成の両方において,我々のモデルの有効性を実証的に実証した。
• 参考スコア（独自算出の注目度）: 33.17711262799183
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge-enhanced text generation aims to enhance the quality of generated text by utilizing internal or external knowledge sources. While language models have demonstrated impressive capabilities in generating coherent and fluent text, the lack of interpretability presents a substantial obstacle. The limited interpretability of generated text significantly impacts its practical usability, particularly in knowledge-enhanced text generation tasks that necessitate reliability and explainability. Existing methods often employ domain-specific knowledge retrievers that are tailored to specific data characteristics, limiting their generalizability to diverse data types and tasks. To overcome this limitation, we directly leverage the two-tier architecture of structured knowledge, consisting of high-level entities and low-level knowledge triples, to design our task-agnostic structured knowledge hunter. Specifically, we employ a local-global interaction scheme for structured knowledge representation learning and a hierarchical transformer-based pointer network as the backbone for selecting relevant knowledge triples and entities. By combining the strong generative ability of language models with the high faithfulness of the knowledge hunter, our model achieves high interpretability, enabling users to comprehend the model output generation process. Furthermore, we empirically demonstrate the effectiveness of our model in both internal knowledge-enhanced table-to-text generation on the RotoWireFG dataset and external knowledge-enhanced dialogue response generation on the KdConv dataset. Our task-agnostic model outperforms state-of-the-art methods and corresponding language models, setting new standards on the benchmark.
• Abstract（参考訳）: 知識に富んだテキスト生成は、内部または外部の知識ソースを利用することで、生成したテキストの品質を高めることを目的としている。 言語モデルはコヒーレントで流動的なテキストを生成するという印象的な能力を示してきたが、解釈可能性の欠如は大きな障害となっている。 生成したテキストの限定的な解釈性は、その実用性、特に信頼性と説明可能性を必要とする知識に富んだテキスト生成タスクに大きな影響を及ぼす。 既存の手法では、特定のデータ特性に合わせたドメイン固有の知識検索をしばしば採用し、その一般化性は多様なデータタイプやタスクに制限される。 この制限を克服するために、我々は、高いレベルのエンティティと低レベルの知識トリプルからなる構造化知識の2層アーキテクチャを直接活用し、タスクに依存しない構造化知識ハンターを設計する。 具体的には、構造化知識表現学習のためのローカル・グローバルインタラクションスキームと、関連する知識のトリプルとエンティティを選択するバックボーンとして階層変換器ベースのポインタネットワークを用いる。 言語モデルの強力な生成能力と知識ハンターの高い忠実さを組み合わせることで,本モデルは高い解釈可能性を実現し,モデル出力生成プロセスの理解を可能にする。 さらに、ロトウィアFGデータセットとKdConvデータセットにおける外部知識強化対話生成の両方において、我々のモデルの有効性を実証的に実証した。 我々のタスク非依存モデルは最先端の手法とそれに対応する言語モデルより優れており、ベンチマークに新しい標準が設定されている。

関連論文リスト

• A Survey on Retrieval And Structuring Augmented Generation with Large Language Models [29.707181003761004]
  大規模言語モデル(LLM)は、テキスト生成と推論において顕著な能力を持つ自然言語処理に革命をもたらした。 しかし、これらのモデルは、時代遅れの知識や限られたドメインの専門知識を含む、現実世界のアプリケーションにデプロイする際の重要な課題に直面します。 Retrieval And Structuring (RAS) Augmented Generationは、動的情報検索と構造化知識表現を統合することで、これらの制限に対処する。
  論文  参考訳（メタデータ） (2025-09-12T21:25:25Z)
• STRUCTSENSE: A Task-Agnostic Agentic Framework for Structured Information Extraction with Human-In-The-Loop Evaluation and Benchmarking [2.355572228890207]
  StructSenseは、大規模言語モデル上に構築された構造化情報抽出のためのモジュラーでタスクに依存しないオープンソースのフレームワークである。 複雑なドメインコンテンツを効果的にエンコードできるドメイン固有のシンボリック知識によって導かれる。 我々は、StructSenseがドメイン感度の限界とクロスタスクの一般化性の欠如を克服できることを実証した。
  論文  参考訳（メタデータ） (2025-07-04T15:51:07Z)
• Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution [48.86322922826514]
  本稿では,知識認識型言語モデル属性(KaLMA)の新たな課題について述べる。 まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。 第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。 第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
  論文  参考訳（メタデータ） (2023-10-09T11:45:59Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
  モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。 実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-08-12T18:59:37Z)
• TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge [83.55215993730326]
  本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。 本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
  論文  参考訳（メタデータ） (2022-03-16T10:37:59Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。