論文の概要: KALM: Knowledge-Aware Integration of Local, Document, and Global Contexts for Long Document Understanding

• arxiv url: http://arxiv.org/abs/2210.04105v2
• Date: Sun, 14 May 2023 23:50:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 00:33:34.434766
• Title: KALM: Knowledge-Aware Integration of Local, Document, and Global Contexts for Long Document Understanding
• Title（参考訳）: KALM:長期文書理解のためのローカル・ドキュメント・グローバルコンテキストの知識認識統合
• Authors: Shangbin Feng, Zhaoxuan Tan, Wenqian Zhang, Zhenyu Lei, Yulia Tsvetkov
• Abstract要約: KALMは、ローカル、文書レベル、グローバルコンテキストにおける知識を共同で活用する知識認識言語モデルである。 6つの長い文書理解タスクとデータセットで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 27.4842322089676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the advent of pretrained language models (LMs), increasing research efforts have been focusing on infusing commonsense and domain-specific knowledge to prepare LMs for downstream tasks. These works attempt to leverage knowledge graphs, the de facto standard of symbolic knowledge representation, along with pretrained LMs. While existing approaches have leveraged external knowledge, it remains an open question how to jointly incorporate knowledge graphs representing varying contexts, from local (e.g., sentence), to document-level, to global knowledge, to enable knowledge-rich exchange across these contexts. Such rich contextualization can be especially beneficial for long document understanding tasks since standard pretrained LMs are typically bounded by the input sequence length. In light of these challenges, we propose KALM, a Knowledge-Aware Language Model that jointly leverages knowledge in local, document-level, and global contexts for long document understanding. KALM first encodes long documents and knowledge graphs into the three knowledge-aware context representations. It then processes each context with context-specific layers, followed by a context fusion layer that facilitates knowledge exchange to derive an overarching document representation. Extensive experiments demonstrate that KALM achieves state-of-the-art performance on six long document understanding tasks and datasets. Further analyses reveal that the three knowledge-aware contexts are complementary and they all contribute to model performance, while the importance and information exchange patterns of different contexts vary with respect to different tasks and datasets.
• Abstract（参考訳）: 事前訓練された言語モデル(LM)の出現に伴い、下流タスクのためのLMを作成するために、コモンセンスとドメイン固有の知識を注入することに注力する研究が増えている。 これらの研究は、事前訓練されたLMとともに、記号的知識表現のデファクト標準である知識グラフを活用する。 既存のアプローチでは外部の知識を活用しているが、ローカル(例えば文)からドキュメントレベル、グローバル知識まで、さまざまなコンテキストを表す知識グラフを共同で組み込む方法が疑問視されている。 このようなリッチな文脈化は、標準の事前訓練されたLMが典型的には入力シーケンス長によって拘束されるため、長い文書理解タスクに特に有用である。 これらの課題を踏まえて,長文理解のためのローカル,文書レベル,グローバルコンテキストの知識を協調的に活用する知識認識言語モデルであるKALMを提案する。 KALMはまず、長いドキュメントと知識グラフを3つの知識認識コンテキスト表現にエンコードする。 その後、各コンテキストをコンテキスト固有のレイヤで処理し、次いでコンテキスト融合層によって知識交換を促進し、包括的なドキュメント表現を導出する。 大規模な実験により、KALMは6つの長い文書理解タスクとデータセットで最先端のパフォーマンスを達成する。 さらなる分析により、3つの知識認識コンテキストは相補的であり、それらは全てモデルのパフォーマンスに寄与し、異なるコンテキストの重要度と情報交換パターンは異なるタスクとデータセットに関して異なることが判明した。

関連論文リスト

• DocKD: Knowledge Distillation from LLMs for Open-World Document Understanding Models [66.91204604417912]
  本研究の目的は,LLMの知識を蒸留することにより,小型VDUモデルの一般化性を高めることである。 我々は、外部文書知識を統合することでデータ生成プロセスを強化する新しいフレームワーク(DocKD)を提案する。 実験の結果,DocKDは高品質な文書アノテーションを生成し,直接知識蒸留手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2024-10-04T00:53:32Z)
• How Large Language Models Encode Context Knowledge? A Layer-Wise Probing Study [27.23388511249688]
  本稿では,知識を符号化する大規模言語モデルのレイヤーワイド能力について検討する。 探索データセットの構築にはChatGPTの強力な生成能力を活用する。 矛盾する知識と新たに獲得した知識の実験は、LLMが上位層でより多くのコンテキスト知識をエンコードすることを好んでいることを示している。
  論文  参考訳（メタデータ） (2024-02-25T11:15:42Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge [83.55215993730326]
  本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。 本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
  論文  参考訳（メタデータ） (2022-03-16T10:37:59Z)
• Knowledge Graph Augmented Network Towards Multiview Representation Learning for Aspect-based Sentiment Analysis [96.53859361560505]
  本稿では,知識グラフ拡張ネットワーク(KGAN)を提案する。 KGANは感情の特徴表現を、文脈、構文、知識に基づく複数の視点から捉えている。 3つの人気のあるABSAベンチマークの実験は、我々のKGANの有効性と堅牢性を示している。
  論文  参考訳（メタデータ） (2022-01-13T08:25:53Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。