論文の概要: KALM: Knowledge-Aware Integration of Local, Document, and Global Contexts for Long Document Understanding

• arxiv url: http://arxiv.org/abs/2210.04105v1
• Date: Sat, 8 Oct 2022 20:51:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 16:36:24.252311
• Title: KALM: Knowledge-Aware Integration of Local, Document, and Global Contexts for Long Document Understanding
• Title（参考訳）: KALM:長期文書理解のためのローカル・ドキュメント・グローバルコンテキストの知識認識統合
• Authors: Shangbin Feng, Zhaoxuan Tan, Wenqian Zhang, Zhenyu Lei, Yulia Tsvetkov
• Abstract要約: KALMは、ローカル、文書レベル、グローバルコンテキストにおける知識を共同で活用する知識認識言語モデルである。 6つのデータセット/セットにまたがる3つの長いドキュメント理解タスクにおいて、最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 27.4842322089676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the advent of pre-trained language models (LMs), increasing research efforts have been focusing on infusing commonsense and domain-specific knowledge to prepare LMs for downstream tasks. These works attempt to leverage knowledge graphs, the de facto standard of symbolic knowledge representation, along with pre-trained LMs. While existing approaches leverage external knowledge, it remains an open question how to jointly incorporate knowledge graphs representing varying contexts, from local (e.g., sentence), to document-level, to global knowledge, to enable knowledge-rich and interpretable exchange across these contexts. Such rich contextualization can be especially beneficial for long document understanding tasks since standard pre-trained LMs are typically bounded by the input sequence length. In light of these challenges, we propose KALM, a Knowledge-Aware Language Model that jointly leverages knowledge in local, document-level, and global contexts for long document understanding. KALM first encodes long documents and knowledge graphs into the three knowledge-aware context representations. It then processes each context with context-specific layers, followed by a context fusion layer that facilitates interpretable knowledge exchange to derive an overarching document representation. Extensive experiments demonstrate that KALM achieves state-of-the-art performance on three long document understanding tasks across 6 datasets/settings. Further analyses reveal that the three knowledge-aware contexts are complementary and they all contribute to model performance, while the importance and information exchange patterns of different contexts vary with respect to different tasks and datasets.
• Abstract（参考訳）: 事前訓練言語モデル(LM)の出現に伴い、下流タスクのためのLMを作成するために、コモンセンスとドメイン固有の知識を注入することに注力する研究が増えている。 これらの研究は、事前学習されたLMとともに、記号的知識表現のデファクトスタンダードである知識グラフを活用する。 既存のアプローチは外部の知識を活用するが、ローカル(文など)から文書レベル、グローバルな知識に至るまで、様々なコンテキストを表す知識グラフを共同で組み込んで、これらのコンテキスト間で知識に富み、解釈可能な交換を可能にするかは、未解決のままである。 このようなリッチな文脈化は、標準の事前訓練されたLMが典型的には入力シーケンス長によって拘束されるため、長い文書理解タスクに特に有用である。 これらの課題を踏まえて,長文理解のためのローカル,文書レベル,グローバルコンテキストの知識を協調的に活用する知識認識言語モデルであるKALMを提案する。 KALMはまず、長いドキュメントと知識グラフを3つの知識認識コンテキスト表現にエンコードする。 その後、各コンテキストをコンテキスト固有のレイヤで処理し、その後、解釈可能な知識交換を容易にするコンテキスト融合層によって、包括的なドキュメント表現を導出する。 大規模な実験により、KALMは6つのデータセット/セットにまたがる3つの長い文書理解タスクで最先端のパフォーマンスを達成する。 さらなる分析により、3つの知識認識コンテキストは相補的であり、それらは全てモデルのパフォーマンスに寄与し、異なるコンテキストの重要度と情報交換パターンは異なるタスクとデータセットに関して異なることが判明した。

関連論文リスト

• KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
  本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。 明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。 特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-12-06T11:08:24Z)
• How Large Language Models Encode Context Knowledge? A Layer-Wise Probing Study [27.23388511249688]
  本稿では,知識を符号化する大規模言語モデルのレイヤーワイド能力について検討する。 探索データセットの構築にはChatGPTの強力な生成能力を活用する。 矛盾する知識と新たに獲得した知識の実験は、LLMが上位層でより多くのコンテキスト知識をエンコードすることを好んでいることを示している。
  論文  参考訳（メタデータ） (2024-02-25T11:15:42Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge [83.55215993730326]
  本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。 本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
  論文  参考訳（メタデータ） (2022-03-16T10:37:59Z)
• Knowledge Graph Augmented Network Towards Multiview Representation Learning for Aspect-based Sentiment Analysis [96.53859361560505]
  本稿では,知識グラフ拡張ネットワーク(KGAN)を提案する。 KGANは感情の特徴表現を、文脈、構文、知識に基づく複数の視点から捉えている。 3つの人気のあるABSAベンチマークの実験は、我々のKGANの有効性と堅牢性を示している。
  論文  参考訳（メタデータ） (2022-01-13T08:25:53Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。