論文の概要: Knowledge Bases in Support of Large Language Models for Processing Web News

• arxiv url: http://arxiv.org/abs/2411.08278v2
• Date: Thu, 14 Nov 2024 15:49:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 11:44:55.463059
• Title: Knowledge Bases in Support of Large Language Models for Processing Web News
• Title（参考訳）: Webニュース処理のための大規模言語モデル支援のための知識ベース
• Authors: Yihe Zhang, Nabin Pakka, Nian-Feng Tzeng,
• Abstract要約: 我々は,Large Language Models(LLMs)の助けを借りて知識ベースを構築するための汎用フレームワークを導入する。 我々は、ニュースカテゴリ分類のための異なるニュース関連データセットに基づいて、我々のフレームワークを評価し、有望な実験結果を得た。
• 参考スコア（独自算出の注目度）: 7.13056075998264
• License:
• Abstract: Large Language Models (LLMs) have received considerable interest in wide applications lately. During pre-training via massive datasets, such a model implicitly memorizes the factual knowledge of trained datasets in its hidden parameters. However, knowledge held implicitly in parameters often makes its use by downstream applications ineffective due to the lack of common-sense reasoning. In this article, we introduce a general framework that permits to build knowledge bases with an aid of LLMs, tailored for processing Web news. The framework applies a rule-based News Information Extractor (NewsIE) to news items for extracting their relational tuples, referred to as knowledge bases, which are then graph-convoluted with the implicit knowledge facts of news items obtained by LLMs, for their classification. It involves two lightweight components: 1) NewsIE: for extracting the structural information of every news item, in the form of relational tuples; 2) BERTGraph: for graph convoluting the implicit knowledge facts with relational tuples extracted by NewsIE. We have evaluated our framework under different news-related datasets for news category classification, with promising experimental results.
• Abstract（参考訳）: 大規模言語モデル(LLM)は最近、広範囲のアプリケーションにかなりの関心を集めている。 大規模なデータセットを経由した事前トレーニングでは、トレーニング済みデータセットの実際の知識を暗黙的に記憶する。 しかし、パラメータに暗黙的に保持される知識は、常識的推論が欠如しているために、下流アプリケーションでは使われないことが多い。 本稿では,Web ニュースの処理に適した LLM の助けを借りて知識ベースを構築するための一般的なフレームワークを紹介する。 このフレームワークは、ルールベースのニュース情報エクストラクタ(NewsIE)を、ナレッジベースと呼ばれるリレーショナルタプルを抽出するニュースアイテムに適用する。 これには2つの軽量コンポーネントが含まれます。 1)ニュースIE:リレーショナルタプルの形で,すべてのニュース項目の構造情報を抽出する 2)BERTGraph:NewsIEが抽出した関係タプルと暗黙の知識事実を畳み込むグラフ。 我々は、ニュースカテゴリ分類のための異なるニュース関連データセットに基づいて、我々のフレームワークを評価し、有望な実験結果を得た。

関連論文リスト

• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• Knowledge Card: Filling LLMs' Knowledge Gaps with Plug-in Specialized Language Models [46.079902719883414]
  我々は,新しい事実と関連する知識を汎用言語モデルにプラグインするモジュール型フレームワークであるKnowledge Cardを提案する。 まず、特定のドメインやソースからコーパスで訓練された特殊な言語モデルであるナレッジカードを紹介します。 次に,知識カードが生成した文書中の情報を動的に選択・保持する3つのコンテンツセレクタを提案する。
  論文  参考訳（メタデータ） (2023-05-17T05:25:27Z)
• Leveraging Advantages of Interactive and Non-Interactive Models for Vector-Based Cross-Lingual Information Retrieval [12.514666775853598]
  対話型モデルと非対話型モデルの利点を活用する新しいフレームワークを提案する。 非対話型アーキテクチャ上でモデルを構築できる半対話型機構を導入するが、各文書を関連付けられた多言語クエリと共にエンコードする。 本手法は,計算効率を維持しながら検索精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-11-03T03:03:19Z)
• KI-BERT: Infusing Knowledge Context for Better Language and Domain Understanding [0.0]
  概念的および曖昧な実体に対する知識グラフから知識コンテキストをトランスフォーマーアーキテクチャに基づくモデルに注入する手法を提案する。 私たちの新しい技術プロジェクト知識グラフは、同質ベクトル空間に埋め込み、エンティティのための新しいトークンタイプ、エンティティの位置IDの整列、および選択的注意メカニズムを導入します。 私たちはBERTをベースラインモデルとし、ConceptNetとWordNetから知識コンテキストを注入して「KnowledgeInfused BERT」を実装します。
  論文  参考訳（メタデータ） (2021-04-09T16:15:31Z)
• Entity Context Graph: Learning Entity Representations fromSemi-Structured Textual Sources on the Web [44.92858943475407]
  エンティティ中心のテキスト知識ソースを処理してエンティティ埋め込みを学ぶアプローチを提案する。 私たちのアプローチから学んだ埋め込みは、(i)高品質で、既知の知識グラフベースの埋め込みに匹敵し、それらをさらに改善するために使用することができます。
  論文  参考訳（メタデータ） (2021-03-29T20:52:14Z)
• InSRL: A Multi-view Learning Framework Fusing Multiple Information Sources for Distantly-supervised Relation Extraction [19.176183245280267]
  ナレッジベースに広く存在する2つのソース、すなわちエンティティ記述と複数の粒度のエンティティタイプを紹介します。 Intact Space Representation Learning (InSRL) による関係抽出のためのエンドツーエンドのマルチビュー学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-17T02:49:46Z)
• JAKET: Joint Pre-training of Knowledge Graph and Language Understanding [73.43768772121985]
  本稿では,知識グラフと言語の両方をモデル化する新しい事前学習フレームワークであるJAKETを提案する。 知識モジュールと言語モジュールは相互に支援するための重要な情報を提供する。 我々の設計により、事前学習されたモデルは、新しいドメインの見知らぬ知識グラフに容易に適応できる。
  論文  参考訳（メタデータ） (2020-10-02T05:53:36Z)
• HittER: Hierarchical Transformers for Knowledge Graph Embeddings [85.93509934018499]
  複雑な知識グラフにおける実体と関係の表現を学習するためにHittを提案する。 実験結果から,Hittは複数リンク予測において最先端の新たな結果が得られることがわかった。 さらに,HittをBERTに統合する簡単なアプローチを提案し,その効果を2つのFreebaseファクトイド対応データセットで示す。
  論文  参考訳（メタデータ） (2020-08-28T18:58:15Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
  我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。 新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。 我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
  論文  参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。