論文の概要: Retrieval Augmented Generation using Engineering Design Knowledge
- arxiv url: http://arxiv.org/abs/2307.06985v6
- Date: Wed, 10 Apr 2024 07:51:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-11 19:35:31.959531
- Title: Retrieval Augmented Generation using Engineering Design Knowledge
- Title(参考訳): 工学設計知識を用いた検索拡張生成
- Authors: L Siddharth, Jianxi Luo,
- Abstract要約: 大規模言語モデル(LLM)は、設計プロセスにおける知識ベースのアプリケーションに適した事実応答を生成するために、RAG(Retrieval-Augmented Generation)を採用する必要がある。
本稿では,その形態の明示的な事実を識別するデータ駆動手法を提案する。
- 参考スコア(独自算出の注目度): 1.7495213911983414
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-language Models (LLMs) need to adopt Retrieval-Augmented Generation (RAG) to generate factual responses that are better suited to knowledge-based applications in the design process. We present a data-driven method to identify explicit facts of the form - head entity :: relationship :: tail entity from patented artefact descriptions. We train roBERTa Transformer-based sequence classification models using our proprietary dataset of 44,227 sentences. Upon classifying tokens in a sentence as entities or relationships, our method uses another classifier to identify specific relationship tokens for a given pair of entities. We compare the performances against linear classifiers and Graph Neural Networks (GNNs) that both incorporate BERT Transformer-based token embeddings to predict associations among the entities and relationships. We apply our method to 4,870 fan system related patents and populate a knowledge base that constitutes around 3 million facts. Using the knowledge base, we demonstrate retrieving generalisable and specific domain knowledge for contextualising LLMs.
- Abstract(参考訳): 大規模言語モデル(LLM)は、設計プロセスにおける知識ベースのアプリケーションに適した事実応答を生成するために、RAG(Retrieval-Augmented Generation)を採用する必要がある。
本稿では,その形態の明示的な事実を識別するデータ駆動手法を提案する。
我々は、44,227文の独自のデータセットを用いて、RoBERTa Transformerベースのシーケンス分類モデルを訓練する。
文中のトークンをエンティティまたはリレーションシップとして分類すると、そのメソッドは、与えられたエンティティのペアの特定のリレーショントークンを識別するために、別の分類器を使用する。
BERT変換器をベースとしたトークン埋め込みを組み込んだ線形分類器とグラフニューラルネットワーク(GNN)の性能を比較し,実体と関係の関連性を予測する。
提案手法をファンシステム関連特許4,870件に適用し,約300万件のファクトを構成する知識ベースを蓄積する。
知識ベースを用いて,LLMのコンテキスト化のための一般知識と特定ドメイン知識の検索を実演する。
関連論文リスト
- ProgGen: Generating Named Entity Recognition Datasets Step-by-step with Self-Reflexive Large Language Models [25.68491572293656]
大規模言語モデルは、名前付きエンティティ認識のような構造化された知識抽出タスクにおいて不足する。
本稿では,より優れたNERデータセットを生成するため,LCMを質素なNER能力で活用するための革新的で費用効率のよい戦略について検討する。
論文 参考訳(メタデータ) (2024-03-17T06:12:43Z) - FakeNewsGPT4: Advancing Multimodal Fake News Detection through
Knowledge-Augmented LVLMs [50.13829380113614]
本稿では,大規模視覚言語モデル(Large Vision-Language Models)を,操作推論のためのフォージェリ固有の知識で拡張する新しいフレームワークを提案する。
FakeNewsGPT4は、以前の方法よりも優れたクロスドメインパフォーマンスを実現している。
論文 参考訳(メタデータ) (2024-03-04T12:35:09Z) - SpEL: Structured Prediction for Entity Linking [5.112679200269861]
我々は,個々の入力トークンをエンティティとして分類するエンティティリンクの構造化予測の利用を再検討し,トークン予測を集約する。
我々のシステムであるSpELは最先端のエンティティリンクシステムであり、いくつかの新しいアイデアを用いてエンティティリンクのタスクに構造化予測を適用する。
実験の結果,WikipediaへのエンティティリンクのためのAIDAベンチマークデータセットでは,最先端のAIDAよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-10-23T08:24:35Z) - AKEM: Aligning Knowledge Base to Queries with Ensemble Model for Entity
Recognition and Linking [15.548722102706867]
本稿では,NLPCC 2015におけるエンティティ認識とリンク問題に対する新しいアプローチを提案する。
このタスクでは、短い検索クエリから名前付きエンティティの参照を抽出し、中国の知識ベース内のエンティティにリンクする。
本手法は計算効率が高く,F1スコアは0.535である。
論文 参考訳(メタデータ) (2023-09-12T12:37:37Z) - Interpretable and Low-Resource Entity Matching via Decoupling Feature
Learning from Decision Making [22.755892575582788]
Entity Matchingは、同じ現実世界のオブジェクトを表すエンティティレコードを認識することを目的としている。
異種情報融合(HIF)とキー属性ツリー(KAT)誘導からなる新しいEMフレームワークを提案する。
提案手法は効率が高く,ほとんどの場合SOTA EMモデルより優れている。
論文 参考訳(メタデータ) (2021-06-08T08:27:31Z) - KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization
for Relation Extraction [111.74812895391672]
シナジスティック最適化(KnowPrompt)を用いた知識認識型Promptチューニング手法を提案する。
関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
論文 参考訳(メタデータ) (2021-04-15T17:57:43Z) - KI-BERT: Infusing Knowledge Context for Better Language and Domain
Understanding [0.0]
概念的および曖昧な実体に対する知識グラフから知識コンテキストをトランスフォーマーアーキテクチャに基づくモデルに注入する手法を提案する。
私たちの新しい技術プロジェクト知識グラフは、同質ベクトル空間に埋め込み、エンティティのための新しいトークンタイプ、エンティティの位置IDの整列、および選択的注意メカニズムを導入します。
私たちはBERTをベースラインモデルとし、ConceptNetとWordNetから知識コンテキストを注入して「KnowledgeInfused BERT」を実装します。
論文 参考訳(メタデータ) (2021-04-09T16:15:31Z) - Neural Production Systems [90.75211413357577]
視覚環境は、異なるオブジェクトまたはエンティティから構成される。
イメージをエンティティに分割するために、ディープラーニング研究者は構造的誘導バイアスを提案した。
私たちは認知科学からインスピレーションを得て、一連のルールテンプレートからなる古典的なアプローチを復活させます。
このアーキテクチャは柔軟でダイナミックな制御フローを実現し、エンティティ固有およびルールベースの情報を分解するのに役立つ。
論文 参考訳(メタデータ) (2021-03-02T18:53:20Z) - Learning Intents behind Interactions with Knowledge Graph for
Recommendation [93.08709357435991]
知識グラフ(KG)は、推薦システムにおいてますます重要な役割を果たす。
既存のGNNベースのモデルは、きめ細かいインテントレベルでのユーザ項目関係の特定に失敗します。
本稿では,新しいモデルである知識グラフベースインテントネットワーク(kgin)を提案する。
論文 参考訳(メタデータ) (2021-02-14T03:21:36Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z) - Generative Adversarial Zero-Shot Relational Learning for Knowledge
Graphs [96.73259297063619]
我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。
新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。
我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
論文 参考訳(メタデータ) (2020-01-08T01:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。