論文の概要: PatentGPT: A Large Language Model for Patent Drafting Using Knowledge-based Fine-tuning Method
- arxiv url: http://arxiv.org/abs/2409.00092v1
- Date: Mon, 26 Aug 2024 12:00:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-08 15:11:32.924814
- Title: PatentGPT: A Large Language Model for Patent Drafting Using Knowledge-based Fine-tuning Method
- Title（参考訳）: PatentGPT:知識に基づくファインチューニング法を用いた特許文書作成のための大規模言語モデル
- Authors: Runtao Ren, Jian Ma,
- Abstract要約: 既存の大規模言語モデル(LLM)は、専門知識の欠如とコンテキスト認識の欠如により、IP生成領域では不足することが多い。
我々は,LLMの知識微調整(KFT)のための画期的なフレームワークを提案する。
我々のモデルであるPatentGPTは、最先端モデルと比較して、特許関連のベンチマークテストで最大400%高い性能を示した。
- 参考スコア（独自算出の注目度）: 1.4496326701907591
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As humanity stands on the brink of a new era of technological innovation, the ability to rapidly transform creative ideas into protected intellectual property (IP) is more crucial than ever. However, the conventional processes for patent drafting are fraught with challenges, demanding a nuanced understanding of advanced field knowledge and technical concepts. Existing large language models (LLMs), while powerful, often fall short in this IP creation domain due to their lack of specialized knowledge and context-awareness necessary for generating technically accurate patent documents. To bridge this critical gap, we propose a groundbreaking framework for Knowledge Fine-Tuning (KFT) of LLMs, designed to endow AI with the ability to autonomously mine, understand, and apply domain-specific knowledge. Our model, PatentGPT leverages a unique combination of knowledge graph-based pre-training, domain-specific supervised fine-tuning (SFT), and reinforcement learning from human feedback (RLHF). Through extensive evaluation, PatentGPT has demonstrated outstanding performance, scoring up to approximately 400% higher in patent related benchmark tests compared to state-of-the-art models. By KFT method the model's capability to not only assist but also augment human creativity and innovation, our approach sets a new standard for AI-driven intellectual property generation, paving the way for more efficient and effective invention processes.
- Abstract（参考訳）: 人類は技術革新の新たな時代の瀬戸際にあるので、創造的アイデアを知的財産(IP)に迅速に変換する能力は、これまで以上に重要である。
しかし、従来の特許起草プロセスには課題が伴い、先進的な分野知識と技術的概念の微妙な理解が求められている。
既存の大規模言語モデル(LLM)は、技術的に正確な特許文書を生成するのに必要な専門知識や文脈認識が欠如しているため、このIP生成領域では強力ではないことが多い。
この重要なギャップを埋めるため、我々はLLMの知識細調整(KFT)のための画期的なフレームワークを提案し、AIに自律的なマイニング、理解、ドメイン固有の知識の適用を可能にするように設計されている。
我々のモデルであるPatentGPTは、知識グラフに基づく事前学習、ドメイン固有教師付き微調整(SFT)、人間からのフィードバックからの強化学習(RLHF)のユニークな組み合わせを活用している。
広範な評価を通じて、特許GPTは優れた性能を示し、最先端のモデルと比較して、特許関連のベンチマークテストでは最大400%高いスコアを得た。
KFTは、人間の創造性と革新を補助するだけでなく、モデルの能力を高めることで、私たちのアプローチはAI駆動の知的財産生成の新しい標準を設定し、より効率的で効果的な発明プロセスの道を開く。
関連論文リスト
- GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。
本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
論文 参考訳（メタデータ） (2024-10-11T03:05:06Z) - Early screening of potential breakthrough technologies with enhanced interpretability: A patent-specific hierarchical attention network model [4.779196219827507]
本稿では,特許文書から将来的な引用数を予測するための解釈可能な機械学習手法を提案する。
35,376の医薬品特許のケーススタディは、我々のアプローチの有効性を実証している。
提案手法は, ブレークスルー技術を特定する上で, 専門家と機械の協調性を高めることが期待されている。
論文 参考訳（メタデータ） (2024-07-24T02:17:10Z) - Automated Neural Patent Landscaping in the Small Data Regime [6.284464997330885]
近年の特許活動の急速な拡大により、効率的かつ効果的な自動的特許造成アプローチの必要性が高まっている。
本稿では, 難解な事例に対して, 性能を著しく向上させる, 自動型ニューラルネットワーク特許造園システムを提案する。
論文 参考訳（メタデータ） (2024-07-10T19:13:37Z) - Natural Language Processing in Patents: A Survey [0.0]
重要な技術的および法的情報をカプセル化した特許は、自然言語処理(NLP)アプリケーションのための豊富なドメインを提供する。
NLP技術が発展するにつれて、大規模言語モデル(LLM)は一般的なテキスト処理や生成タスクにおいて優れた能力を示してきた。
本稿は,NLP研究者に,この複雑な領域を効率的にナビゲートするために必要な知識を付与することを目的とする。
論文 参考訳（メタデータ） (2024-03-06T23:17:16Z) - Federated Learning-Empowered AI-Generated Content in Wireless Networks [58.48381827268331]
フェデレートドラーニング(FL)は、学習効率を改善し、AIGCのプライバシー保護を達成するために利用することができる。
我々は,AIGCの強化を目的としたFLベースの技術を提案し,ユーザが多様でパーソナライズされた高品質なコンテンツを作成できるようにすることを目的とする。
論文 参考訳（メタデータ） (2023-07-14T04:13:11Z) - UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language
Models [100.4659557650775]
構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。
どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
論文 参考訳（メタデータ） (2023-05-02T17:33:28Z) - Multi label classification of Artificial Intelligence related patents
using Modified D2SBERT and Sentence Attention mechanism [0.0]
本稿では,自然言語処理技術とディープラーニング手法を用いて,USPTOが発行する人工知能関連特許を分類する手法を提案する。
実験結果は,他の深層学習法と比較して高い性能を示した。
論文 参考訳（メタデータ） (2023-03-03T12:27:24Z) - A Survey on Sentence Embedding Models Performance for Patent Analysis [0.0]
本稿では,PatentSBERTaアプローチに基づく埋め込みモデルの精度を評価するための標準ライブラリとデータセットを提案する。
patentSBERTa, Bert-for-patents, and TF-IDF Weighted Word Embeddings is the most accuracy for computing sentence embeddeds at the subclass level。
論文 参考訳（メタデータ） (2022-04-28T12:04:42Z) - Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。
現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。
本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
論文 参考訳（メタデータ） (2021-06-14T20:48:48Z) - Pre-Trained Models: Past, Present and Future [126.21572378910746]
大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。
知識を巨大なパラメータに格納し、特定のタスクを微調整することで、巨大なパラメータに暗黙的にエンコードされた豊富な知識は、さまざまな下流タスクの恩恵を受けることができる。
AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。
論文 参考訳（メタデータ） (2021-06-14T02:40:32Z) - An interdisciplinary conceptual study of Artificial Intelligence (AI)
for helping benefit-risk assessment practices: Towards a comprehensive
qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。
目的は、AIシステムを評価するための共有概念や相違点を特定することである。
論文 参考訳（メタデータ） (2021-05-07T12:01:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。