論文の概要: PatentGPT: A Large Language Model for Patent Drafting Using Knowledge-based Fine-tuning Method

• arxiv url: http://arxiv.org/abs/2409.00092v1
• Date: Mon, 26 Aug 2024 12:00:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-09-08 15:11:32.924814
• Title: PatentGPT: A Large Language Model for Patent Drafting Using Knowledge-based Fine-tuning Method
• Title（参考訳）: PatentGPT:知識に基づくファインチューニング法を用いた特許文書作成のための大規模言語モデル
• Authors: Runtao Ren, Jian Ma,
• Abstract要約: 既存の大規模言語モデル(LLM)は、専門知識の欠如とコンテキスト認識の欠如により、IP生成領域では不足することが多い。 我々は,LLMの知識微調整(KFT)のための画期的なフレームワークを提案する。 我々のモデルであるPatentGPTは、最先端モデルと比較して、特許関連のベンチマークテストで最大400%高い性能を示した。
• 参考スコア（独自算出の注目度）: 1.4496326701907591
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As humanity stands on the brink of a new era of technological innovation, the ability to rapidly transform creative ideas into protected intellectual property (IP) is more crucial than ever. However, the conventional processes for patent drafting are fraught with challenges, demanding a nuanced understanding of advanced field knowledge and technical concepts. Existing large language models (LLMs), while powerful, often fall short in this IP creation domain due to their lack of specialized knowledge and context-awareness necessary for generating technically accurate patent documents. To bridge this critical gap, we propose a groundbreaking framework for Knowledge Fine-Tuning (KFT) of LLMs, designed to endow AI with the ability to autonomously mine, understand, and apply domain-specific knowledge. Our model, PatentGPT leverages a unique combination of knowledge graph-based pre-training, domain-specific supervised fine-tuning (SFT), and reinforcement learning from human feedback (RLHF). Through extensive evaluation, PatentGPT has demonstrated outstanding performance, scoring up to approximately 400% higher in patent related benchmark tests compared to state-of-the-art models. By KFT method the model's capability to not only assist but also augment human creativity and innovation, our approach sets a new standard for AI-driven intellectual property generation, paving the way for more efficient and effective invention processes.
• Abstract（参考訳）: 人類は技術革新の新たな時代の瀬戸際にあるので、創造的アイデアを知的財産(IP)に迅速に変換する能力は、これまで以上に重要である。 しかし、従来の特許起草プロセスには課題が伴い、先進的な分野知識と技術的概念の微妙な理解が求められている。 既存の大規模言語モデル(LLM)は、技術的に正確な特許文書を生成するのに必要な専門知識や文脈認識が欠如しているため、このIP生成領域では強力ではないことが多い。 この重要なギャップを埋めるため、我々はLLMの知識細調整(KFT)のための画期的なフレームワークを提案し、AIに自律的なマイニング、理解、ドメイン固有の知識の適用を可能にするように設計されている。 我々のモデルであるPatentGPTは、知識グラフに基づく事前学習、ドメイン固有教師付き微調整(SFT)、人間からのフィードバックからの強化学習(RLHF)のユニークな組み合わせを活用している。 広範な評価を通じて、特許GPTは優れた性能を示し、最先端のモデルと比較して、特許関連のベンチマークテストでは最大400%高いスコアを得た。 KFTは、人間の創造性と革新を補助するだけでなく、モデルの能力を高めることで、私たちのアプローチはAI駆動の知的財産生成の新しい標準を設定し、より効率的で効果的な発明プロセスの道を開く。

関連論文リスト

• How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training [92.88889953768455]
  大きな言語モデル(LLM)は、どのようにして新しい知識を内部化するかを理解する上で、重大なギャップに直面します。 知識記憶と処理を容易にする計算サブグラフを同定する。
  論文  参考訳（メタデータ） (2025-02-16T16:55:43Z)
• Patent Novelty Assessment Accelerating Innovation and Patent Prosecution [0.873811641236639]
  本報告では,特許ノベルティ評価とクレーム生成システムについて紹介する。 我々のシステムは、特許請求の複雑さをナビゲートし把握するための直感的なプラットフォームを大学生や研究者に提供する。 従来の分析システムとは異なり、我々のイニシアチブは独自に開発した中国語のAPIを利用して、非並列の精度と妥当性を保証する。
  論文  参考訳（メタデータ） (2025-01-12T22:25:46Z)
• EvoPat: A Multi-LLM-based Patents Summarization and Analysis Agent [0.0]
  EvoPatはマルチLLMベースの特許エージェントで、ユーザーが検索生成(RAG)と高度な検索戦略を通じて特許を分析するのを支援する。 特許要約,比較分析,技術評価などのタスクにおいて,EvoPatがGPT-4より優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-24T02:21:09Z)
• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Early screening of potential breakthrough technologies with enhanced interpretability: A patent-specific hierarchical attention network model [4.779196219827507]
  本稿では,特許文書から将来的な引用数を予測するための解釈可能な機械学習手法を提案する。 35,376の医薬品特許のケーススタディは、我々のアプローチの有効性を実証している。 提案手法は, ブレークスルー技術を特定する上で, 専門家と機械の協調性を高めることが期待されている。
  論文  参考訳（メタデータ） (2024-07-24T02:17:10Z)
• Automated Neural Patent Landscaping in the Small Data Regime [6.284464997330885]
  近年の特許活動の急速な拡大により、効率的かつ効果的な自動的特許造成アプローチの必要性が高まっている。 本稿では, 難解な事例に対して, 性能を著しく向上させる, 自動型ニューラルネットワーク特許造園システムを提案する。
  論文  参考訳（メタデータ） (2024-07-10T19:13:37Z)
• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
  大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
  論文  参考訳（メタデータ） (2024-05-10T02:48:45Z)
• AutoTRIZ: Automating Engineering Innovation with TRIZ and Large Language Models [4.2817602622158395]
  AutoTRIZは、大規模言語モデル(LLM)を統合して、発明問題解決理論(TRIZ)方法論を自動化し、拡張する人工的な概念体系である。 LLMの膨大な事前訓練された知識と高度な推論能力を活用することで、AutoTRIZは技術革新に対する新しい、生成的で解釈可能なアプローチを提供する。 教科書ケースとの比較実験と電池熱管理システム(BTMS)設計における実世界の応用によるAutoTRIZの有効性の実証と評価を行った。
  論文  参考訳（メタデータ） (2024-03-13T02:53:36Z)
• Natural Language Processing in Patents: A Survey [0.0]
  重要な技術的および法的情報をカプセル化した特許は、自然言語処理(NLP)アプリケーションのための豊富なドメインを提供する。 NLP技術が発展するにつれて、大規模言語モデル(LLM)は一般的なテキスト処理や生成タスクにおいて優れた能力を示してきた。 本稿は,NLP研究者に,この複雑な領域を効率的にナビゲートするために必要な知識を付与することを目的とする。
  論文  参考訳（メタデータ） (2024-03-06T23:17:16Z)
• Adaptive Taxonomy Learning and Historical Patterns Modelling for Patent Classification [26.85734804493925]
  本稿では,特許分類に関する特許に関する情報を包括的に検討する統合フレームワークを提案する。 まず,その意味表現を導出するためのICC符号相関学習モジュールを提案する。 最後に、IPC符号のセマンティクスを含む特許文書の文脈情報と、予測を行うために利用者のシーケンシャルな選好を割り当てる。
  論文  参考訳（メタデータ） (2023-08-10T07:02:24Z)
• Federated Learning-Empowered AI-Generated Content in Wireless Networks [58.48381827268331]
  フェデレートドラーニング(FL)は、学習効率を改善し、AIGCのプライバシー保護を達成するために利用することができる。 我々は,AIGCの強化を目的としたFLベースの技術を提案し,ユーザが多様でパーソナライズされた高品質なコンテンツを作成できるようにすることを目的とする。
  論文  参考訳（メタデータ） (2023-07-14T04:13:11Z)
• Recommender Systems in the Era of Large Language Models (LLMs) [62.0129013439038]
  大規模言語モデル(LLM)は自然言語処理(NLP)と人工知能(AI)の分野に革命をもたらした。 我々は, プレトレーニング, ファインチューニング, プロンプティングなどの様々な側面から, LLM を利用したレコメンデータシステムの総合的なレビューを行う。
  論文  参考訳（メタデータ） (2023-07-05T06:03:40Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• Multi label classification of Artificial Intelligence related patents using Modified D2SBERT and Sentence Attention mechanism [0.0]
  本稿では,自然言語処理技術とディープラーニング手法を用いて,USPTOが発行する人工知能関連特許を分類する手法を提案する。 実験結果は,他の深層学習法と比較して高い性能を示した。
  論文  参考訳（メタデータ） (2023-03-03T12:27:24Z)
• MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning [50.40151403246205]
  巨大な言語モデル(LM)は、自然言語ベースの知識タスクのゲートウェイとして機能する、AIの新しい時代を支えている。 離散的な知識と推論モジュールによって補完される、複数のニューラルモデルによる柔軟なアーキテクチャを定義する。 本稿では,MRKL(Modular Reasoning, Knowledge and Language)システムと呼ばれる,このニューロシンボリックアーキテクチャについて述べる。
  論文  参考訳（メタデータ） (2022-05-01T11:01:28Z)
• A Survey on Sentence Embedding Models Performance for Patent Analysis [0.0]
  本稿では,PatentSBERTaアプローチに基づく埋め込みモデルの精度を評価するための標準ライブラリとデータセットを提案する。 patentSBERTa, Bert-for-patents, and TF-IDF Weighted Word Embeddings is the most accuracy for computing sentence embeddeds at the subclass level。
  論文  参考訳（メタデータ） (2022-04-28T12:04:42Z)
• Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
  反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。 現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。 本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
  論文  参考訳（メタデータ） (2021-06-14T20:48:48Z)
• Pre-Trained Models: Past, Present and Future [126.21572378910746]
  大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。 知識を巨大なパラメータに格納し、特定のタスクを微調整することで、巨大なパラメータに暗黙的にエンコードされた豊富な知識は、さまざまな下流タスクの恩恵を受けることができる。 AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。
  論文  参考訳（メタデータ） (2021-06-14T02:40:32Z)
• An interdisciplinary conceptual study of Artificial Intelligence (AI) for helping benefit-risk assessment practices: Towards a comprehensive qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
  本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。 目的は、AIシステムを評価するための共有概念や相違点を特定することである。
  論文  参考訳（メタデータ） (2021-05-07T12:01:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。