論文の概要: Large Language Model for Patent Concept Generation

• arxiv url: http://arxiv.org/abs/2409.00092v2
• Date: Tue, 25 Mar 2025 08:24:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:52:27.470898
• Title: Large Language Model for Patent Concept Generation
• Title（参考訳）: 特許概念生成のための大規模言語モデル
• Authors: Runtao Ren, Jian Ma, Jianxi Luo,
• Abstract要約: 既存の大規模言語モデル(LLM)は、専門知識の欠如により、革新的な概念生成に不足することが多い。 我々は、LLMベースのAIを自律的にマイニングし、理解し、適用するための新しい知識微調整(KFT)フレームワークを提案する。 本稿では,知識注入事前学習(KPT),ドメイン固有教師付き微調整(SFT),人的フィードバックからの強化学習を統合した。
• 参考スコア（独自算出の注目度）: 2.4368308736427697
• License:
• Abstract: In traditional innovation practices, concept and IP generation are often iteratively integrated. Both processes demand an intricate understanding of advanced technical domain knowledge. Existing large language models (LLMs), while possessing massive pre-trained knowledge, often fall short in the innovative concept generation due to a lack of specialized knowledge necessary for the generation. To bridge this critical gap, we propose a novel knowledge finetuning (KFT) framework to endow LLM-based AI with the ability to autonomously mine, understand, and apply domain-specific knowledge and concepts for invention generation, i.e., concept and patent generation together. Our proposed PatentGPT integrates knowledge injection pre-training (KPT), domain-specific supervised finetuning (SFT), and reinforcement learning from human feedback (RLHF). Extensive evaluation shows that PatentGPT significantly outperforms the state-of-the-art models on patent-related benchmark tests. Our method not only provides new insights into data-driven innovation but also paves a new path to fine-tune LLMs for applications in the context of technology. We also discuss the managerial and policy implications of AI-generating inventions in the future.
• Abstract（参考訳）: 伝統的なイノベーションの実践では、概念とIP生成はしばしば反復的に統合されます。 どちらのプロセスも高度な技術ドメイン知識の複雑な理解を必要としている。 既存の大規模言語モデル(LLM)は、大量の事前訓練された知識を持っているが、世代に必要な専門知識が不足しているため、革新的な概念生成には不足することが多い。 この重要なギャップを埋めるために、我々は、LLMベースのAIを自律的にマイニング、理解、応用し、ドメイン固有の知識と概念、すなわち概念と特許生成を融合させる新しい知識微調整(KFT)フレームワークを提案する。 本稿では,知識注入事前学習(KPT),ドメイン固有教師付き微調整(SFT),ヒューマンフィードバックからの強化学習(RLHF)を統合した。 広範囲な評価は、特許関連ベンチマークテストにおいて、特許GPTが最先端のモデルを大幅に上回っていることを示している。 我々の手法は、データ駆動イノベーションに関する新たな洞察を提供するだけでなく、テクノロジーの文脈におけるアプリケーションのための微調整LDMへの新たな道を開く。 また,今後AIを創出する発明の経営的・政策的意味についても論じる。

関連論文リスト

• Patent Novelty Assessment Accelerating Innovation and Patent Prosecution [0.873811641236639]
  本報告では,特許ノベルティ評価とクレーム生成システムについて紹介する。 我々のシステムは、特許請求の複雑さをナビゲートし把握するための直感的なプラットフォームを大学生や研究者に提供する。 従来の分析システムとは異なり、我々のイニシアチブは独自に開発した中国語のAPIを利用して、非並列の精度と妥当性を保証する。
  論文  参考訳（メタデータ） (2025-01-12T22:25:46Z)
• EvoPat: A Multi-LLM-based Patents Summarization and Analysis Agent [0.0]
  EvoPatはマルチLLMベースの特許エージェントで、ユーザーが検索生成(RAG)と高度な検索戦略を通じて特許を分析するのを支援する。 特許要約,比較分析,技術評価などのタスクにおいて,EvoPatがGPT-4より優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-24T02:21:09Z)
• Early screening of potential breakthrough technologies with enhanced interpretability: A patent-specific hierarchical attention network model [4.779196219827507]
  本稿では,特許文書から将来的な引用数を予測するための解釈可能な機械学習手法を提案する。 35,376の医薬品特許のケーススタディは、我々のアプローチの有効性を実証している。 提案手法は, ブレークスルー技術を特定する上で, 専門家と機械の協調性を高めることが期待されている。
  論文  参考訳（メタデータ） (2024-07-24T02:17:10Z)
• Natural Language Processing in Patents: A Survey [0.0]
  重要な技術的および法的情報をカプセル化した特許は、自然言語処理(NLP)アプリケーションのための豊富なドメインを提供する。 NLP技術が発展するにつれて、大規模言語モデル(LLM)は一般的なテキスト処理や生成タスクにおいて優れた能力を示してきた。 本稿は,NLP研究者に,この複雑な領域を効率的にナビゲートするために必要な知識を付与することを目的とする。
  論文  参考訳（メタデータ） (2024-03-06T23:17:16Z)
• Federated Learning-Empowered AI-Generated Content in Wireless Networks [58.48381827268331]
  フェデレートドラーニング(FL)は、学習効率を改善し、AIGCのプライバシー保護を達成するために利用することができる。 我々は,AIGCの強化を目的としたFLベースの技術を提案し,ユーザが多様でパーソナライズされた高品質なコンテンツを作成できるようにすることを目的とする。
  論文  参考訳（メタデータ） (2023-07-14T04:13:11Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• Multi label classification of Artificial Intelligence related patents using Modified D2SBERT and Sentence Attention mechanism [0.0]
  本稿では,自然言語処理技術とディープラーニング手法を用いて,USPTOが発行する人工知能関連特許を分類する手法を提案する。 実験結果は,他の深層学習法と比較して高い性能を示した。
  論文  参考訳（メタデータ） (2023-03-03T12:27:24Z)
• Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models [89.98762327725112]
  自然言語における常識推論は、人工知能システムの望ましい能力である。 複雑なコモンセンス推論タスクを解決するための典型的な解決策は、知識対応グラフニューラルネットワーク(GNN)エンコーダで事前訓練された言語モデル(PTM)を強化することである。 有効性にもかかわらず、これらのアプローチは重いアーキテクチャ上に構築されており、外部知識リソースがPTMの推論能力をどのように改善するかを明確に説明できない。
  論文  参考訳（メタデータ） (2022-05-04T01:27:36Z)
• Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
  反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。 現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。 本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
  論文  参考訳（メタデータ） (2021-06-14T20:48:48Z)
• Pre-Trained Models: Past, Present and Future [126.21572378910746]
  大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。 知識を巨大なパラメータに格納し、特定のタスクを微調整することで、巨大なパラメータに暗黙的にエンコードされた豊富な知識は、さまざまな下流タスクの恩恵を受けることができる。 AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。
  論文  参考訳（メタデータ） (2021-06-14T02:40:32Z)
• An interdisciplinary conceptual study of Artificial Intelligence (AI) for helping benefit-risk assessment practices: Towards a comprehensive qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
  本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。 目的は、AIシステムを評価するための共有概念や相違点を特定することである。
  論文  参考訳（メタデータ） (2021-05-07T12:01:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。