論文の概要: Large Language Model for Patent Concept Generation

• arxiv url: http://arxiv.org/abs/2409.00092v3
• Date: Tue, 08 Apr 2025 05:07:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 16:56:56.600789
• Title: Large Language Model for Patent Concept Generation
• Title（参考訳）: 特許概念生成のための大規模言語モデル
• Authors: Runtao Ren, Jian Ma, Jianxi Luo,
• Abstract要約: 既存の大規模言語モデル(LLM)は、専門知識の欠如により、革新的な概念生成に不足することが多い。 我々は、LLMベースのAIを自律的にマイニングし、理解し、適用するための新しい知識微調整(KFT)フレームワークを提案する。 本稿では,知識注入事前学習(KPT),ドメイン固有教師付き微調整(SFT),人的フィードバックからの強化学習を統合した。
• 参考スコア（独自算出の注目度）: 2.4368308736427697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In traditional innovation practices, concept and IP generation are often iteratively integrated. Both processes demand an intricate understanding of advanced technical domain knowledge. Existing large language models (LLMs), while possessing massive pre-trained knowledge, often fall short in the innovative concept generation due to a lack of specialized knowledge necessary for the generation. To bridge this critical gap, we propose a novel knowledge finetuning (KFT) framework to endow LLM-based AI with the ability to autonomously mine, understand, and apply domain-specific knowledge and concepts for invention generation, i.e., concept and patent generation together. Our proposed PatentGPT integrates knowledge injection pre-training (KPT), domain-specific supervised finetuning (SFT), and reinforcement learning from human feedback (RLHF). Extensive evaluation shows that PatentGPT significantly outperforms the state-of-the-art models on patent-related benchmark tests. Our method not only provides new insights into data-driven innovation but also paves a new path to fine-tune LLMs for applications in the context of technology. We also discuss the managerial and policy implications of AI-generating inventions in the future.
• Abstract（参考訳）: 伝統的なイノベーションの実践では、概念とIP生成はしばしば反復的に統合されます。 どちらのプロセスも高度な技術ドメイン知識の複雑な理解を必要としている。 既存の大規模言語モデル(LLM)は、大量の事前訓練された知識を持っているが、世代に必要な専門知識が不足しているため、革新的な概念生成には不足することが多い。 この重要なギャップを埋めるために、我々は、LLMベースのAIを自律的にマイニング、理解、応用し、ドメイン固有の知識と概念、すなわち概念と特許生成を融合させる新しい知識微調整(KFT)フレームワークを提案する。 本稿では,知識注入事前学習(KPT),ドメイン固有教師付き微調整(SFT),ヒューマンフィードバックからの強化学習(RLHF)を統合した。 広範囲な評価は、特許関連ベンチマークテストにおいて、特許GPTが最先端のモデルを大幅に上回っていることを示している。 我々の手法は、データ駆動イノベーションに関する新たな洞察を提供するだけでなく、テクノロジーの文脈におけるアプリケーションのための微調整LDMへの新たな道を開く。 また,今後AIを創出する発明の経営的・政策的意味についても論じる。

関連論文リスト

• How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training [92.88889953768455]
  大きな言語モデル(LLM)は、どのようにして新しい知識を内部化するかを理解する上で、重大なギャップに直面します。 知識記憶と処理を容易にする計算サブグラフを同定する。
  論文  参考訳（メタデータ） (2025-02-16T16:55:43Z)
• Patent Novelty Assessment Accelerating Innovation and Patent Prosecution [0.873811641236639]
  本報告では,特許ノベルティ評価とクレーム生成システムについて紹介する。 我々のシステムは、特許請求の複雑さをナビゲートし把握するための直感的なプラットフォームを大学生や研究者に提供する。 従来の分析システムとは異なり、我々のイニシアチブは独自に開発した中国語のAPIを利用して、非並列の精度と妥当性を保証する。
  論文  参考訳（メタデータ） (2025-01-12T22:25:46Z)
• EvoPat: A Multi-LLM-based Patents Summarization and Analysis Agent [0.0]
  EvoPatはマルチLLMベースの特許エージェントで、ユーザーが検索生成(RAG)と高度な検索戦略を通じて特許を分析するのを支援する。 特許要約,比較分析,技術評価などのタスクにおいて,EvoPatがGPT-4より優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-24T02:21:09Z)
• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Early screening of potential breakthrough technologies with enhanced interpretability: A patent-specific hierarchical attention network model [4.779196219827507]
  本稿では,特許文書から将来的な引用数を予測するための解釈可能な機械学習手法を提案する。 35,376の医薬品特許のケーススタディは、我々のアプローチの有効性を実証している。 提案手法は, ブレークスルー技術を特定する上で, 専門家と機械の協調性を高めることが期待されている。
  論文  参考訳（メタデータ） (2024-07-24T02:17:10Z)
• Automated Neural Patent Landscaping in the Small Data Regime [6.284464997330885]
  近年の特許活動の急速な拡大により、効率的かつ効果的な自動的特許造成アプローチの必要性が高まっている。 本稿では, 難解な事例に対して, 性能を著しく向上させる, 自動型ニューラルネットワーク特許造園システムを提案する。
  論文  参考訳（メタデータ） (2024-07-10T19:13:37Z)
• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
  大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
  論文  参考訳（メタデータ） (2024-05-10T02:48:45Z)
• AutoTRIZ: Automating Engineering Innovation with TRIZ and Large Language Models [4.2817602622158395]
  AutoTRIZは、大規模言語モデル(LLM)を統合して、発明問題解決理論(TRIZ)方法論を自動化し、拡張する人工的な概念体系である。 LLMの膨大な事前訓練された知識と高度な推論能力を活用することで、AutoTRIZは技術革新に対する新しい、生成的で解釈可能なアプローチを提供する。 教科書ケースとの比較実験と電池熱管理システム(BTMS)設計における実世界の応用によるAutoTRIZの有効性の実証と評価を行った。
  論文  参考訳（メタデータ） (2024-03-13T02:53:36Z)
• Natural Language Processing in Patents: A Survey [0.0]
  重要な技術的および法的情報をカプセル化した特許は、自然言語処理(NLP)アプリケーションのための豊富なドメインを提供する。 NLP技術が発展するにつれて、大規模言語モデル(LLM)は一般的なテキスト処理や生成タスクにおいて優れた能力を示してきた。 本稿は,NLP研究者に,この複雑な領域を効率的にナビゲートするために必要な知識を付与することを目的とする。
  論文  参考訳（メタデータ） (2024-03-06T23:17:16Z)
• Adaptive Taxonomy Learning and Historical Patterns Modelling for Patent Classification [26.85734804493925]
  本稿では,特許分類に関する特許に関する情報を包括的に検討する統合フレームワークを提案する。 まず,その意味表現を導出するためのICC符号相関学習モジュールを提案する。 最後に、IPC符号のセマンティクスを含む特許文書の文脈情報と、予測を行うために利用者のシーケンシャルな選好を割り当てる。
  論文  参考訳（メタデータ） (2023-08-10T07:02:24Z)
• Federated Learning-Empowered AI-Generated Content in Wireless Networks [58.48381827268331]
  フェデレートドラーニング(FL)は、学習効率を改善し、AIGCのプライバシー保護を達成するために利用することができる。 我々は,AIGCの強化を目的としたFLベースの技術を提案し,ユーザが多様でパーソナライズされた高品質なコンテンツを作成できるようにすることを目的とする。
  論文  参考訳（メタデータ） (2023-07-14T04:13:11Z)
• Recommender Systems in the Era of Large Language Models (LLMs) [62.0129013439038]
  大規模言語モデル(LLM)は自然言語処理(NLP)と人工知能(AI)の分野に革命をもたらした。 我々は, プレトレーニング, ファインチューニング, プロンプティングなどの様々な側面から, LLM を利用したレコメンデータシステムの総合的なレビューを行う。
  論文  参考訳（メタデータ） (2023-07-05T06:03:40Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• Multi label classification of Artificial Intelligence related patents using Modified D2SBERT and Sentence Attention mechanism [0.0]
  本稿では,自然言語処理技術とディープラーニング手法を用いて,USPTOが発行する人工知能関連特許を分類する手法を提案する。 実験結果は,他の深層学習法と比較して高い性能を示した。
  論文  参考訳（メタデータ） (2023-03-03T12:27:24Z)
• MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning [50.40151403246205]
  巨大な言語モデル(LM)は、自然言語ベースの知識タスクのゲートウェイとして機能する、AIの新しい時代を支えている。 離散的な知識と推論モジュールによって補完される、複数のニューラルモデルによる柔軟なアーキテクチャを定義する。 本稿では,MRKL(Modular Reasoning, Knowledge and Language)システムと呼ばれる,このニューロシンボリックアーキテクチャについて述べる。
  論文  参考訳（メタデータ） (2022-05-01T11:01:28Z)
• A Survey on Sentence Embedding Models Performance for Patent Analysis [0.0]
  本稿では,PatentSBERTaアプローチに基づく埋め込みモデルの精度を評価するための標準ライブラリとデータセットを提案する。 patentSBERTa, Bert-for-patents, and TF-IDF Weighted Word Embeddings is the most accuracy for computing sentence embeddeds at the subclass level。
  論文  参考訳（メタデータ） (2022-04-28T12:04:42Z)
• Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
  反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。 現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。 本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
  論文  参考訳（メタデータ） (2021-06-14T20:48:48Z)
• Pre-Trained Models: Past, Present and Future [126.21572378910746]
  大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。 知識を巨大なパラメータに格納し、特定のタスクを微調整することで、巨大なパラメータに暗黙的にエンコードされた豊富な知識は、さまざまな下流タスクの恩恵を受けることができる。 AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。
  論文  参考訳（メタデータ） (2021-06-14T02:40:32Z)
• An interdisciplinary conceptual study of Artificial Intelligence (AI) for helping benefit-risk assessment practices: Towards a comprehensive qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
  本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。 目的は、AIシステムを評価するための共有概念や相違点を特定することである。
  論文  参考訳（メタデータ） (2021-05-07T12:01:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。