論文の概要: PatentGPT: A Large Language Model for Intellectual Property
- arxiv url: http://arxiv.org/abs/2404.18255v2
- Date: Tue, 30 Apr 2024 05:14:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-01 12:57:01.995926
- Title: PatentGPT: A Large Language Model for Intellectual Property
- Title（参考訳）: PatentGPT:知的財産のための大規模言語モデル
- Authors: Zilong Bai, Ruiji Zhang, Linqing Chen, Qijun Cai, Yuan Zhong, Cong Wang, Yan Fang, Jie Fang, Jing Sun, Weikuan Wang, Lizhi Zhou, Haoran Hua, Tian Qiu, Chaochao Wang, Cheng Sun, Jianping Lu, Yixin Wang, Yubin Xia, Meng Hu, Haowen Liu, Peng Xu, Licong Xu, Fu Bian, Xiaolong Gu, Lisha Zhang, Weilei Wang, Changyang Tu,
- Abstract要約: 大規模言語モデルは、多くの自然言語処理タスクにまたがる例外的なパフォーマンスのために、大きな注目を集めている。
しかし,知的財産権(IP)分野における大規模言語モデルの応用は,専門知識の要求が強いため困難である。
我々は、IPドメインのユニークな要件を満たす、IP指向のLLMをトレーニングするための、低コストで標準化された手順を初めて提示する。
- 参考スコア（独自算出の注目度）: 26.31216865513109
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, large language models have attracted significant attention due to their exceptional performance across a multitude of natural language process tasks, and have been widely applied in various fields. However, the application of large language models in the Intellectual Property (IP) space is challenging due to the strong need for specialized knowledge, privacy protection, processing of extremely long text in this field. In this technical report, we present for the first time a low-cost, standardized procedure for training IP-oriented LLMs, meeting the unique requirements of the IP domain. Using this standard process, we have trained the PatentGPT series models based on open-source pretrained models. By evaluating them on the open-source IP-oriented benchmark MOZIP, our domain-specific LLMs outperforms GPT-4, indicating the effectiveness of the proposed training procedure and the expertise of the PatentGPT models in the IP demain. What is impressive is that our model significantly outperformed GPT-4 on the 2019 China Patent Agent Qualification Examination by achieving a score of 65, reaching the level of human experts. Additionally, the PatentGPT model, which utilizes the SMoE architecture, achieves performance comparable to that of GPT-4 in the IP domain and demonstrates a better cost-performance ratio on long-text tasks, potentially serving as an alternative to GPT-4 within the IP domain.
- Abstract（参考訳）: 近年,多数の自然言語処理タスクにまたがる例外的な性能により,大規模言語モデルが注目され,様々な分野に広く応用されている。
しかし、知的財産権(IP)分野における大規模言語モデルの応用は、専門知識、プライバシー保護、この分野における極端に長いテキストの処理の必要性が強いため、困難である。
本技術報告では,IP ドメインのユニークな要件を満たす,IP 指向 LLM をトレーニングするための,低コストで標準化された手順を初めて提示する。
この標準プロセスを用いて,オープンソース事前学習モデルに基づく特許GPTシリーズモデルを訓練した。
オープンソースのIP指向ベンチマークMOZIPで評価することにより、ドメイン固有のLCMはGPT-4よりも優れており、提案したトレーニング手順の有効性とIP領域における特許GPTモデルの専門性を示している。
驚くべきことに、2019年の中国特許代理人資格試験において、我々のモデルは、65のスコアを獲得し、人間の専門家のレベルに達したことで、GPT-4を著しく上回った。
さらに、SMoE アーキテクチャを利用する PatentGPT モデルは、IP ドメインの GPT-4 に匹敵する性能を達成し、IP ドメイン内の GPT-4 の代替として機能し、長文タスクのコストパフォーマンスを向上する。
関連論文リスト
- PatentGPT: A Large Language Model for Patent Drafting Using Knowledge-based Fine-tuning Method [1.4496326701907591]
既存の大規模言語モデル(LLM)は、専門知識の欠如とコンテキスト認識の欠如により、IP生成領域では不足することが多い。
我々は,LLMの知識微調整(KFT)のための画期的なフレームワークを提案する。
我々のモデルであるPatentGPTは、最先端モデルと比較して、特許関連のベンチマークテストで最大400%高い性能を示した。
論文 参考訳（メタデータ） (2024-08-26T12:00:29Z) - Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。
本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。
その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
論文 参考訳（メタデータ） (2024-07-30T08:50:16Z) - IPEval: A Bilingual Intellectual Property Agency Consultation Evaluation Benchmark for Large Language Models [13.103862590594705]
IPEvalは、IPの作成、アプリケーション、保護、管理の4つの主要な領域にわたる2657の多重選択質問で構成されている。
評価手法には、ゼロショット、5秒ショット、および7つのLLMタイプに対するCoT(Chain of Thought)が含まれる。
GPTシリーズやQwenシリーズのようなモデルによる英語のパフォーマンスは優れており、中国語中心のLLMは中国語テストで優れている。
論文 参考訳（メタデータ） (2024-06-18T08:18:18Z) - MoZIP: A Multilingual Benchmark to Evaluate Large Language Models in
Intellectual Property [51.43412400869531]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて顕著な性能を示した。
我々は,知的財産に関する初のマルチ言語指向クイズ (Multilingual-oriented quiZ on Intellectual Property, MoZIP) をIP領域におけるLLMの評価のために提案する。
我々はまた,多言語IP関連テキストデータを微調整したBLOOMZベースモデルである,新しいIP指向多言語大言語モデル(MoZi)を開発した。
論文 参考訳（メタデータ） (2024-02-26T08:27:50Z) - OMPGPT: A Generative Pre-trained Transformer Model for OpenMP [6.917568654215119]
OMPGPTは、OpenMPプラグマ生成のための言語モデル固有の強みを巧みに活用するために設計された、新しいドメイン固有モデルである。
我々は、NLPドメインからの迅速なエンジニアリング技術を活用し、OMPGPTの有効性を高めるために設計された革新的な戦略であるChain-of-OMPを作成する。
論文 参考訳（メタデータ） (2024-01-28T06:06:59Z) - HuatuoGPT-II, One-stage Training for Medical Adaption of LLMs [61.41790586411816]
HuatuoGPT-IIは、いくつかのベンチマークで、中国の医学領域における最先端のパフォーマンスを示している。
さらに、ChatGPTやGPT-4といったプロプライエタリなモデルよりも、特に中国伝統医学において優れています。
論文 参考訳（メタデータ） (2023-11-16T10:56:24Z) - ChipNeMo: Domain-Adapted LLMs for Chip Design [19.43613652552849]
ChipNeMoは、産業用チップ設計のための大規模言語モデル(LLM)の応用を探求することを目的としている。
ドメイン適応型トークン化、ドメイン適応型継続事前トレーニング、ドメイン固有命令とのモデルアライメント、ドメイン適応型検索モデルを採用する。
論文 参考訳（メタデータ） (2023-10-31T22:35:58Z) - The Dawn of LMMs: Preliminary Explorations with GPT-4V(ision) [121.42924593374127]
我々は,最新のモデルであるGPT-4Vを分析し,LMMの理解を深める。
GPT-4Vは、任意にインターリーブされたマルチモーダル入力を処理するという前例のない能力により、強力なマルチモーダルジェネラリストシステムとなっている。
GPT-4Vの、入力画像に描かれた視覚マーカーを理解するユニークな能力は、新しい人間とコンピュータの相互作用方法をもたらす。
論文 参考訳（メタデータ） (2023-09-29T17:34:51Z) - Exploring the Trade-Offs: Unified Large Language Models vs Local
Fine-Tuned Models for Highly-Specific Radiology NLI Task [49.50140712943701]
NLIタスクにおけるChatGPT/GPT-4の性能評価を行い、タスク関連データサンプルに特化して微調整された他のモデルと比較する。
また,ChatGPT/GPT-4の推論能力について,様々な推論難易度を導入して総合的な調査を行った。
論文 参考訳（メタデータ） (2023-04-18T17:21:48Z) - GPT-4 Technical Report [116.90398195245983]
GPT-4は大規模なマルチモーダルモデルであり、画像やテキストの入力を受け取り、テキスト出力を生成することができる。
試験受験者の上位10%のスコアで模擬試験に合格するなど、さまざまな専門的、学術的なベンチマークで人間レベルのパフォーマンスを示す。
論文 参考訳（メタデータ） (2023-03-15T17:15:04Z) - Linguistically Informed Masking for Representation Learning in the
Patent Domain [7.911344873839031]
本稿では、特許の言語パターンにドメイン適応型事前学習を集中させる、経験的動機付け言語情報マスキング(LIM)手法を提案する。
我々は、特許、科学および汎用言語間の関連する相違を定量化する。
特許ドメインのドメイン適応において、異なる情報ソースからの学習のバランスをとることが及ぼす影響を実証する。
論文 参考訳（メタデータ） (2021-06-10T14:20:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。