論文の概要: InstructPatentGPT: Training patent language models to follow instructions with human feedback
- arxiv url: http://arxiv.org/abs/2406.16897v1
- Date: Sat, 25 May 2024 11:48:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 06:41:31.133821
- Title: InstructPatentGPT: Training patent language models to follow instructions with human feedback
- Title（参考訳）: InstructPatentGPT:人間のフィードバックによる指示に従うために特許言語モデルを訓練する
- Authors: Jieh-Sheng Lee,
- Abstract要約: この研究は、言語モデルが付与される可能性の高い特許クレームを生成する可能性を高めることを目的としている。
言語モデルの制御性を示すために、システムは与えられた特許と異なる報酬を持つプレグラントアプリケーションから学習する。
- 参考スコア（独自算出の注目度）: 0.9790236766474201
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this research, patent prosecution is conceptualized as a system of reinforcement learning from human feedback. The objective of the system is to increase the likelihood for a language model to generate patent claims that have a higher chance of being granted. To showcase the controllability of the language model, the system learns from granted patents and pre-grant applications with different rewards. The status of "granted" and "pre-grant" are perceived as labeled human feedback implicitly. In addition, specific to patent drafting, the experiments in this research demonstrate the model's capability to learn from adjusting claim length and inclusion of limiting terms for narrowing claim scope. As proof of concept, the experiments focus on claim ones only and the training data originates from a patent dataset tailored specifically for artificial intelligence. Although the available human feedback in patent prosecution are limited and the quality of generated patent text requires improvement, the experiments following the 3-stage reinforcement learning from human feedback have demonstrated that generative language models are capable of reflecting the human feedback or intent in patent prosecution. To enhance the usability of language models, the implementation in this research utilizes modern techniques that enable execution on a single consumer-grade GPU. The demonstrated proof of concept, which reduces hardware requirements, will prove valuable in the future as more human feedback in patent prosecution become available for broader use, either within patent offices or in the public domain.
- Abstract（参考訳）: 本研究では,人間のフィードバックによる強化学習システムとして,特許の訴追が概念化されている。
システムの目的は、言語モデルが付与される可能性の高い特許クレームを生成する可能性を高めることである。
言語モデルの制御性を示すために、システムは与えられた特許と異なる報酬を持つプレグラントアプリケーションから学習する。
グラインド」と「プレグラント」のステータスは、人間のフィードバックを暗黙的にラベル付けしていると認識されている。
さらに,特許の起草に特化して,クレームの長さの調整から,クレーム範囲を狭めるための制限項を含めることからモデルを学習する能力を示す実験を行った。
概念実証として、実験はクレームのみに焦点を当て、トレーニングデータは人工知能に特化した特許データセットに由来する。
特許手続における人的フィードバックは限定的であり, 生成した特許文書の品質には改善が必要であるが, 人的フィードバックからの3段階強化学習の結果, 生成言語モデルが人的フィードバックを反映し, 特許手続における意図を反映できることが実証された。
言語モデルのユーザビリティを高めるために,本研究では,単一のコンシューマグレードGPU上での実行を可能にする,現代的な技術を活用している。
実証された概念実証は、ハードウェア要件を減らし、将来有益であることが証明される。
関連論文リスト
- Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
検索強化に関して,言語モデルの信頼性に焦点をあてる。
検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。
言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
論文 参考訳（メタデータ） (2024-10-22T09:25:21Z) - ClaimBrush: A Novel Framework for Automated Patent Claim Refinement Based on Large Language Models [3.3427063846107825]
ClaimBrushは、データセットと書き換えモデルを含む、自動パテントクレーム改善のための新しいフレームワークである。
本研究は,特許請求書書き換え事例を多数集めて,特許請求書書き換えモデルの訓練と評価のためのデータセットを構築した。
提案する書き換えモデルは,最先端の大規模言語モデルにおいて,ベースラインとゼロショット学習に優れていた。
論文 参考訳（メタデータ） (2024-10-08T00:20:54Z) - Early screening of potential breakthrough technologies with enhanced interpretability: A patent-specific hierarchical attention network model [4.779196219827507]
本稿では,特許文書から将来的な引用数を予測するための解釈可能な機械学習手法を提案する。
35,376の医薬品特許のケーススタディは、我々のアプローチの有効性を実証している。
提案手法は, ブレークスルー技術を特定する上で, 専門家と機械の協調性を高めることが期待されている。
論文 参考訳（メタデータ） (2024-07-24T02:17:10Z) - Evaluating Copyright Takedown Methods for Language Models [100.38129820325497]
言語モデル(LM)は、潜在的に著作権のある資料を含む様々なデータに対する広範な訓練からその能力を引き出す。
本稿では,LMの著作権削除の可能性と副作用を初めて評価する。
システムプロンプトの追加、デコード時間フィルタリングの介入、未学習アプローチなど、いくつかの戦略を検討する。
論文 参考訳（メタデータ） (2024-06-26T18:09:46Z) - PatentEval: Understanding Errors in Patent Generation [9.981773213952994]
本稿では,機械が生成する特許文書において,2つの異なるタスクを評価するために特別に設計された包括的エラータイプポロジーを紹介する。
我々はまた,この文脈で言語モデルを体系的に評価するためのベンチマークであるPatentEvalを開発した。
論文 参考訳（メタデータ） (2024-06-05T13:55:27Z) - Language Models: A Guide for the Perplexed [51.88841610098437]
このチュートリアルは、言語モデルを学ぶ人と、興味を持ち、もっと学びたいと思う人とのギャップを狭めることを目的としています。
実験を通して学ぶことができる質問に焦点を当てた科学的視点を提供する。
言語モデルは、現在、その開発に繋がる研究の文脈に置かれています。
論文 参考訳（メタデータ） (2023-11-29T01:19:02Z) - Unveiling Black-boxes: Explainable Deep Learning Models for Patent
Classification [48.5140223214582]
深部不透明ニューラルネットワーク(DNN)を利用した多ラベル特許分類のための最先端手法
レイヤワイド関連伝搬(Layer-wise Relevance propagation, LRP)を導入し, 特許の詳細な分類手法を提案する。
関連性スコアを考慮し、予測された特許クラスに関連する単語を視覚化して説明を生成する。
論文 参考訳（メタデータ） (2023-10-31T14:11:37Z) - Evaluating Generative Patent Language Models [1.8275108630751844]
この原稿は、特許ドメインで生成言語モデルを構築することを目的としている。
パースペクティブは、自動補完によって保存できるキーストロークの割合を測定することである。
この写本で構築された最大のモデルは6Bであり、特許領域における最先端の技術である。
論文 参考訳（メタデータ） (2022-06-23T08:58:05Z) - A Survey on Sentence Embedding Models Performance for Patent Analysis [0.0]
本稿では,PatentSBERTaアプローチに基づく埋め込みモデルの精度を評価するための標準ライブラリとデータセットを提案する。
patentSBERTa, Bert-for-patents, and TF-IDF Weighted Word Embeddings is the most accuracy for computing sentence embeddeds at the subclass level。
論文 参考訳（メタデータ） (2022-04-28T12:04:42Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳（メタデータ） (2021-12-17T18:29:56Z) - A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
既存の説明可能性技術を評価するための診断特性のリストを作成する。
そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
論文 参考訳（メタデータ） (2020-09-25T12:01:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。