論文の概要: Patent-CR: A Dataset for Patent Claim Revision
- arxiv url: http://arxiv.org/abs/2412.02549v1
- Date: Tue, 03 Dec 2024 16:43:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 15:46:50.723637
- Title: Patent-CR: A Dataset for Patent Claim Revision
- Title（参考訳）: Patent-CR: 特許権侵害の修正のためのデータセット
- Authors: Lekang Jiang, Pascal A Scherz, Stephan Goetz,
- Abstract要約: 本稿では,特許請求書修正作業のために作成された最初のデータセットであるPatent-CRについて述べる。
これには、特許審査官によって拒絶された初期特許出願と、最終認可版の両方が含まれる。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: This paper presents Patent-CR, the first dataset created for the patent claim revision task in English. It includes both initial patent applications rejected by patent examiners and the final granted versions. Unlike normal text revision tasks that predominantly focus on enhancing sentence quality, such as grammar correction and coherence improvement, patent claim revision aims at ensuring the claims meet stringent legal criteria. These criteria are beyond novelty and inventiveness, including clarity of scope, technical accuracy, language precision, and legal robustness. We assess various large language models (LLMs) through professional human evaluation, including general LLMs with different sizes and architectures, text revision models, and domain-specific models. Our results indicate that LLMs often bring ineffective edits that deviate from the target revisions. In addition, domain-specific models and the method of fine-tuning show promising results. Notably, GPT-4 outperforms other tested LLMs, but further revisions are still necessary to reach the examination standard. Furthermore, we demonstrate the inconsistency between automated and human evaluation results, suggesting that GPT-4-based automated evaluation has the highest correlation with human judgment. This dataset, along with our preliminary empirical research, offers invaluable insights for further exploration in patent claim revision.
- Abstract（参考訳）: 本稿では,特許請求書修正作業のために作成された最初のデータセットであるPatent-CRについて述べる。
これには、特許審査官によって拒絶された初期特許出願と、最終認可版の両方が含まれる。
文法修正やコヒーレンス改善などの文質向上に主眼を置いている通常のテキストリビジョンタスクとは異なり、特許請求書リビジョンは、クレームが厳格な法的基準を満たすことを保証することを目的としている。
これらの基準は、スコープの明確さ、技術的正確性、言語精度、法的堅牢性など、斬新さと革新性を超えたものである。
各種大規模言語モデル (LLM) を専門家による評価により評価し, サイズやアーキテクチャの異なる汎用LLM, テキストリビジョンモデル, ドメイン固有モデルなどを検討した。
以上の結果から,LLMは目標修正から逸脱する非効率な編集を行うことが多いことが示唆された。
さらに、ドメイン固有モデルと微調整手法は、有望な結果を示す。
特に、GPT-4は他の試験されたLLMよりも優れているが、試験基準に達するためにはさらなる修正が必要である。
さらに, 自動評価結果と人的評価結果の矛盾を実証し, GPT-4に基づく自動評価が人的判断と最も相関していることを示す。
このデータセットは、予備的な実証研究とともに、特許請求の改訂についてさらに調査するための貴重な洞察を提供する。
関連論文リスト
- Scoring Verifiers: Evaluating Synthetic Verification in Code and Reasoning [59.25951947621526]
本稿では,合成検証手法が解の正当性評価に与える影響を評価するためのベンチマークを紹介する。
我々は,標準,推論,報酬に基づくLLMにおける合成検証手法を解析した。
その結果,最近の推論モデルではテストケースの生成が大幅に改善され,スケールテストケースの精度が向上した。
論文 参考訳（メタデータ） (2025-02-19T15:32:11Z) - Can AI Examine Novelty of Patents?: Novelty Evaluation Based on the Correspondence between Patent Claim and Prior Art [5.655276956391884]
本稿では,特許の新規性を評価するための大規模言語モデル(LLM)の能力を評価することで,新たな課題を提起する。
本研究は,特許試験事例から得られた新規性評価に特化して設計された最初のデータセットについて述べる。
本研究は, 分類モデルが新規性を効果的に評価するのに苦慮する一方で, 生成モデルは合理的な精度で予測を行うことを示した。
論文 参考訳（メタデータ） (2025-02-10T10:09:29Z) - PatentEdits: Framing Patent Novelty as Textual Entailment [62.8514393375952]
このデータセットには105万例の修正が成功している。
我々は、文章を文単位でラベル付けするアルゴリズムを設計し、これらの編集がいかに大きな言語モデルで予測できるかを確立する。
引用引用文と起草文の文的含意を評価することは,どの発明的主張が変化しないか,あるいは先行技術に関して新規かを予測するのに特に有効であることを示す。
論文 参考訳（メタデータ） (2024-11-20T17:23:40Z) - Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。
この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。
そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
論文 参考訳（メタデータ） (2024-11-07T10:31:31Z) - ClaimBrush: A Novel Framework for Automated Patent Claim Refinement Based on Large Language Models [3.3427063846107825]
ClaimBrushは、データセットと書き換えモデルを含む、自動パテントクレーム改善のための新しいフレームワークである。
本研究は,特許請求書書き換え事例を多数集めて,特許請求書書き換えモデルの訓練と評価のためのデータセットを構築した。
提案する書き換えモデルは,最先端の大規模言語モデルにおいて,ベースラインとゼロショット学習に優れていた。
論文 参考訳（メタデータ） (2024-10-08T00:20:54Z) - Can Large Language Models Generate High-quality Patent Claims? [0.7535435234862548]
大規模言語モデル(LLM)は、様々なテキスト生成タスクで例外的なパフォーマンスを示している。
本稿では,特許クレーム生成における現在のLCMの性能を評価するためのデータセットを構築した。
論文 参考訳（メタデータ） (2024-06-27T18:07:40Z) - PatentEval: Understanding Errors in Patent Generation [9.981773213952994]
本稿では,機械が生成する特許文書において,2つの異なるタスクを評価するために特別に設計された包括的エラータイプポロジーを紹介する。
我々はまた,この文脈で言語モデルを体系的に評価するためのベンチマークであるPatentEvalを開発した。
論文 参考訳（メタデータ） (2024-06-05T13:55:27Z) - CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。
CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
論文 参考訳（メタデータ） (2023-11-30T16:52:42Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳（メタデータ） (2023-09-27T14:44:10Z) - WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。
標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。
我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
論文 参考訳（メタデータ） (2023-03-02T17:45:32Z) - A Survey on Sentence Embedding Models Performance for Patent Analysis [0.0]
本稿では,PatentSBERTaアプローチに基づく埋め込みモデルの精度を評価するための標準ライブラリとデータセットを提案する。
patentSBERTa, Bert-for-patents, and TF-IDF Weighted Word Embeddings is the most accuracy for computing sentence embeddeds at the subclass level。
論文 参考訳（メタデータ） (2022-04-28T12:04:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。