論文の概要: PATENTWRITER: A Benchmarking Study for Patent Drafting with LLMs

• arxiv url: http://arxiv.org/abs/2507.22387v1
• Date: Wed, 30 Jul 2025 05:17:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-31 16:14:18.008632
• Title: PATENTWRITER: A Benchmarking Study for Patent Drafting with LLMs
• Title（参考訳）: PATENTWRITER:LLMによる特許出願のベンチマーク研究
• Authors: Homaira Huda Shomee, Suman Kalyan Maity, Sourav Medya,
• Abstract要約: 本稿では,大規模言語モデル(LLM)を活用して特許作成のパラダイムシフトを実現することを目的とする。 PATENTWRITER は,特許抽象生成において LLM を評価するための最初の統一ベンチマークフレームワークである。
• 参考スコア（独自算出の注目度）: 2.9141392786940057
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have emerged as transformative approaches in several important fields. This paper aims for a paradigm shift for patent writing by leveraging LLMs to overcome the tedious patent-filing process. In this work, we present PATENTWRITER, the first unified benchmarking framework for evaluating LLMs in patent abstract generation. Given the first claim of a patent, we evaluate six leading LLMs -- including GPT-4 and LLaMA-3 -- under a consistent setup spanning zero-shot, few-shot, and chain-of-thought prompting strategies to generate the abstract of the patent. Our benchmark PATENTWRITER goes beyond surface-level evaluation: we systematically assess the output quality using a comprehensive suite of metrics -- standard NLP measures (e.g., BLEU, ROUGE, BERTScore), robustness under three types of input perturbations, and applicability in two downstream patent classification and retrieval tasks. We also conduct stylistic analysis to assess length, readability, and tone. Experimental results show that modern LLMs can generate high-fidelity and stylistically appropriate patent abstracts, often surpassing domain-specific baselines. Our code and dataset are open-sourced to support reproducibility and future research.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、いくつかの重要な分野においてトランスフォーメーションアプローチとして登場した。 本稿では,LCMを活用して特許出願プロセスの煩雑さを克服し,特許出願のパラダイムシフトを実現することを目的とする。 本稿では,特許抽象生成におけるLCMを評価するための最初の統一ベンチマークフレームワークであるPATENTWRITERについて述べる。 GPT-4とLLaMA-3を含む6つの主要なLCMを、ゼロショット、少数ショット、チェーン・オブ・シークレットにまたがる一貫した設定で評価し、特許の抽象化を生成する戦略を推し進める。 当社のベンチマークPATENTWRITERは,3種類の入力摂動下での標準NLP尺度(BLEU,ROUGE,BERTScoreなど)と,下流の2つの特許分類および検索タスクにおけるロバスト性を用いて,出力品質を体系的に評価する。 また、長さ、可読性、音色を評価するためのスタイリスティックな分析も行います。 実験結果から、現代のLLMは高忠実でスタイリスティックに適切な特許抽象化を生成でき、しばしばドメイン固有のベースラインを超えることが示されている。 私たちのコードとデータセットは、再現性と将来の研究をサポートするためにオープンソース化されています。

関連論文リスト

• PatentScore: Multi-dimensional Evaluation of LLM-Generated Patent Claims [32.272839191711114]
  LLM生成特許クレームを評価するための多次元評価フレームワークであるPatentScoreを紹介する。 汎用的なNLGメトリクスとは異なり、PatentScoreは特許固有の制約や文書構造を反映し、表面的類似性を超えた評価を可能にする。 我々はPearsonの相関関係を,エキスパートアノテーションを用いた$r = 0.819$で報告し,既存のNLG指標よりも優れていた。
  論文  参考訳（メタデータ） (2025-05-25T22:20:11Z)
• LaRA: Benchmarking Retrieval-Augmented Generation and Long-Context LLMs -- No Silver Bullet for LC or RAG Routing [70.35888047551643]
  本稿では,RAGとLC LLMを厳格に比較するための新しいベンチマークであるLaRAを提案する。 LaRAは4つのQAタスクカテゴリと3種類の自然発生長文の2326のテストケースを含んでいる。 RAGとLCの最適選択は,モデルのパラメータサイズ,長文機能,コンテキスト長,タスクタイプ,取得したチャンクの特性など,複雑な相互作用に依存する。
  論文  参考訳（メタデータ） (2025-02-14T08:04:22Z)
• Can AI Examine Novelty of Patents?: Novelty Evaluation Based on the Correspondence between Patent Claim and Prior Art [5.655276956391884]
  本稿では,特許の新規性を評価するための大規模言語モデル(LLM)の能力を評価することで,新たな課題を提起する。 本研究は,特許試験事例から得られた新規性評価に特化して設計された最初のデータセットについて述べる。 本研究は, 分類モデルが新規性を効果的に評価するのに苦慮する一方で, 生成モデルは合理的な精度で予測を行うことを示した。
  論文  参考訳（メタデータ） (2025-02-10T10:09:29Z)
• AutoPatent: A Multi-Agent Framework for Automatic Patent Generation [16.862811929856313]
  我々はDraft2Patentと呼ばれる新しい実用的なタスクとそれに対応するD2Pベンチマークを導入し、初期ドラフトに基づいて17Kトークンを平均化する完全長の特許を生成するためにLarge Language Modelsに挑戦する。 提案するマルチエージェントフレームワークであるAutoPatentは,LPMベースのプランナーエージェント,ライターエージェント,検査エージェントをPGTreeとRRAGで組み合わせて,長文かつ複雑かつ高品質な特許文書を生成する。
  論文  参考訳（メタデータ） (2024-12-13T02:27:34Z)
• Patent-CR: A Dataset for Patent Claim Revision [0.0]
  本稿では,特許請求書修正作業のために作成された最初のデータセットであるPatent-CRについて述べる。 これには、特許審査官によって拒絶された初期特許出願と、最終認可版の両方が含まれる。
  論文  参考訳（メタデータ） (2024-12-03T16:43:42Z)
• Truth or Mirage? Towards End-to-End Factuality Evaluation with LLM-Oasis [78.07225438556203]
  LLM-Oasisは、エンド・ツー・エンドの事実性評価をトレーニングするための最大のリソースである。 ウィキペディアからクレームを抽出し、これらのクレームのサブセットを偽造し、事実と非事実のテキストのペアを生成することで構築される。 次に、データセットの品質を検証し、事実性評価システムのための金の標準テストセットを作成するために、人間のアノテータに依存します。
  論文  参考訳（メタデータ） (2024-11-29T12:21:15Z)
• LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints [86.59857711385833]
  実世界のマルチ制約命令に従うLLMの能力を評価するために設計された最初のベンチマークであるRealInstructを紹介する。 オープンソースモデルとプロプライエタリモデルのパフォーマンスギャップを解決するため,Decompose, Critique and Refine(DeCRIM)自己補正パイプラインを提案する。 この結果から,DeCRIMはフィードバックが弱い場合でも,RealInstructでは7.3%,IFEvalでは8.0%,Mistralでは7.3%向上した。
  論文  参考訳（メタデータ） (2024-10-09T01:25:10Z)
• Can Large Language Models Generate High-quality Patent Claims? [0.7535435234862548]
  大規模言語モデル(LLM)は、様々なテキスト生成タスクで例外的なパフォーマンスを示している。 本稿では,特許クレーム生成における現在のLCMの性能を評価するためのデータセットを構築した。
  論文  参考訳（メタデータ） (2024-06-27T18:07:40Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• FOFO: A Benchmark to Evaluate LLMs' Format-Following Capability [70.84333325049123]
  FoFoは、大規模言語モデル(LLM)の複雑なドメイン固有のフォーマットに従う能力を評価するための先駆的なベンチマークである。 本稿では,大規模言語モデル(LLM)の複雑なドメイン固有フォーマットに従う能力を評価するための先駆的ベンチマークであるFoFoを提案する。
  論文  参考訳（メタデータ） (2024-02-28T19:23:27Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• Flames: Benchmarking Value Alignment of LLMs in Chinese [86.73527292670308]
  本稿では,Flamesという値アライメントベンチマークを提案する。 一般的な無害の原則と、特定の中国の価値観を統合するユニークな道徳的側面の両方を包含している。 以上の結果から, 評価されたLLMはフラムに対して比較的低い性能を示した。
  論文  参考訳（メタデータ） (2023-11-12T17:18:21Z)
• FollowBench: A Multi-level Fine-grained Constraints Following Benchmark for Large Language Models [79.62191017182518]
  FollowBenchは、大規模言語モデルのベンチマークに続くきめ細かい制約のベンチマークである。 本稿では,初期命令に段階的に1つの制約を付加するマルチレベル機構を提案する。 FollowBench上での13のLLMの評価により,LLMの弱さと今後の研究への道のりを示す。
  論文  参考訳（メタデータ） (2023-10-31T12:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。