論文の概要: Towards Better Evaluation for Generated Patent Claims

• arxiv url: http://arxiv.org/abs/2505.11095v1
• Date: Fri, 16 May 2025 10:27:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:14.672824
• Title: Towards Better Evaluation for Generated Patent Claims
• Title（参考訳）: 特許権主張のより良い評価に向けて
• Authors: Lekang Jiang, Pascal A Scherz, Stephan Goetz,
• Abstract要約: 我々は特許請求を評価するための最初の総合的なベンチマークであるPatent-CEを紹介する。 また,特許請求に特化して設計された多次元評価手法であるPatClaimEvalを提案する。 本研究は,自動特許クレーム生成システムのより正確な評価の基礎となる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Patent claims define the scope of protection and establish the legal boundaries of an invention. Drafting these claims is a complex and time-consuming process that usually requires the expertise of skilled patent attorneys, which can form a large access barrier for many small enterprises. To solve these challenges, researchers have investigated the use of large language models (LLMs) for automating patent claim generation. However, existing studies highlight inconsistencies between automated evaluation metrics and human expert assessments. To bridge this gap, we introduce Patent-CE, the first comprehensive benchmark for evaluating patent claims. Patent-CE includes comparative claim evaluations annotated by patent experts, focusing on five key criteria: feature completeness, conceptual clarity, terminology consistency, logical linkage, and overall quality. Additionally, we propose PatClaimEval, a novel multi-dimensional evaluation method specifically designed for patent claims. Our experiments demonstrate that PatClaimEval achieves the highest correlation with human expert evaluations across all assessment criteria among all tested metrics. This research provides the groundwork for more accurate evaluations of automated patent claim generation systems.
• Abstract（参考訳）: 特許請求は,保護の範囲を定義し,発明の法的境界を確立する。 これらの主張を提出することは、通常、熟練した特許弁護士の専門知識を必要とする複雑で時間を要するプロセスであり、多くの小規模企業にとって大きなアクセス障壁を形成する可能性がある。 これらの課題を解決するため、研究者は特許請求自動生成における大規模言語モデル(LLM)の使用について検討した。 しかし、既存の研究では、自動評価指標と人間の専門家評価の矛盾が強調されている。 このギャップを埋めるために、特許クレームを評価するための最初の総合的なベンチマークであるPatent-CEを紹介します。 特許-CEには、特許専門家による注釈付きクレーム評価が含まれており、特徴の完全性、概念的明確性、用語の整合性、論理的リンケージ、全体的な品質の5つの主要な基準に焦点を当てている。 さらに,特許請求に特化して設計された多次元評価手法であるPatClaimEvalを提案する。 実験の結果,PatClaimEvalは,すべての評価基準において,ヒトの専門家による評価と高い相関を達成できることがわかった。 本研究は,自動特許クレーム生成システムにおいて,より正確な評価を行うための基礎となるものである。

関連論文リスト

• Scoring Verifiers: Evaluating Synthetic Verification for Code and Reasoning [59.25951947621526]
  本稿では,既存の符号化ベンチマークをスコアとランキングデータセットに変換して,合成検証の有効性を評価する手法を提案する。 我々は4つの新しいベンチマーク(HE-R, HE-R+, MBPP-R, MBPP-R+)を公表し, 標準, 推論, 報酬に基づくLCMを用いて合成検証手法を解析した。 実験の結果, 推論はテストケースの生成を著しく改善し, テストケースのスケーリングによって検証精度が向上することがわかった。
  論文  参考訳（メタデータ） (2025-02-19T15:32:11Z)
• AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
  本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。 このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
  論文  参考訳（メタデータ） (2025-02-19T05:58:52Z)
• Can AI Examine Novelty of Patents?: Novelty Evaluation Based on the Correspondence between Patent Claim and Prior Art [5.655276956391884]
  本稿では,特許の新規性を評価するための大規模言語モデル(LLM)の能力を評価することで,新たな課題を提起する。 本研究は,特許試験事例から得られた新規性評価に特化して設計された最初のデータセットについて述べる。 本研究は, 分類モデルが新規性を効果的に評価するのに苦慮する一方で, 生成モデルは合理的な精度で予測を行うことを示した。
  論文  参考訳（メタデータ） (2025-02-10T10:09:29Z)
• Patent-CR: A Dataset for Patent Claim Revision [0.0]
  本稿では,特許請求書修正作業のために作成された最初のデータセットであるPatent-CRについて述べる。 これには、特許審査官によって拒絶された初期特許出願と、最終認可版の両方が含まれる。
  論文  参考訳（メタデータ） (2024-12-03T16:43:42Z)
• PatentEdits: Framing Patent Novelty as Textual Entailment [62.8514393375952]
  このデータセットには105万例の修正が成功している。 我々は、文章を文単位でラベル付けするアルゴリズムを設計し、これらの編集がいかに大きな言語モデルで予測できるかを確立する。 引用引用文と起草文の文的含意を評価することは,どの発明的主張が変化しないか,あるいは先行技術に関して新規かを予測するのに特に有効であることを示す。
  論文  参考訳（メタデータ） (2024-11-20T17:23:40Z)
• Towards Automated Patent Workflows: AI-Orchestrated Multi-Agent Framework for Intellectual Property Management and Analysis [0.0]
  PatExpertは、特許関連のタスクを合理化し最適化するために設計された、自律的なマルチエージェント会話フレームワークである。 このフレームワークは、さまざまな特許関連のタスクに対してタスク固有の専門家エージェントをコーディネートするメタエージェントと、エラーハンドリングとフィードバックプロビジョニングのための批判エージェントで構成されている。
  論文  参考訳（メタデータ） (2024-09-21T13:44:34Z)
• Structural Representation Learning and Disentanglement for Evidential Chinese Patent Approval Prediction [19.287231890434718]
  本稿では,検索に基づく分類手法を用いて,本課題の先駆的取り組みについて述べる。 本稿では,構造表現学習と絡み合いに着目したDiSPatという新しいフレームワークを提案する。 弊社のフレームワークは、特許承認の予測に関する最先端のベースラインを超越し、明確性の向上も示している。
  論文  参考訳（メタデータ） (2024-08-23T05:44:16Z)
• Unveiling Black-boxes: Explainable Deep Learning Models for Patent Classification [48.5140223214582]
  深部不透明ニューラルネットワーク(DNN)を利用した多ラベル特許分類のための最先端手法 レイヤワイド関連伝搬(Layer-wise Relevance propagation, LRP)を導入し, 特許の詳細な分類手法を提案する。 関連性スコアを考慮し、予測された特許クラスに関連する単語を視覚化して説明を生成する。
  論文  参考訳（メタデータ） (2023-10-31T14:11:37Z)
• Adaptive Taxonomy Learning and Historical Patterns Modelling for Patent Classification [26.85734804493925]
  本稿では,特許分類に関する特許に関する情報を包括的に検討する統合フレームワークを提案する。 まず,その意味表現を導出するためのICC符号相関学習モジュールを提案する。 最後に、IPC符号のセマンティクスを含む特許文書の文脈情報と、予測を行うために利用者のシーケンシャルな選好を割り当てる。
  論文  参考訳（メタデータ） (2023-08-10T07:02:24Z)
• A Survey on Sentence Embedding Models Performance for Patent Analysis [0.0]
  本稿では,PatentSBERTaアプローチに基づく埋め込みモデルの精度を評価するための標準ライブラリとデータセットを提案する。 patentSBERTa, Bert-for-patents, and TF-IDF Weighted Word Embeddings is the most accuracy for computing sentence embeddeds at the subclass level。
  論文  参考訳（メタデータ） (2022-04-28T12:04:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。