論文の概要: PatentEval: Understanding Errors in Patent Generation

• arxiv url: http://arxiv.org/abs/2406.06589v1
• Date: Wed, 5 Jun 2024 13:55:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 21:14:20.643775
• Title: PatentEval: Understanding Errors in Patent Generation
• Title（参考訳）: PatentEval: 特許生成におけるエラーを理解する
• Authors: You Zuo, Kim Gerdes, Eric Villemonte de La Clergerie, Benoît Sagot,
• Abstract要約: 本稿では,機械が生成する特許文書において,2つの異なるタスクを評価するために特別に設計された包括的エラータイプポロジーを紹介する。 我々はまた,この文脈で言語モデルを体系的に評価するためのベンチマークであるPatentEvalを開発した。
• 参考スコア（独自算出の注目度）: 9.981773213952994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we introduce a comprehensive error typology specifically designed for evaluating two distinct tasks in machine-generated patent texts: claims-to-abstract generation, and the generation of the next claim given previous ones. We have also developed a benchmark, PatentEval, for systematically assessing language models in this context. Our study includes a comparative analysis, annotated by humans, of various models. These range from those specifically adapted during training for tasks within the patent domain to the latest general-purpose large language models (LLMs). Furthermore, we explored and evaluated some metrics to approximate human judgments in patent text evaluation, analyzing the extent to which these metrics align with expert assessments. These approaches provide valuable insights into the capabilities and limitations of current language models in the specialized field of patent text generation.
• Abstract（参考訳）: 本研究では,機械が生成する特許文書における2つの異なるタスク,すなわちクレーム・ツー・アストラクション生成と,先行するクレームの生成を評価するための総合的なエラータイプロジーを提案する。 我々はまた,この文脈で言語モデルを体系的に評価するためのベンチマークであるPatentEvalを開発した。 我々の研究は、様々なモデルの人間によって注釈付けされた比較分析を含む。 これらは、特許ドメイン内のタスクのトレーニング中に特別に適応されたものから、最新の汎用大規模言語モデル(LLM)まで様々である。 さらに,特許文書評価における人間の判断を近似する指標について検討し,これらの指標が専門家評価とどの程度一致しているかを分析した。 これらのアプローチは、特許テキスト生成の専門分野における現在の言語モデルの能力と限界に関する貴重な洞察を提供する。

関連論文リスト

• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• InstructPatentGPT: Training patent language models to follow instructions with human feedback [0.9790236766474201]
  この研究は、言語モデルが付与される可能性の高い特許クレームを生成する可能性を高めることを目的としている。 言語モデルの制御性を示すために、システムは与えられた特許と異なる報酬を持つプレグラントアプリケーションから学習する。
  論文  参考訳（メタデータ） (2024-05-25T11:48:50Z)
• Benchmarking Knowledge Boundary for Large Language Models: A Different Perspective on Model Evaluation [42.17092078439132]
  言語モデルに対する質問や限定的なパラフレーズをクエリとして評価することは,信頼性が高く,包括的ではない,と我々は主張する。 本稿では,知識境界という概念を導入し,素早い知識と素早い知識の両方を包含する。
  論文  参考訳（メタデータ） (2024-02-18T07:48:15Z)
• Unveiling Black-boxes: Explainable Deep Learning Models for Patent Classification [48.5140223214582]
  深部不透明ニューラルネットワーク(DNN)を利用した多ラベル特許分類のための最先端手法 レイヤワイド関連伝搬(Layer-wise Relevance propagation, LRP)を導入し, 特許の詳細な分類手法を提案する。 関連性スコアを考慮し、予測された特許クラスに関連する単語を視覚化して説明を生成する。
  論文  参考訳（メタデータ） (2023-10-31T14:11:37Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
  RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。 フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。 本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-08-15T17:59:18Z)
• Large-Scale Text Analysis Using Generative Language Models: A Case Study in Discovering Public Value Expressions in AI Patents [2.246222223318928]
  本稿では,生成言語モデル(GPT-4)を用いて,大規模テキスト解析のためのラベルと論理式を生成する手法を提案する。 InnovationQ+に送信された高度なBooleanクエリを用いて、154,934件の特許文書からなるデータベースを収集する。 我々は、これらのAI特許文中の公開価値表現を識別し、ラベル付けするためのフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-05-17T17:18:26Z)
• A Survey on Sentence Embedding Models Performance for Patent Analysis [0.0]
  本稿では,PatentSBERTaアプローチに基づく埋め込みモデルの精度を評価するための標準ライブラリとデータセットを提案する。 patentSBERTa, Bert-for-patents, and TF-IDF Weighted Word Embeddings is the most accuracy for computing sentence embeddeds at the subclass level。
  論文  参考訳（メタデータ） (2022-04-28T12:04:42Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Linguistically Informed Masking for Representation Learning in the Patent Domain [7.911344873839031]
  本稿では、特許の言語パターンにドメイン適応型事前学習を集中させる、経験的動機付け言語情報マスキング(LIM)手法を提案する。 我々は、特許、科学および汎用言語間の関連する相違を定量化する。 特許ドメインのドメイン適応において、異なる情報ソースからの学習のバランスをとることが及ぼす影響を実証する。
  論文  参考訳（メタデータ） (2021-06-10T14:20:57Z)
• A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
  既存の説明可能性技術を評価するための診断特性のリストを作成する。 そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
  論文  参考訳（メタデータ） (2020-09-25T12:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。