論文の概要: Evaluating Generative Patent Language Models

• arxiv url: http://arxiv.org/abs/2206.14578v1
• Date: Thu, 23 Jun 2022 08:58:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-04 01:23:25.883894
• Title: Evaluating Generative Patent Language Models
• Title（参考訳）: 生成的特許言語モデルの評価
• Authors: Jieh-Sheng Lee
• Abstract要約: 本研究は,特許領域に生成言語モデルを構築し,人間中心の観点から評価することを目的とする。 評価基準は、生成モデルの予測に基づいて、ユーザが自動完全コンテキストで保存できるキーストロークの割合を算出することである。 この原稿の実験は特許請求に重点を置いているが、そのアイデアと実装は特許文書の他の部分に応用することができる。
• 参考スコア（独自算出の注目度）: 1.8275108630751844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This research aims to build generative language models in the patent domain and to evaluate the models from a human-centric perspective. The evaluation metric is to calculate the ratio of keystrokes that can be saved for a user in an autocomplete context based on the prediction of the generative models. The performance of models in different sizes can also be evaluated in such a metric by measuring a number of newly granted patents. On the basis of the metric, it is found that the largest model is not necessarily the best. Several models are pre-trained from scratch with patent corpus and are released. The experiments in this manuscript focus on patent claims, but the ideas and implementation can be applied to other parts of a patent document. Furthermore, this research is motivated to measure how close the pre-trained language model can generate a newly granted patent claim. Or, conversely, the task is to measure the probabilities for the model to generate each token text given the newly granted patent claim. In addition, this manuscript raises several legal implications on patent law for potential interdisciplinary research in the future. In particular, can the metric based on model prediction be a metric to measure the nonobviousness requirement in the patent law?
• Abstract（参考訳）: 本研究は,特許領域に生成言語モデルを構築し,人間中心の観点から評価することを目的とする。 評価基準は、生成モデルの予測に基づいて、ユーザが自己完結したコンテキストで保存できるキーストロークの比率を計算することである。 異なるサイズのモデルの性能は、新たに付与された多数の特許を測定することで、そのような計量で評価することもできる。 計量に基づいて、最大のモデルが必ずしも最良のモデルではないことが分かる。 いくつかのモデルは、特許コーパスでスクラッチから事前トレーニングされ、リリースされます。 この原稿の実験は特許請求に重点を置いているが、そのアイデアと実装は特許文書の他の部分に応用することができる。 さらに、本研究は、事前学習された言語モデルが新たに認められた特許クレームをどの程度作成できるかを測定する動機付けである。 あるいは逆に、新しく認められた特許クレームが与えられた場合、モデルが各トークンテキストを生成する確率を測定すること。 さらに、この写本は将来的な学際研究のための特許法に関するいくつかの法的意義を提起している。 特に、モデル予測に基づく計量は、特許法における不服従性要件を測定するための指標となるか?

関連論文リスト

• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• Evaluation of Language Models in the Medical Context Under Resource-Constrained Settings [10.39989311209284]
  医療分野における言語モデルに関する総合的な調査を行った。 医療用テキスト分類と条件付きテキスト生成のためのサブセットの評価を行った。 その結果、タスク全体での顕著なパフォーマンスが明らかとなり、特定のモデルが医療知識を含む可能性について評価された。
  論文  参考訳（メタデータ） (2024-06-24T12:52:02Z)
• InstructPatentGPT: Training patent language models to follow instructions with human feedback [0.9790236766474201]
  この研究は、言語モデルが付与される可能性の高い特許クレームを生成する可能性を高めることを目的としている。 言語モデルの制御性を示すために、システムは与えられた特許と異なる報酬を持つプレグラントアプリケーションから学習する。
  論文  参考訳（メタデータ） (2024-05-25T11:48:50Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• A novel approach to measuring the scope of patent claims based on probabilities obtained from (large) language models [0.0]
  本研究は,特許クレームの範囲を,このクレームに含まれる自己情報の相互性として測定することを提案する。 クレームを定義するのに必要な情報が驚くほど、その範囲は狭くなる。
  論文  参考訳（メタデータ） (2023-09-17T16:50:07Z)
• Smaller Language Models are Better Black-box Machine-Generated Text Detectors [56.36291277897995]
  小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。 検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。 例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
  論文  参考訳（メタデータ） (2023-05-17T00:09:08Z)
• Language Models are General-Purpose Interfaces [109.45478241369655]
  本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。 事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:34:22Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)
• Estimating the Personality of White-Box Language Models [0.589889361990138]
  大規模なテキストコーパスで訓練された大規模言語モデルは、至る所で広範囲のアプリケーションで使用されている。 既存の研究は、これらのモデルが人間の偏見を捉え、捉えていることを示している。 これらのバイアス、特に害を引き起こす可能性のあるバイアスの多くは、十分に調査されている。 しかし、これらのモデルによって受け継がれた人間の性格特性を推測し、変化させる研究は、ほとんど、あるいは存在しない。
  論文  参考訳（メタデータ） (2022-04-25T23:53:53Z)
• An Application of Pseudo-Log-Likelihoods to Natural Language Scoring [5.382454613390483]
  比較的少ないパラメータとトレーニングステップを持つ言語モデルは、最近の大規模なデータセットでそれを上回るパフォーマンスを得ることができる。 二項選択タスクにおける常識推論のための絶対的最先端結果を生成する。 より小さなモデルの堅牢性は、構成性の観点から理解されるべきである。
  論文  参考訳（メタデータ） (2022-01-23T22:00:54Z)
• Learning Sparse Prototypes for Text Generation [120.38555855991562]
  プロトタイプ駆動のテキスト生成は、トレーニングコーパス全体の保存とインデックスを必要とするため、テスト時に非効率である。 本稿では,言語モデリング性能を向上するスパースなプロトタイプサポートセットを自動的に学習する新しい生成モデルを提案する。 実験では,1000倍のメモリ削減を実現しつつ,従来のプロトタイプ駆動型言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2020-06-29T19:41:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。