論文の概要: Evaluating Generative Patent Language Models
- arxiv url: http://arxiv.org/abs/2206.14578v1
- Date: Thu, 23 Jun 2022 08:58:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-04 01:23:25.883894
- Title: Evaluating Generative Patent Language Models
- Title(参考訳): 生成的特許言語モデルの評価
- Authors: Jieh-Sheng Lee
- Abstract要約: 本研究は,特許領域に生成言語モデルを構築し,人間中心の観点から評価することを目的とする。
評価基準は、生成モデルの予測に基づいて、ユーザが自動完全コンテキストで保存できるキーストロークの割合を算出することである。
この原稿の実験は特許請求に重点を置いているが、そのアイデアと実装は特許文書の他の部分に応用することができる。
- 参考スコア(独自算出の注目度): 1.8275108630751844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This research aims to build generative language models in the patent domain
and to evaluate the models from a human-centric perspective. The evaluation
metric is to calculate the ratio of keystrokes that can be saved for a user in
an autocomplete context based on the prediction of the generative models. The
performance of models in different sizes can also be evaluated in such a metric
by measuring a number of newly granted patents. On the basis of the metric, it
is found that the largest model is not necessarily the best. Several models are
pre-trained from scratch with patent corpus and are released. The experiments
in this manuscript focus on patent claims, but the ideas and implementation can
be applied to other parts of a patent document. Furthermore, this research is
motivated to measure how close the pre-trained language model can generate a
newly granted patent claim. Or, conversely, the task is to measure the
probabilities for the model to generate each token text given the newly granted
patent claim. In addition, this manuscript raises several legal implications on
patent law for potential interdisciplinary research in the future. In
particular, can the metric based on model prediction be a metric to measure the
nonobviousness requirement in the patent law?
- Abstract(参考訳): 本研究は,特許領域に生成言語モデルを構築し,人間中心の観点から評価することを目的とする。
評価基準は、生成モデルの予測に基づいて、ユーザが自己完結したコンテキストで保存できるキーストロークの比率を計算することである。
異なるサイズのモデルの性能は、新たに付与された多数の特許を測定することで、そのような計量で評価することもできる。
計量に基づいて、最大のモデルが必ずしも最良のモデルではないことが分かる。
いくつかのモデルは、特許コーパスでスクラッチから事前トレーニングされ、リリースされます。
この原稿の実験は特許請求に重点を置いているが、そのアイデアと実装は特許文書の他の部分に応用することができる。
さらに、本研究は、事前学習された言語モデルが新たに認められた特許クレームをどの程度作成できるかを測定する動機付けである。
あるいは逆に、新しく認められた特許クレームが与えられた場合、モデルが各トークンテキストを生成する確率を測定すること。
さらに、この写本は将来的な学際研究のための特許法に関するいくつかの法的意義を提起している。
特に、モデル予測に基づく計量は、特許法における不服従性要件を測定するための指標となるか?
関連論文リスト
- Advancing State of the Art in Language Modeling [0.0]
一般化は統計言語モデリング研究の最も重要な目標であることは間違いない。
オープンソースコードで公開された公開ベンチマークと論文は、この分野を前進させる上で重要なものだ。
本稿では,一般化の観点から言語モデリングにおける最先端技術を支援するための,シンプルなフレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-28T12:30:43Z) - Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。
しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。
本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文 参考訳(メタデータ) (2023-11-14T18:59:15Z) - A novel approach to measuring patent claim scope based on probabilities
obtained from (large) language models [0.0]
本研究は,特許クレームの範囲を,このクレームに含まれる自己情報の相互性として測定することを提案する。
言語モデルからクレームの発生確率を求め、この確率を用いて自己情報を算出する。
論文 参考訳(メタデータ) (2023-09-17T16:50:07Z) - MMBench: Is Your Multi-modal Model an All-around Player? [117.53230227207521]
大規模な視覚言語モデルを評価する方法は依然として大きな障害であり、将来のモデル開発を妨げる。
従来のベンチマークは、定量的なパフォーマンス測定を提供するが、きめ細かい能力評価と非破壊評価の指標が欠如している。
近年のOwlEvalのような主観的ベンチマークは、人間の労働を取り入れたモデル能力の包括的な評価を提供するが、それらはスケーラブルではなく、重大なバイアスを示す。
MMBenchは、視覚言語モデルの様々な能力を頑健に評価するための、体系的に設計された客観的ベンチマークである。
論文 参考訳(メタデータ) (2023-07-12T16:23:09Z) - Smaller Language Models are Better Black-box Machine-Generated Text
Detectors [56.36291277897995]
小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。
検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。
例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
論文 参考訳(メタデータ) (2023-05-17T00:09:08Z) - Language Models are General-Purpose Interfaces [109.45478241369655]
本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。
事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する
インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
論文 参考訳(メタデータ) (2022-06-13T17:34:22Z) - Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。
我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
論文 参考訳(メタデータ) (2022-05-19T01:27:53Z) - Estimating the Personality of White-Box Language Models [0.589889361990138]
大規模なテキストコーパスで訓練された大規模言語モデルは、至る所で広範囲のアプリケーションで使用されている。
既存の研究は、これらのモデルが人間の偏見を捉え、捉えていることを示している。
これらのバイアス、特に害を引き起こす可能性のあるバイアスの多くは、十分に調査されている。
しかし、これらのモデルによって受け継がれた人間の性格特性を推測し、変化させる研究は、ほとんど、あるいは存在しない。
論文 参考訳(メタデータ) (2022-04-25T23:53:53Z) - An Application of Pseudo-Log-Likelihoods to Natural Language Scoring [5.382454613390483]
比較的少ないパラメータとトレーニングステップを持つ言語モデルは、最近の大規模なデータセットでそれを上回るパフォーマンスを得ることができる。
二項選択タスクにおける常識推論のための絶対的最先端結果を生成する。
より小さなモデルの堅牢性は、構成性の観点から理解されるべきである。
論文 参考訳(メタデータ) (2022-01-23T22:00:54Z) - Learning Sparse Prototypes for Text Generation [120.38555855991562]
プロトタイプ駆動のテキスト生成は、トレーニングコーパス全体の保存とインデックスを必要とするため、テスト時に非効率である。
本稿では,言語モデリング性能を向上するスパースなプロトタイプサポートセットを自動的に学習する新しい生成モデルを提案する。
実験では,1000倍のメモリ削減を実現しつつ,従来のプロトタイプ駆動型言語モデルよりも優れていた。
論文 参考訳(メタデータ) (2020-06-29T19:41:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。