論文の概要: Evaluating Generative Patent Language Models
- arxiv url: http://arxiv.org/abs/2206.14578v2
- Date: Mon, 5 Jun 2023 09:02:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 05:01:44.554754
- Title: Evaluating Generative Patent Language Models
- Title(参考訳): 生成的特許言語モデルの評価
- Authors: Jieh-Sheng Lee
- Abstract要約: この原稿は、特許ドメインで生成言語モデルを構築することを目的としている。
パースペクティブは、自動補完によって保存できるキーストロークの割合を測定することである。
この写本で構築された最大のモデルは6Bであり、特許領域における最先端の技術である。
- 参考スコア(独自算出の注目度): 1.8275108630751844
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative language models are promising for assisting human writing in
various domains. This manuscript aims to build generative language models in
the patent domain and evaluate model performance from a human-centric
perspective. The perspective is to measure the ratio of keystrokes that can be
saved by autocompletion based on generative patent language models. A higher
ratio means a more effective model which can save more keystrokes. This metric
can be used to benchmark model performance. The metric is different from
conventional machine-centric metrics that are token-based instead of
keystroke-based. In terms of model size, the largest model built in this
manuscript is 6B, which is state-of-the-art in the patent domain. Based on the
metric, it is found that the largest model is not necessarily the best for the
human-centric metric. The finding means that keeping increasing model sizes in
the patent domain might be unnecessary if the purpose is to assist human
writing with autocompletion. Several patent language models are pre-trained
from scratch in this research. The pre-trained models are released for future
researchers. Several visualization tools are also provided. The importance of
building a generative language model in the patent domain is the potential to
facilitate creativity and innovations in the future.
- Abstract(参考訳): 生成言語モデルは、さまざまなドメインにおける人間の記述を支援することを約束している。
本書は,特許ドメインに生成言語モデルを構築し,人間中心の観点からモデル性能を評価することを目的とする。
その視点は、生成的特許言語モデルに基づいて自動補完によって保存できるキーストロークの比率を測定することである。
高い比率は、より多くのキーストロークを節約できるより効果的なモデルを意味する。
このメトリックはモデルパフォーマンスのベンチマークに使用できる。
メトリックは、キーストロークベースではなくトークンベースの従来のマシン中心のメトリクスとは異なる。
モデルサイズに関しては、この写本で構築された最大のモデルは6Bであり、これは特許領域における最先端の技術である。
計量に基づいて、最大のモデルは必ずしも人間中心の計量にとって最善ではないことが分かる。
この発見は、オートコンプリートによる人間の筆記を支援することを目的としている場合、特許領域におけるモデルサイズの増加を維持することは不要であることを意味する。
この研究で、いくつかの特許言語モデルがスクラッチから事前学習されている。
事前訓練されたモデルは将来の研究者向けにリリースされている。
可視化ツールもいくつか用意されている。
特許領域で生成言語モデルを構築することの重要性は、将来の創造性とイノベーションを促進する可能性である。
関連論文リスト
- Advancing State of the Art in Language Modeling [0.0]
一般化は統計言語モデリング研究の最も重要な目標であることは間違いない。
オープンソースコードで公開された公開ベンチマークと論文は、この分野を前進させる上で重要なものだ。
本稿では,一般化の観点から言語モデリングにおける最先端技術を支援するための,シンプルなフレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-28T12:30:43Z) - Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。
しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。
本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文 参考訳(メタデータ) (2023-11-14T18:59:15Z) - A novel approach to measuring the scope of patent claims based on probabilities obtained from (large) language models [0.0]
本研究は,特許クレームの範囲を,このクレームに含まれる自己情報の相互性として測定することを提案する。
クレームを定義するのに必要な情報が驚くほど、その範囲は狭くなる。
論文 参考訳(メタデータ) (2023-09-17T16:50:07Z) - MMBench: Is Your Multi-modal Model an All-around Player? [114.45702807380415]
大規模な視覚言語モデルを評価する方法は依然として大きな障害であり、将来のモデル開発を妨げる。
従来のベンチマークは、定量的なパフォーマンス測定を提供するが、きめ細かい能力評価と非破壊評価の指標が欠如している。
近年のOwlEvalのような主観的ベンチマークは、人間の労働を取り入れたモデル能力の包括的な評価を提供するが、それらはスケーラブルではなく、重大なバイアスを示す。
MMBenchは、視覚言語モデルの様々な能力を頑健に評価するための、体系的に設計された客観的ベンチマークである。
論文 参考訳(メタデータ) (2023-07-12T16:23:09Z) - Smaller Language Models are Better Black-box Machine-Generated Text
Detectors [56.36291277897995]
小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。
検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。
例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
論文 参考訳(メタデータ) (2023-05-17T00:09:08Z) - Language Models are General-Purpose Interfaces [109.45478241369655]
本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。
事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する
インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
論文 参考訳(メタデータ) (2022-06-13T17:34:22Z) - Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。
我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
論文 参考訳(メタデータ) (2022-05-19T01:27:53Z) - Estimating the Personality of White-Box Language Models [0.589889361990138]
大規模なテキストコーパスで訓練された大規模言語モデルは、至る所で広範囲のアプリケーションで使用されている。
既存の研究は、これらのモデルが人間の偏見を捉え、捉えていることを示している。
これらのバイアス、特に害を引き起こす可能性のあるバイアスの多くは、十分に調査されている。
しかし、これらのモデルによって受け継がれた人間の性格特性を推測し、変化させる研究は、ほとんど、あるいは存在しない。
論文 参考訳(メタデータ) (2022-04-25T23:53:53Z) - An Application of Pseudo-Log-Likelihoods to Natural Language Scoring [5.382454613390483]
比較的少ないパラメータとトレーニングステップを持つ言語モデルは、最近の大規模なデータセットでそれを上回るパフォーマンスを得ることができる。
二項選択タスクにおける常識推論のための絶対的最先端結果を生成する。
より小さなモデルの堅牢性は、構成性の観点から理解されるべきである。
論文 参考訳(メタデータ) (2022-01-23T22:00:54Z) - Learning Sparse Prototypes for Text Generation [120.38555855991562]
プロトタイプ駆動のテキスト生成は、トレーニングコーパス全体の保存とインデックスを必要とするため、テスト時に非効率である。
本稿では,言語モデリング性能を向上するスパースなプロトタイプサポートセットを自動的に学習する新しい生成モデルを提案する。
実験では,1000倍のメモリ削減を実現しつつ,従来のプロトタイプ駆動型言語モデルよりも優れていた。
論文 参考訳(メタデータ) (2020-06-29T19:41:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。