論文の概要: Evaluating Generative Patent Language Models

• arxiv url: http://arxiv.org/abs/2206.14578v2
• Date: Mon, 5 Jun 2023 09:02:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 05:01:44.554754
• Title: Evaluating Generative Patent Language Models
• Title（参考訳）: 生成的特許言語モデルの評価
• Authors: Jieh-Sheng Lee
• Abstract要約: この原稿は、特許ドメインで生成言語モデルを構築することを目的としている。 パースペクティブは、自動補完によって保存できるキーストロークの割合を測定することである。 この写本で構築された最大のモデルは6Bであり、特許領域における最先端の技術である。
• 参考スコア（独自算出の注目度）: 1.8275108630751844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative language models are promising for assisting human writing in various domains. This manuscript aims to build generative language models in the patent domain and evaluate model performance from a human-centric perspective. The perspective is to measure the ratio of keystrokes that can be saved by autocompletion based on generative patent language models. A higher ratio means a more effective model which can save more keystrokes. This metric can be used to benchmark model performance. The metric is different from conventional machine-centric metrics that are token-based instead of keystroke-based. In terms of model size, the largest model built in this manuscript is 6B, which is state-of-the-art in the patent domain. Based on the metric, it is found that the largest model is not necessarily the best for the human-centric metric. The finding means that keeping increasing model sizes in the patent domain might be unnecessary if the purpose is to assist human writing with autocompletion. Several patent language models are pre-trained from scratch in this research. The pre-trained models are released for future researchers. Several visualization tools are also provided. The importance of building a generative language model in the patent domain is the potential to facilitate creativity and innovations in the future.
• Abstract（参考訳）: 生成言語モデルは、さまざまなドメインにおける人間の記述を支援することを約束している。 本書は,特許ドメインに生成言語モデルを構築し,人間中心の観点からモデル性能を評価することを目的とする。 その視点は、生成的特許言語モデルに基づいて自動補完によって保存できるキーストロークの比率を測定することである。 高い比率は、より多くのキーストロークを節約できるより効果的なモデルを意味する。 このメトリックはモデルパフォーマンスのベンチマークに使用できる。 メトリックは、キーストロークベースではなくトークンベースの従来のマシン中心のメトリクスとは異なる。 モデルサイズに関しては、この写本で構築された最大のモデルは6Bであり、これは特許領域における最先端の技術である。 計量に基づいて、最大のモデルは必ずしも人間中心の計量にとって最善ではないことが分かる。 この発見は、オートコンプリートによる人間の筆記を支援することを目的としている場合、特許領域におけるモデルサイズの増加を維持することは不要であることを意味する。 この研究で、いくつかの特許言語モデルがスクラッチから事前学習されている。 事前訓練されたモデルは将来の研究者向けにリリースされている。 可視化ツールもいくつか用意されている。 特許領域で生成言語モデルを構築することの重要性は、将来の創造性とイノベーションを促進する可能性である。

関連論文リスト

• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• Evaluation of Language Models in the Medical Context Under Resource-Constrained Settings [10.39989311209284]
  医療分野における言語モデルに関する総合的な調査を行った。 医療用テキスト分類と条件付きテキスト生成のためのサブセットの評価を行った。 その結果、タスク全体での顕著なパフォーマンスが明らかとなり、特定のモデルが医療知識を含む可能性について評価された。
  論文  参考訳（メタデータ） (2024-06-24T12:52:02Z)
• InstructPatentGPT: Training patent language models to follow instructions with human feedback [0.9790236766474201]
  この研究は、言語モデルが付与される可能性の高い特許クレームを生成する可能性を高めることを目的としている。 言語モデルの制御性を示すために、システムは与えられた特許と異なる報酬を持つプレグラントアプリケーションから学習する。
  論文  参考訳（メタデータ） (2024-05-25T11:48:50Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• A novel approach to measuring the scope of patent claims based on probabilities obtained from (large) language models [0.0]
  本研究は,特許クレームの範囲を,このクレームに含まれる自己情報の相互性として測定することを提案する。 クレームを定義するのに必要な情報が驚くほど、その範囲は狭くなる。
  論文  参考訳（メタデータ） (2023-09-17T16:50:07Z)
• Smaller Language Models are Better Black-box Machine-Generated Text Detectors [56.36291277897995]
  小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。 検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。 例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
  論文  参考訳（メタデータ） (2023-05-17T00:09:08Z)
• Language Models are General-Purpose Interfaces [109.45478241369655]
  本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。 事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:34:22Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)
• Estimating the Personality of White-Box Language Models [0.589889361990138]
  大規模なテキストコーパスで訓練された大規模言語モデルは、至る所で広範囲のアプリケーションで使用されている。 既存の研究は、これらのモデルが人間の偏見を捉え、捉えていることを示している。 これらのバイアス、特に害を引き起こす可能性のあるバイアスの多くは、十分に調査されている。 しかし、これらのモデルによって受け継がれた人間の性格特性を推測し、変化させる研究は、ほとんど、あるいは存在しない。
  論文  参考訳（メタデータ） (2022-04-25T23:53:53Z)
• An Application of Pseudo-Log-Likelihoods to Natural Language Scoring [5.382454613390483]
  比較的少ないパラメータとトレーニングステップを持つ言語モデルは、最近の大規模なデータセットでそれを上回るパフォーマンスを得ることができる。 二項選択タスクにおける常識推論のための絶対的最先端結果を生成する。 より小さなモデルの堅牢性は、構成性の観点から理解されるべきである。
  論文  参考訳（メタデータ） (2022-01-23T22:00:54Z)
• Learning Sparse Prototypes for Text Generation [120.38555855991562]
  プロトタイプ駆動のテキスト生成は、トレーニングコーパス全体の保存とインデックスを必要とするため、テスト時に非効率である。 本稿では,言語モデリング性能を向上するスパースなプロトタイプサポートセットを自動的に学習する新しい生成モデルを提案する。 実験では,1000倍のメモリ削減を実現しつつ,従来のプロトタイプ駆動型言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2020-06-29T19:41:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。