論文の概要: A comparative analysis of embedding models for patent similarity
- arxiv url: http://arxiv.org/abs/2403.16630v1
- Date: Mon, 25 Mar 2024 11:20:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 15:08:28.636678
- Title: A comparative analysis of embedding models for patent similarity
- Title（参考訳）: 特許類似性を考慮した埋め込みモデルの比較解析
- Authors: Grazia Sveva Ascione, Valerio Sterzi,
- Abstract要約: 本稿では,テキストに基づく特許類似性の分野に2つの貢献をする。
これは、異なる種類の特許固有の事前訓練された埋め込みモデルの性能を比較する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper makes two contributions to the field of text-based patent similarity. First, it compares the performance of different kinds of patent-specific pretrained embedding models, namely static word embeddings (such as word2vec and doc2vec models) and contextual word embeddings (such as transformers based models), on the task of patent similarity calculation. Second, it compares specifically the performance of Sentence Transformers (SBERT) architectures with different training phases on the patent similarity task. To assess the models' performance, we use information about patent interferences, a phenomenon in which two or more patent claims belonging to different patent applications are proven to be overlapping by patent examiners. Therefore, we use these interferences cases as a proxy for maximum similarity between two patents, treating them as ground-truth to evaluate the performance of the different embedding models. Our results point out that, first, Patent SBERT-adapt-ub, the domain adaptation of the pretrained Sentence Transformer architecture proposed in this research, outperforms the current state-of-the-art in patent similarity. Second, they show that, in some cases, large static models performances are still comparable to contextual ones when trained on extensive data; thus, we believe that the superiority in the performance of contextual embeddings may not be related to the actual architecture but rather to the way the training phase is performed.
- Abstract（参考訳）: 本稿では,テキストに基づく特許類似性の分野に2つの貢献をする。
まず、特許類似性計算のタスクにおいて、特許固有の事前訓練された埋め込みモデル、すなわち静的な単語埋め込み( word2vec や doc2vec など)と文脈的な単語埋め込み(transformer based model など)のパフォーマンスを比較する。
第二に、SBERT(Sentence Transformer)アーキテクチャの性能と、特許類似性タスクの異なるトレーニングフェーズを具体的に比較する。
異なる特許出願に属する2つ以上の特許クレームが特許審査官によって重複していることが証明された現象である。
そこで,これらの干渉事例を2つの特許間の最大類似性のプロキシとして使用し,異なる埋め込みモデルの性能評価を行う。
本研究で提案されているSBERT-adapt-ubのドメイン適応は,特許の類似性における現状よりも優れている,と本研究は指摘している。
第二に、大規模な静的モデルの性能は、大規模なデータでトレーニングされた場合、いまだにコンテキストモデルに匹敵するものであることを示し、従って、コンテキスト埋め込みのパフォーマンスの優位性は、実際のアーキテクチャではなく、トレーニングフェーズの実行方法に関連している、と信じている。
関連論文リスト
- PatentEdits: Framing Patent Novelty as Textual Entailment [62.8514393375952]
このデータセットには105万例の修正が成功している。
我々は、文章を文単位でラベル付けするアルゴリズムを設計し、これらの編集がいかに大きな言語モデルで予測できるかを確立する。
引用引用文と起草文の文的含意を評価することは,どの発明的主張が変化しないか,あるいは先行技術に関して新規かを予測するのに特に有効であることを示す。
論文 参考訳（メタデータ） (2024-11-20T17:23:40Z) - PaECTER: Patent-level Representation Learning using Citation-informed
Transformers [0.16785092703248325]
PaECTERは、特許に特有のオープンソースドキュメントレベルのエンコーダである。
我々は,特許文書の数値表現を生成するために,受験者による引用情報付き特許用BERTを微調整する。
PaECTERは、特許ドメインで使用されている現在の最先端モデルよりも類似性タスクが優れている。
論文 参考訳（メタデータ） (2024-02-29T18:09:03Z) - Unveiling Black-boxes: Explainable Deep Learning Models for Patent
Classification [48.5140223214582]
深部不透明ニューラルネットワーク(DNN)を利用した多ラベル特許分類のための最先端手法
レイヤワイド関連伝搬(Layer-wise Relevance propagation, LRP)を導入し, 特許の詳細な分類手法を提案する。
関連性スコアを考慮し、予測された特許クラスに関連する単語を視覚化して説明を生成する。
論文 参考訳（メタデータ） (2023-10-31T14:11:37Z) - Adaptive Taxonomy Learning and Historical Patterns Modelling for Patent Classification [26.85734804493925]
本稿では,特許分類に関する特許に関する情報を包括的に検討する統合フレームワークを提案する。
まず,その意味表現を導出するためのICC符号相関学習モジュールを提案する。
最後に、IPC符号のセマンティクスを含む特許文書の文脈情報と、予測を行うために利用者のシーケンシャルな選好を割り当てる。
論文 参考訳（メタデータ） (2023-08-10T07:02:24Z) - A Novel Patent Similarity Measurement Methodology: Semantic Distance and
Technological Distance [0.0]
特許類似性分析は、特許侵害のリスクを評価する上で重要な役割を果たす。
自然言語処理技術の最近の進歩は、このプロセスを自動化するための有望な道を提供する。
本稿では,特許間の類似性を考慮し,特許の意味的類似性を考慮し,特許間の類似度を測定するハイブリッド手法を提案する。
論文 参考訳（メタデータ） (2023-03-23T07:55:31Z) - A Survey on Sentence Embedding Models Performance for Patent Analysis [0.0]
本稿では,PatentSBERTaアプローチに基づく埋め込みモデルの精度を評価するための標準ライブラリとデータセットを提案する。
patentSBERTa, Bert-for-patents, and TF-IDF Weighted Word Embeddings is the most accuracy for computing sentence embeddeds at the subclass level。
論文 参考訳（メタデータ） (2022-04-28T12:04:42Z) - Duality-Induced Regularizer for Semantic Matching Knowledge Graph
Embeddings [70.390286614242]
本稿では, 類似のセマンティクスを持つエンティティの埋め込みを効果的に促進する新しい正規化器(duality-induced RegulArizer (DURA))を提案する。
実験により、DURAは、最先端のセマンティックマッチングモデルの性能を一貫して改善することを示した。
論文 参考訳（メタデータ） (2022-03-24T09:24:39Z) - PAIR: Leveraging Passage-Centric Similarity Relation for Improving Dense
Passage Retrieval [87.68667887072324]
本稿では,クエリ中心とPAssage中心のsmilarity Relations(PAIR)を併用した新しい手法を提案する。
本稿では,2種類の類似性関係の形式的定式化を導入することにより,3つの主要な技術的貢献を行う。
MSMARCOとNatural Questionsの両方のデータセットにおいて、従来の最先端モデルよりも大幅に優れています。
論文 参考訳（メタデータ） (2021-08-13T02:07:43Z) - Hybrid Model for Patent Classification using Augmented SBERT and KNN [0.0]
本研究は、Sentence-BERT (SBERT) と K Nearest Neighbours (KNN) による特許クレーム分類のハイブリッドアプローチを提供することを目的とする。
提案フレームワークは,トップkのセマンティック類似性特許の検索に基づいて,個々の入力特許クラスとサブクラスを予測する。
論文 参考訳（メタデータ） (2021-03-22T15:23:19Z) - Uncertainty-Aware Few-Shot Image Classification [118.72423376789062]
ラベル付き限られたデータから新しいカテゴリを認識できる画像分類はほとんどない。
画像分類のための不確実性を考慮したFew-Shotフレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-09T12:26:27Z) - A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
既存の説明可能性技術を評価するための診断特性のリストを作成する。
そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
論文 参考訳（メタデータ） (2020-09-25T12:01:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。