Fugu-MT 論文翻訳(概要): Beyond Scaling: Predicting Patent Approval with Domain-specific Fine-grained Claim Dependency Graph

論文の概要: Beyond Scaling: Predicting Patent Approval with Domain-specific Fine-grained Claim Dependency Graph

arxiv url: http://arxiv.org/abs/2404.14372v1
Date: Mon, 22 Apr 2024 17:22:31 GMT
ステータス: 処理完了
システム内更新日: 2024-04-23 13:08:10.033528
Title: Beyond Scaling: Predicting Patent Approval with Domain-specific Fine-grained Claim Dependency Graph
Title（参考訳）: Beyond Scaling: ドメイン固有のきめ細かいクレーム依存グラフによる特許承認の予測
Authors: Xiaochen Kev Gao, Feng Yao, Kewen Zhao, Beilei He, Animesh Kumar, Vish Krishnan, Jingbo Shang,
Abstract要約: 本稿では,特許データ内の本質的な依存関係を用いて,ドメイン固有グラフ法がモデルより優れていることを示す。本稿では, 精密な特許データ解析により, 微細粒度cLAim depeNdency (FLAN)グラフを提案する。
参考スコア（独自算出の注目度）: 28.13334909565348
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Model scaling is becoming the default choice for many language tasks due to the success of large language models (LLMs). However, it can fall short in specific scenarios where simple customized methods excel. In this paper, we delve into the patent approval pre-diction task and unveil that simple domain-specific graph methods outperform enlarging the model, using the intrinsic dependencies within the patent data. Specifically, we first extend the embedding-based state-of-the-art (SOTA) by scaling up its backbone model with various sizes of open-source LLMs, then explore prompt-based methods to harness proprietary LLMs' potential, but find the best results close to random guessing, underlining the ineffectiveness of model scaling-up. Hence, we propose a novel Fine-grained cLAim depeNdency (FLAN) Graph through meticulous patent data analyses, capturing the inherent dependencies across segments of the patent text. As it is model-agnostic, we apply cost-effective graph models to our FLAN Graph to obtain representations for approval prediction. Extensive experiments and detailed analyses prove that incorporating FLAN Graph via various graph models consistently outperforms all LLM baselines significantly. We hope that our observations and analyses in this paper can bring more attention to this challenging task and prompt further research into the limitations of LLMs. Our source code and dataset can be obtained from http://github.com/ShangDataLab/FLAN-Graph.
Abstract（参考訳）: 大規模言語モデル(LLM)の成功により、モデルスケーリングは多くの言語タスクのデフォルトの選択肢になりつつある。しかし、単純なカスタマイズされたメソッドが優れている特定のシナリオでは不足する可能性がある。本稿では,特許承認前の課題を掘り下げ,特許データ内の本質的な依存関係を用いて,ドメイン固有グラフ法がモデルの拡張に優れていることを明らかにする。具体的には、まず、オープンソースのLSMのさまざまなサイズでバックボーンモデルをスケールアップし、プロプライエタリなLSMの潜在能力を活用するためのプロンプトベースの手法を探りながら、ランダムな推測に近い最良の結果を見つけ、モデルスケーリングの非効率性を裏付ける。そこで,本論文では,特許データ解析を巧みに行い,特許テキストのセグメント間の依存関係を抽出し,より詳細なcLAim depeNdency (FLAN)グラフを提案する。モデルに依存しないので、FLANグラフに費用効率の良いグラフモデルを適用し、承認予測のための表現を得る。広範囲な実験と詳細な分析により、様々なグラフモデルを通してFLANグラフを組み込むことで、全てのLLMベースラインを大幅に上回っていることが証明された。我々は,本論文における観察と分析が,この課題により多くの注意を向け,LLMの限界についてさらなる研究を促進できることを期待している。ソースコードとデータセットはhttp://github.com/ShangDataLab/FLAN-Graphから取得できます。

関連論文リスト

GraphCLIP: Enhancing Transferability in Graph Foundation Models for Text-Attributed Graphs [27.169892145194638]
GraphCLIPは、強力なクロスドメインゼロ/フェーショット転送可能性を持つグラフ基盤モデルを学習するためのフレームワークである。 LLMの助けを借りて、大規模グラフ-土木ペアデータを生成し、キュレートする。数ショットの学習では,事前学習目標に沿った新しいグラフプロンプトチューニング手法を提案する。
論文参考訳（メタデータ） (2024-10-14T09:40:52Z)
How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
論文参考訳（メタデータ） (2024-10-04T04:48:33Z)
Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [90.98855064914379]
グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
論文参考訳（メタデータ） (2024-09-29T11:38:45Z)
GLBench: A Comprehensive Benchmark for Graph with Large Language Models [41.89444363336435]
GLBenchは、教師付きシナリオとゼロショットシナリオの両方でGraphLLMメソッドを評価するための最初の包括的なベンチマークである。 GLBenchはグラフニューラルネットワークのような従来のベースラインとともに、GraphLLMメソッドのさまざまなカテゴリを公平かつ徹底的に評価する。
論文参考訳（メタデータ） (2024-07-10T08:20:47Z)
Exploring the Potential of Large Language Models in Graph Generation [51.046188600990014]
グラフ生成は、与えられたプロパティを持つグラフを生成するために、大きな言語モデル(LLM)を必要とする。本稿では,LLMのグラフ生成能力について,系統的なタスク設計と実験による検討を行う。評価の結果,LLM,特にGPT-4は,グラフ生成タスクに予備的能力を示すことがわかった。
論文参考訳（メタデータ） (2024-03-21T12:37:54Z)
Efficient Causal Graph Discovery Using Large Language Models [42.724534747353665]
提案するフレームワークはBFS (Broadth-first Search) アプローチを用いており,クエリの線形数のみを使用することができる。提案フレームワークは,時間とデータ効率の向上に加えて,様々なサイズの実世界の因果グラフに対して,最先端の結果を達成している。
論文参考訳（メタデータ） (2024-02-02T08:25:32Z)
Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
論文参考訳（メタデータ） (2023-12-05T14:14:27Z)
Beyond Text: A Deep Dive into Large Language Models' Ability on Understanding Graph Data [13.524529952170672]
大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて顕著な性能を達成している。 LLMがグラフデータを効果的に処理し、トポロジ構造を利用して性能を向上させることができるかどうかを評価することを目的とする。 LLMの性能を特殊グラフモデルと比較することにより、グラフ解析にLLMを使用する際の長所と短所について考察する。
論文参考訳（メタデータ） (2023-10-07T23:25:22Z)
Challenging the Myth of Graph Collaborative Filtering: a Reasoned and Reproducibility-driven Analysis [50.972595036856035]
本稿では,6つの人気グラフと最近のグラフ推薦モデルの結果を再現するコードを提案する。これらのグラフモデルと従来の協調フィルタリングモデルを比較する。ユーザの近所からの情報フローを調べることにより,データセット構造における内在的特徴にどのようなモデルが影響するかを同定することを目的とする。
論文参考訳（メタデータ） (2023-08-01T09:31:44Z)
Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
論文参考訳（メタデータ） (2023-07-07T05:31:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。