論文の概要: IPBench: Benchmarking the Knowledge of Large Language Models in Intellectual Property

• arxiv url: http://arxiv.org/abs/2504.15524v2
• Date: Mon, 29 Sep 2025 00:57:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 17:47:08.900387
• Title: IPBench: Benchmarking the Knowledge of Large Language Models in Intellectual Property
• Title（参考訳）: IPBench:知的財産における大規模言語モデルの知識のベンチマーク
• Abstract要約: IPBenchはIPタスクの最初の包括的な分類であり、8つのIPメカニズムと20の異なるタスクを含む大規模なベンチマークである。 一般的な目的からドメイン特化まで,チャット指向モデルや推論中心モデルを含む17の主要なLCMをベンチマークする。 以上の結果から,トップパフォーマンスモデルであるDeepSeek-V3の精度は75.8%に過ぎず,改善の余地が大きかったことが示唆された。
• 参考スコア（独自算出の注目度）: 53.2129505804405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Intellectual Property (IP) is a highly specialized domain that integrates technical and legal knowledge, making it inherently complex and knowledge-intensive. Recent advancements in LLMs have demonstrated their potential to handle IP-related tasks, enabling more efficient analysis, understanding, and generation of IP-related content. However, existing datasets and benchmarks focus narrowly on patents or cover limited aspects of the IP field, lacking alignment with real-world scenarios. To bridge this gap, we introduce IPBench, the first comprehensive IP task taxonomy and a large-scale bilingual benchmark encompassing 8 IP mechanisms and 20 distinct tasks, designed to evaluate LLMs in real-world IP scenarios. We benchmark 17 main LLMs, ranging from general purpose to domain-specific, including chat-oriented and reasoning-focused models, under zero-shot, few-shot, and chain-of-thought settings. Our results show that even the top-performing model, DeepSeek-V3, achieves only 75.8% accuracy, indicating significant room for improvement. Notably, open-source IP and law-oriented models lag behind closed-source general-purpose models. To foster future research, we publicly release IPBench, and will expand it with additional tasks to better reflect real-world complexities and support model advancements in the IP domain. We provide the data and code in the supplementary URLs.
• Abstract（参考訳）: 知的財産権(英語: Intellectual Property、IP)は、技術的および法的知識を統合し、本質的に複雑で知識集約的なドメインである。 LLMの最近の進歩は、より効率的な分析、理解、IP関連コンテンツの生成を可能にする、IP関連タスクを扱う可能性を示している。 しかし、既存のデータセットとベンチマークは、特許に焦点を絞ったり、IPフィールドの限られた側面をカバーし、現実世界のシナリオと整合性に欠ける。 このギャップを埋めるために、我々はIPBenchを導入し、IPタスクの分類を初めて網羅し、8つのIPメカニズムと20の異なるタスクを含む大規模なバイリンガルベンチマークを行い、実世界のIPシナリオでLLMを評価するように設計された。 一般的な目的からドメイン固有まで、チャット指向モデルや推論中心モデル、ゼロショット、少数ショット、チェーンオブ思考設定を含む、17の主要なLCMをベンチマークします。 以上の結果から,トップパフォーマンスモデルであるDeepSeek-V3の精度は75.8%に過ぎず,改善の余地が大きかったことが示唆された。 特に、オープンソースIPと法律指向モデルは、クローズドソース汎用モデルに遅れを取っている。 今後の研究を促進するため、我々はIPBenchを公開し、実世界の複雑さをよりよく反映し、IPドメインにおけるモデルの発展をサポートするために、追加のタスクでそれを拡張します。 補足URLにデータとコードを提供します。

関連論文リスト

• BEAR: Benchmarking and Enhancing Multimodal Language Models for Atomic Embodied Capabilities [61.173773299032746]
  身体能力とは、エージェントが物理的世界を理解し、理解し、相互作用する一連の基本的な能力を指す。 我々は,原子エンボディド能力のMLLMを評価する,包括的できめ細かなベンチマークであるBEARを紹介する。 BEARは、低レベルポインティング、軌跡理解、空間的推論、高レベルプランニングといったタスクを含む、14のドメインにまたがる4,469のインターリーブイメージビデオテキストエントリで構成されている。 我々は,MLLM知覚,3D理解,計画能力を強化するために,事前学習された視覚モデルを統合するマルチモーダル・コンバータブルエージェントであるBEAR-Agentを提案する。
  論文  参考訳（メタデータ） (2025-10-09T19:18:36Z)
• MCP-Universe: Benchmarking Large Language Models with Real-World Model Context Protocol Servers [86.00932417210477]
  MCP-Universeは,実世界のMPPサーバとのインタラクションを通じて,現実的かつ困難なタスクにおいてLLMを評価するために設計された,初めての総合ベンチマークである。 私たちのベンチマークでは、ロケーションナビゲーション、リポジトリ管理、財務分析、3Dデザイン、ブラウザ自動化、Web検索という、11の異なるMSPサーバにまたがる6つのコアドメインを網羅しています。 GPT-5 (43.72%) やGrok-4 (33.33%) やClaude-4.0-Sonnet (29.44%) のようなSOTAモデルでさえ、大幅な性能制限がある。
  論文  参考訳（メタデータ） (2025-08-20T13:28:58Z)
• RealBench: Benchmarking Verilog Generation Models with Real-World IP Designs [26.993718615404926]
  本稿では,実世界のIPレベルのVerilog生成タスクを対象とした最初のベンチマークであるRealBenchを紹介する。 RealBenchは複雑で構造化された、実世界のオープンソースIP設計、マルチモーダルおよびフォーマット設計仕様、厳密な検証環境を備えている。 様々なLLMおよびエージェントの評価によると、最も優れたLLMの1つであるo1-previewでさえ、モジュールレベルのタスクでは13.3%のpass@1しか達成せず、システムレベルのタスクでは0%である。
  論文  参考訳（メタデータ） (2025-07-22T03:29:23Z)
• SOP-Bench: Complex Industrial SOPs for Evaluating LLM Agents [16.08820954102608]
  大規模言語モデル(LLM)は、目覚ましい汎用推論と問題解決能力を示している。 LLMは、標準動作手順の厳格な遵守を要求する複雑な長期水平実行に苦慮している。 SOP-Benchは10の産業ドメインにわたる1,800以上のタスクのベンチマークである。
  論文  参考訳（メタデータ） (2025-06-09T18:20:12Z)
• Evaluating Large Language Model with Knowledge Oriented Language Specific Simple Question Answering [73.73820209993515]
  KoLasSimpleQAは,Large Language Models (LLMs) の多言語事実能力を評価する最初のベンチマークである。 既存の研究に触発されて、単一知識点カバレッジ、絶対的客観性、独特な答え、時間的安定性といった特徴を備えた質問セットを作成しました。 その結果,2つの領域間に大きな性能差が認められた。
  論文  参考訳（メタデータ） (2025-05-22T12:27:02Z)
• Computational Reasoning of Large Language Models [51.629694188014064]
  textbfTuring Machine Benchは,Large Language Models(LLM)による推論プロセスの実行能力を評価するベンチマークである。 TMBenchには、自己完結型および知識に依存しない推論、最小主義的な多段階構造、制御可能な難易度、チューリングマシンに基づく理論的基礎の4つの重要な特徴が組み込まれている。
  論文  参考訳（メタデータ） (2025-04-29T13:52:47Z)
• Enhancing Large Language Models (LLMs) for Telecommunications using Knowledge Graphs and Retrieval-Augmented Generation [52.8352968531863]
  大規模言語モデル(LLM)は、汎用自然言語処理タスクにおいて大きな進歩を遂げている。 本稿では,知識グラフ(KG)と検索拡張生成(RAG)技術を組み合わせた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-31T15:58:08Z)
• Creation-MMBench: Assessing Context-Aware Creative Intelligence in MLLM [58.42678619252968]
  Creation-MMBenchはマルチモーダル大言語モデルの創造性を評価するために設計されたベンチマークである。 ベンチマークは、51のきめ細かいタスクにまたがる765のテストケースで構成されている。 実験結果から,オープンソースのMLLMは,クリエイティブタスクにおけるプロプライエタリなモデルに比べて著しく性能が劣っていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-18T17:51:34Z)
• Vision-Language Model IP Protection via Prompt-based Learning [52.783709712318405]
  視覚言語モデル(VLM)に適した軽量IP保護戦略であるIP-CLIPを導入する。 CLIPの凍結した視覚的バックボーンを利用することで、画像スタイルとコンテンツ情報の両方を抽出し、IPプロンプトの学習に取り入れる。 この戦略は堅牢な障壁として機能し、権限のないドメインから権限のないドメインへの機能移転を効果的に防止する。
  論文  参考訳（メタデータ） (2025-03-04T08:31:12Z)
• LegalAgentBench: Evaluating LLM Agents in Legal Domain [53.70993264644004]
  LegalAgentBenchは、中国の法律領域でLLMエージェントを評価するために特別に設計されたベンチマークである。 LegalAgentBenchには、現実世界の法的シナリオから17のコーパスが含まれており、外部知識と対話するための37のツールを提供している。
  論文  参考訳（メタデータ） (2024-12-23T04:02:46Z)
• Intellectual Property Protection for Deep Learning Model and Dataset Intelligence [21.757997058357]
  この研究は、一般的な、スキーム固有のパフォーマンス評価指標を体系的に要約する。 プロアクティブIP侵害防止とリアクティブIP所有権検証の観点から、既存のIPP手法を包括的に調査し分析する。 最後に、革新的な研究のガイドとして機能するであろう将来的な方向性の見通しを概説する。
  論文  参考訳（メタデータ） (2024-11-07T09:02:41Z)
• IPEval: A Bilingual Intellectual Property Agency Consultation Evaluation Benchmark for Large Language Models [13.103862590594705]
  IPEvalは、IPの作成、アプリケーション、保護、管理の4つの主要な領域にわたる2657の多重選択質問で構成されている。 評価手法には、ゼロショット、5秒ショット、および7つのLLMタイプに対するCoT(Chain of Thought)が含まれる。 GPTシリーズやQwenシリーズのようなモデルによる英語のパフォーマンスは優れており、中国語中心のLLMは中国語テストで優れている。
  論文  参考訳（メタデータ） (2024-06-18T08:18:18Z)
• PatentGPT: A Large Language Model for Intellectual Property [26.31216865513109]
  大規模言語モデル(LLM)は、多くの自然言語処理タスクにまたがる例外的な性能のため、大きな注目を集めている。 しかし,知的財産権(IP)分野における大規模言語モデルの応用は,専門知識の要求が強いため困難である。 我々は、IPドメインのユニークな要件を満たす、IP指向のLLMをトレーニングするための、低コストで標準化された手順を初めて提示する。
  論文  参考訳（メタデータ） (2024-04-28T17:36:43Z)
• ProgGen: Generating Named Entity Recognition Datasets Step-by-step with Self-Reflexive Large Language Models [25.68491572293656]
  大規模言語モデルは、名前付きエンティティ認識のような構造化された知識抽出タスクにおいて不足する。 本稿では,より優れたNERデータセットを生成するため,LCMを質素なNER能力で活用するための革新的で費用効率のよい戦略について検討する。
  論文  参考訳（メタデータ） (2024-03-17T06:12:43Z)
• MoZIP: A Multilingual Benchmark to Evaluate Large Language Models in Intellectual Property [51.43412400869531]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて顕著な性能を示した。 我々は,知的財産に関する初のマルチ言語指向クイズ (Multilingual-oriented quiZ on Intellectual Property, MoZIP) をIP領域におけるLLMの評価のために提案する。 我々はまた,多言語IP関連テキストデータを微調整したBLOOMZベースモデルである,新しいIP指向多言語大言語モデル(MoZi)を開発した。
  論文  参考訳（メタデータ） (2024-02-26T08:27:50Z)
• Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution [48.86322922826514]
  本稿では,知識認識型言語モデル属性(KaLMA)の新たな課題について述べる。 まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。 第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。 第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
  論文  参考訳（メタデータ） (2023-10-09T11:45:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。