論文の概要: Secu-Table: a Comprehensive security table dataset for evaluating semantic table interpretation systems
- arxiv url: http://arxiv.org/abs/2511.06301v1
- Date: Sun, 09 Nov 2025 09:36:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-11 21:18:44.875618
- Title: Secu-Table: a Comprehensive security table dataset for evaluating semantic table interpretation systems
- Title（参考訳）: Secu-Table:意味表解釈システム評価のための包括的セキュリティテーブルデータセット
- Authors: Azanzi Jiomekong, Jean Bikim, Patricia Negoue, Joyce Chin,
- Abstract要約: Secu-Tableは1500以上のテーブルで構成され、Common Vulnerabilities and Exposures(データセット)とCommon Weaknession(CWE)データソースから抽出されたセキュリティデータを使用して15k以上のエンティティが構築されている。
このデータセットは、Tabular to Knowledge Graph Matchingに関するSemTabチャレンジの文脈で、研究コミュニティが利用できる。
- 参考スコア（独自算出の注目度）: 4.007351600492542
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating semantic tables interpretation (STI) systems, (particularly, those based on Large Language Models- LLMs) especially in domain-specific contexts such as the security domain, depends heavily on the dataset. However, in the security domain, tabular datasets for state-of-the-art are not publicly available. In this paper, we introduce Secu-Table dataset, composed of more than 1500 tables with more than 15k entities constructed using security data extracted from Common Vulnerabilities and Exposures (CVE) and Common Weakness Enumeration (CWE) data sources and annotated using Wikidata and the SEmantic Processing of Security Event Streams CyberSecurity Knowledge Graph (SEPSES CSKG). Along with the dataset, all the code is publicly released. This dataset is made available to the research community in the context of the SemTab challenge on Tabular to Knowledge Graph Matching. This challenge aims to evaluate the performance of several STI based on open source LLMs. Preliminary evaluation, serving as baseline, was conducted using Falcon3-7b-instruct and Mistral-7B-Instruct, two open source LLMs and GPT-4o mini one closed source LLM.
- Abstract（参考訳）: セマンティックテーブル解釈(STI)システムの評価(特に、大規模言語モデルに基づくもの)は、特にセキュリティドメインのようなドメイン固有のコンテキストにおいて、データセットに大きく依存する。
しかし、セキュリティ領域では、最先端のグラフデータセットは公開されていない。
本稿では,Common Vulnerabilities and Exposures (CVE) とCommon Weakness Enumeration (CWE) のデータソースから抽出し,Wikidata と Semantic Processing of Security Event Streams CyberSecurity Knowledge Graph (SEPSES CSKG) を用いてアノテートした,1500以上のエンティティからなるSecu-Tableデータセットを紹介する。
データセットに加えて、すべてのコードが公開されている。
このデータセットは、Tabular to Knowledge Graph Matchingに関するSemTabチャレンジの文脈で、研究コミュニティが利用できる。
この課題は、オープンソースのLLMに基づいて、いくつかのSTIのパフォーマンスを評価することを目的としている。
ベースラインとしての予備評価はFalcon3-7bインストラクトとMistral-7Bインストラクトと2つのオープンソースLLMとGPT-4oミニ1クローズソースLLMを用いて行った。
関連論文リスト
- Tab-MIA: A Benchmark Dataset for Membership Inference Attacks on Tabular Data in LLMs [24.312198733476063]
大規模言語モデルにおける構造化データ上でMIAを評価するためのベンチマークデータセットであるTab-MIAを提案する。
ウィキペディア表から抽出した構造化データに基づいて,事前学習したLLMの記憶挙動を解析した。
論文 参考訳（メタデータ） (2025-07-23T06:56:34Z) - Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。
AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。
結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
論文 参考訳（メタデータ） (2025-07-22T06:37:51Z) - TableEval: A Real-World Benchmark for Complex, Multilingual, and Multi-Structured Table Question Answering [41.12322828986314]
既存のTableQAベンチマークは、単純なフラットテーブルにフォーカスし、データ漏洩に悩まされることがしばしばある。
現実的なTableQAタスク上でLLMを評価するために設計された新しいベンチマークであるTableEvalを紹介する。
データ漏洩のリスクを最小限に抑えるため、最近の実世界の文書からすべてのデータを収集する。
論文 参考訳（メタデータ） (2025-06-04T13:39:01Z) - Foundation Models for Tabular Data within Systemic Contexts Need Grounding [9.820997523824676]
本稿では,表が宣言的および手続き的操作知識の両方に本質的に結びついていることを認識し,SLT(Semantically Linked Tables)の概念を紹介した。
本稿では,FMSLT(Foundation Models for Semantically Linked Tables)を提案する。
論文 参考訳（メタデータ） (2025-05-26T11:02:51Z) - Uncovering Limitations of Large Language Models in Information Seeking from Tables [28.19697259795014]
本稿では,テーブル情報探索(TabIS)のための信頼性の高いベンチマークを紹介する。
テキスト類似度に基づくメトリクスによる信頼性の低い評価を避けるため、TabISはテキスト生成フォーマットではなく、単一選択の質問フォーマット(質問毎に2つのオプション)を採用する。
論文 参考訳（メタデータ） (2024-06-06T14:30:59Z) - ImplicitAVE: An Open-Source Dataset and Multimodal LLMs Benchmark for Implicit Attribute Value Extraction [67.86012624533461]
ImplicitAVEは、暗黙の属性値抽出のための最初の、公開のマルチモーダルデータセットである。
データセットには5つのドメインにわたる68kのトレーニングと1.6kのテストデータが含まれている。
また,マルチモーダル大言語モデル(MLLM)の暗黙的AVEへの適用についても検討する。
論文 参考訳（メタデータ） (2024-04-24T01:54:40Z) - TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。
1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
論文 参考訳（メタデータ） (2023-12-14T15:37:04Z) - LMSYS-Chat-1M: A Large-Scale Real-World LLM Conversation Dataset [75.9621305227523]
LMSYS-Chat-1M(LMSYS-Chat-1M)について紹介する。
このデータセットは、VicunaのデモとArenaのWebサイトで、210KのIPアドレスから収集されています。
GPT-4と同様の動作を行うコンテンツモデレーションモデルの開発、安全性ベンチマークの構築、Vicunaと同様の動作を行う命令追従モデルのトレーニング、挑戦的なベンチマーク問題の作成、という4つのユースケースを通じて、その汎用性を実証する。
論文 参考訳（メタデータ） (2023-09-21T12:13:55Z) - GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。
我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。
実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
論文 参考訳（メタデータ） (2020-09-29T08:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。