論文の概要: SafeBuild-Bench: A Temporal-Robust Construction Safety Benchmark with Graph-Enhanced Data Mining
- arxiv url: http://arxiv.org/abs/2608.00068v1
- Date: Wed, 29 Jul 2026 06:02:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.367206
- Title: SafeBuild-Bench: A Temporal-Robust Construction Safety Benchmark with Graph-Enhanced Data Mining
- Title（参考訳）: SafeBuild-Bench: グラフ強化データマイニングによる一時ロバスト建設安全ベンチマーク
- Abstract要約: SafeBuild-Benchは,建設安全に関する大規模言語モデルを評価するベンチマークである。
100K以上の産業用画像テキストから抽出され、3000以上の専門家が検証した画像から3,314のタスクインスタンスが含まれている。
専門家による検証をスケーラブルにするために,グラフ強化マルチモーダル選択パイプラインであるGEMSを開発した。
- 参考スコア（独自算出の注目度）: 19.59925848840464
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Construction-safety models must handle concrete deployment risks, such as a worker standing near a scaffold edge without guardrails, rather than only recognize common objects in curated images. Yet real inspection archives are redundant, long-tailed, and collected across changing sites and months. We introduce SafeBuild-Bench, a metadata-driven benchmark for evaluating multimodal large language models on construction safety under realistic temporal and site variation. It is mined from 100K+ industrial image-text records and contains 3,314 task instances from over 3,000 expert-verified images, covering multiple-choice hazard identification and free-form hazard description. To make expert verification scalable, we develop GEMS, a graph-enhanced multimodal selection pipeline that combines a proxy-model confusion signal with graph-based diversity to identify informative candidates from redundant streams. On public instruction-tuning data, GEMS-selected subsets preserve robustness-oriented performance under small data budgets. On SafeBuild-Bench, current MLLMs remain far from reliable construction-safety understanding, with the best overall score near 60. We release the benchmark, evaluation scripts, and GEMS codebase at https://github.com/safebuild/gems.
- Abstract（参考訳）: 建設安全モデルは、硬化した画像の一般的なオブジェクトのみを認識するのではなく、足場の近くに立っている労働者のような具体的な配置リスクを扱う必要がある。
しかし、実際の検査アーカイブは冗長で、長い尾を持ち、変更されたサイトや数ヶ月にわたって収集されている。
SafeBuild-Benchは,マルチモーダルな大規模言語モデルを,現実的な時間的・サイト的変動下で構築安全性を評価するための,メタデータ駆動型ベンチマークである。
100K以上の産業用画像テキストから抽出され、3000以上の専門家が検証した画像から3,314件のタスクインスタンスが含まれており、複数選択のハザード識別とフリーフォームのハザード記述を含んでいる。
専門家による検証をスケーラブルにするために,プロキシモデル混在信号とグラフベースの多様性を組み合わせたグラフ強化マルチモーダル選択パイプラインであるGEMSを開発し,冗長ストリームから情報的候補を特定する。
公開命令チューニングデータでは、GEMS選択されたサブセットは、小さなデータ予算の下でロバストネス指向のパフォーマンスを維持する。
SafeBuild-Benchでは、現在のMLLMは信頼性の高い建設安全の理解には程遠いままで、全体的なスコアは60に近くなっています。
ベンチマーク、評価スクリプト、GEMSのコードベースをhttps://github.com/safebuild/gemsでリリースしています。
関連論文リスト
- Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation [74.0621258662676]
レポート生成のためのマルチエージェントハーネスであるPtahを提案する。
Ptahは計画、研究、執筆段階を通じて、ユーザクエリからレンダリングされたWebレポートまでのライフサイクルを編成する。
検証エージェントがハーネスの受け入れ機能として機能し、ワークフロー全体を通して事実的接地、引用の忠実性、相互の整合性を強制する。
論文 参考訳（メタデータ） (2026-05-28T12:40:34Z) - Code Broker: A Multi-Agent System for Automated Code Quality Assessment [0.0]
我々はGoogle Agent Development Kit ADKで構築されたマルチエージェントシステムであるCode Brokerを紹介する。
ファイル、ローカルディレクトリ、GitHubリポジトリからPythonコードを解析し、実行可能な品質評価レポートを生成する。
論文 参考訳（メタデータ） (2026-04-25T00:53:59Z) - ATBench: A Diverse and Realistic Agent Trajectory Benchmark for Safety Evaluation and Diagnosis [96.92417622318267]
ATBenchは、エージェント安全性の構造化、多様性、現実的な評価のための軌道レベルのベンチマークである。
リスクソース、障害モード、現実世界の危害の3つの側面に沿ってエージェント的リスクを編成する。
1000個の軌道(安全503個、安全497個)があり、平均9.01ターンと3.95kトークンがあり、2,084個のツールにまたがるプールから1,954個のツールが呼び出されている。
論文 参考訳（メタデータ） (2026-04-02T13:26:20Z) - Semantically Aware UAV Landing Site Assessment from Remote Sensing Imagery via Multimodal Large Language Models [5.987458168544856]
安全UAV緊急着陸には、従来の幾何学的センサーに見えない複雑なセマンティックなリスクを理解する必要がある。
本稿では,リモートセンシング(RS)画像とマルチモーダル大規模言語モデル(MLLM)を併用した新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-01T11:30:03Z) - RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。
我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
論文 参考訳（メタデータ） (2026-01-30T08:29:01Z) - SafeTuneBed: A Toolkit for Benchmarking LLM Safety Alignment in Fine-Tuning [6.740032154591022]
ベンチマークとツールキットであるSafeTuneBedを導入し、微調整と防御の評価を統一する。
SafeTuneBedは、感情分析、質問回答、マルチステップ推論、オープンな命令タスクにまたがる、複数の微調整データセットの多様なリポジトリをキュレートする。
これは、アライメントステージの免疫、訓練中の安全ガード、訓練後の修復など、最先端の防衛の統合を可能にする。
論文 参考訳（メタデータ） (2025-05-31T19:00:58Z) - Unmasking the Canvas: A Dynamic Benchmark for Image Generation Jailbreaking and LLM Content Safety [0.0]
既存の大規模言語モデル(LLM)は急速に進歩しており、画像生成タスクにおいて優れた結果が得られている。
しかし、コンテンツの安全性チェックは、プロンプトベースのジェイルブレイクに弱いままだ。
画像生成におけるLLM脆弱性を評価するベンチマークデータセットである Unmasking the Canvas (UTC Benchmark) を紹介する。
論文 参考訳（メタデータ） (2025-05-07T05:54:04Z) - CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。
ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
論文 参考訳（メタデータ） (2025-02-12T21:42:56Z) - SeCodePLT: A Unified Platform for Evaluating the Security of Code GenAI [58.29510889419971]
コード生成大型言語モデル(LLM)のセキュリティリスクと能力を評価するための既存のベンチマークは、いくつかの重要な制限に直面している。
手動で検証し、高品質なシード例から始める、汎用的でスケーラブルなベンチマーク構築フレームワークを導入し、ターゲット突然変異を通じて拡張する。
このフレームワークをPython、C/C++、Javaに適用すると、44のCWEベースのリスクカテゴリと3つのセキュリティ機能にまたがる5.9k以上のサンプルデータセットであるSeCodePLTが構築されます。
論文 参考訳（メタデータ） (2024-10-14T21:17:22Z) - AutoBencher: Towards Declarative Benchmark Construction [74.54640925146289]
AutoBencherを使って、数学、多言語性、知識、安全性のためのデータセットを作成しています。
AutoBencherのスケーラビリティにより、詳細なカテゴリ知識をテストでき、既存のベンチマークよりも22%のモデルエラー(難易度)を誘発するデータセットを作成することができる。
論文 参考訳（メタデータ） (2024-07-11T10:03:47Z) - Latent Guard: a Safety Framework for Text-to-image Generation [64.49596711025993]
既存の安全対策は、容易に回避できるテキストブラックリストや有害なコンテンツ分類に基づいている。
テキスト・ツー・イメージ生成の安全性向上を目的としたフレームワークであるLatent Guardを提案する。
ブラックリストベースのアプローチにインスパイアされたLatent Guardは、T2Iモデルのテキストエンコーダの上に潜在空間を学習し、有害な概念の存在を確認することができる。
論文 参考訳（メタデータ） (2024-04-11T17:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。