論文の概要: SpatialTrust: A Benchmark for Environmental Risk Recognition in Secure Authentication
- arxiv url: http://arxiv.org/abs/2608.29489v1
- Date: Sun, 30 Aug 2026 00:37:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.981676
- Title: SpatialTrust: A Benchmark for Environmental Risk Recognition in Secure Authentication
- Title（参考訳）: SpaceTrust: セキュア認証における環境リスク認識ベンチマーク
- Abstract要約: 本研究では,セキュアな認証における環境リスク認識のためのベンチマークであるSpatialTrustを提案する。
現在のモデルでは、特に間接的リスクの理解と説明において、パフォーマンスが制限されていることが分かっています。
本研究は,MLLMのセキュアな認証における信頼性を向上させるために,専用ベンチマークと構造化推論手法の必要性を強調した。
- 参考スコア（独自算出の注目度）: 23.71302562556758
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual environmental risk recognition plays an important role in secure authentication, where a user's surroundings may reveal sensitive information or introduce potential security risks. However, existing evaluations of multimodal large language models (MLLMs) rarely examine whether models can reliably recognize, localize, and explain such risks in spatially grounded authentication scenarios. We present SpatialTrust, a question-answering benchmark for evaluating environmental risk recognition in secure authentication. SpatialTrust assesses five complementary abilities: sensitive factor detection, direct factor identification, indirect factor identification, direct factor explanation, and indirect factor explanation. We evaluate both proprietary and open-source MLLMs and find that current models show limited performance, especially in understanding and explaining indirect risks, indicating that spatial risk awareness remains a challenging capability for MLLMs. In addition, we introduce SpatialTrustGuard, a structured QA-and-audit pipeline that improves Qwen3-VL-30B-A3B-Instruct from 36.78% to 41.12% overall. Our findings highlight the need for dedicated benchmarks and structured inference methods to improve the trustworthiness of MLLMs in secure authentication.
- Abstract（参考訳）: 視覚的環境リスク認識は、ユーザの周囲が機密情報を明らかにしたり、潜在的なセキュリティリスクを導入するような、セキュアな認証において重要な役割を果たす。
しかし,Multimodal Large Language Model (MLLM) の既存の評価では,モデルが空間的根拠のある認証シナリオにおいて,そのようなリスクを確実に認識し,ローカライズし,説明できるかどうかを調査することは滅多にない。
本研究では,環境リスク認識をセキュアな認証で評価するための質問応答ベンチマークであるSpatialTrustを提案する。
SpaceTrustは、機密因子の検出、直接因子の同定、間接因子の同定、直接因子の説明、間接因子の説明の5つの補完能力を評価する。
我々は,プロプライエタリなMLLMとオープンソースMLLMの両方を評価し,特に間接的リスクの理解と説明において,現在のモデルは限られた性能を示し,空間的リスク認識がMLLMにとって困難な能力であることを示す。
さらに、構造化QA/監査パイプラインであるSpatialTrustGuardを導入し、Qwen3-VL-30B-A3B-Instructを36.78%から41.12%に改善した。
本研究は,MLLMのセキュアな認証における信頼性を向上させるために,専用ベンチマークと構造化推論手法の必要性を強調した。
関連論文リスト
- Large Language Models in Misinformation Ecosystems: Misuse, Defense, and Vulnerability [65.56750741053266]
大規模言語モデル(LLM)は、誤情報をコンテンツ中心の問題からより広範なエコシステムレベルのセキュリティ課題に転換した。
本稿では,これらのリスクと防御を統一する役割層フレームワークを提案する。
この役割はLLMを攻撃者、ディフェンダー、検証システムの脆弱なコンポーネントとして特徴づけ、層次元はコンテンツ、社会的コンテキスト、エビデンス環境、検証をカバーしている。
論文 参考訳（メタデータ） (2026-07-11T17:04:17Z) - Leveraging Large Language Models for Trustworthiness Assessment of Web Applications [13.909850314037653]
本研究では,大規模言語モデル(LLM)を活用したWebアプリケーションの信頼性評価を自動化する実証的手法を提案する。
本稿では,LSP(Logic Score of Preference)に基づく階層品質モデルの拡張を提案する。
実験結果から,過度な構造的コンテキストがノイズを発生させる可能性が示唆された。
論文 参考訳（メタデータ） (2026-03-24T23:33:54Z) - Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。
LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。
モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
論文 参考訳（メタデータ） (2026-01-12T21:31:38Z) - SafeRBench: A Comprehensive Benchmark for Safety Assessment in Large Reasoning Models [60.8821834954637]
LRMの安全性をエンドツーエンドに評価する最初のベンチマークであるSafeRBenchを紹介する。
私たちは、リスクカテゴリとレベルを入力設計に組み込んだ先駆者です。
我々は,長い推論トレースを意味的に一貫性のある単位にセグメント化するためのマイクロシンクのチャンキング機構を導入する。
論文 参考訳（メタデータ） (2025-11-19T06:46:33Z) - MENTOR: A Metacognition-Driven Self-Evolution Framework for Uncovering and Mitigating Implicit Risks in LLMs on Domain Tasks [17.598413159363393]
現在のアライメントの取り組みは、主に偏見、ヘイトスピーチ、暴力のような明確なリスクをターゲットにしている。
本稿では,大規模言語モデルにおける暗黙的リスクの解消と軽減を目的とした,メタ認知駆動型セルフエボリューティオンフレームワークMENTORを提案する。
我々は、ドメイン固有のリスク識別を強化するために、教育、財務、管理にまたがる9000のリスククエリをサポートするデータセットをリリースする。
論文 参考訳（メタデータ） (2025-11-10T13:51:51Z) - DeepKnown-Guard: A Proprietary Model-Based Safety Response Framework for AI Agents [12.054307827384415]
大きな言語モデル(LLM)はますます顕著になり、重要なドメインへの信頼性の高いデプロイメントを厳しく制限しています。
本稿では,LLMを入力レベルと出力レベルの両方で保護する新しい安全応答フレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-05T03:04:35Z) - RADAR: A Risk-Aware Dynamic Multi-Agent Framework for LLM Safety Evaluation via Role-Specialized Collaboration [81.38705556267917]
大規模言語モデル(LLM)の既存の安全性評価手法は、固有の制約に悩まされている。
リスク概念空間を再構築する理論的枠組みを導入する。
マルチエージェント協調評価フレームワークRADARを提案する。
論文 参考訳（メタデータ） (2025-09-28T09:35:32Z) - A Context-Aware Dual-Metric Framework for Confidence Estimation in Large Language Models [6.62851757612838]
大規模言語モデル(LLM)に対する現在の信頼度推定法は,応答と文脈情報の関連性を無視する。
本稿では,2つの新しい指標を用いた信頼度推定のためのコンテキスト忠実度と一貫性を統合したCRUXを提案する。
3つのベンチマークデータセットに対する実験は、CRUXの有効性を示し、既存のベースラインよりも高いAUROCを達成した。
論文 参考訳（メタデータ） (2025-08-01T12:58:34Z) - REVAL: A Comprehension Evaluation on Reliability and Values of Large Vision-Language Models [59.445672459851274]
REVALは、Large Vision-Language Modelsの textbfREliability と textbfVALue を評価するために設計された包括的なベンチマークである。
REVALには144K以上の画像テキストビジュアル質問回答(VQA)サンプルが含まれており、信頼性と価値の2つの主要なセクションで構成されている。
主流のオープンソースLVLMや,GPT-4oやGemini-1.5-Proといった著名なクローズドソースモデルを含む26のモデルを評価した。
論文 参考訳（メタデータ） (2025-03-20T07:54:35Z) - Towards Fully Exploiting LLM Internal States to Enhance Knowledge Boundary Perception [58.62352010928591]
大きな言語モデル(LLM)は様々なタスクにまたがって優れたパフォーマンスを示すが、しばしば知識境界を正確に測定するのに苦労する。
本稿では,LLMの内部状態を有効利用して,効率性やリスクの観点から知識境界に対する認識を高める方法について検討する。
論文 参考訳（メタデータ） (2025-02-17T11:11:09Z) - SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。
我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。
本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
論文 参考訳（メタデータ） (2024-10-24T17:14:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。