論文の概要: FUSE: An Evaluating Framework for Dangerous Capabilities of LLMs
- arxiv url: http://arxiv.org/abs/2609.02168v1
- Date: Wed, 02 Sep 2026 06:31:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.106193
- Title: FUSE: An Evaluating Framework for Dangerous Capabilities of LLMs
- Title（参考訳）: FUSE: LLMの危険機能評価フレームワーク
- Abstract要約: フラグメンテッド安全評価は、危険なAI機能のガバナンスを損なう。
Knowledge、Defense、Harmの3つの直交パイプラインを通して各モデルを評価するモジュラーフレームワークを提案する。
最初のコントリビューションは、モデルとモデルファミリ間の危険能力の水平比較です。
モデルリリース日に対する$K$、$D$、および$H$の追跡は、危険な能力が単調に低下していないことを示している。
- 参考スコア（独自算出の注目度）: 24.30721158142313
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fragmented safety evaluation undermines the governance of dangerous AI capabilities. We present a modular framework that evaluates each model through three orthogonal pipelines---Knowledge ($K$), Defense ($D$), and Harm ($H$)---under a unified protocol, aggregating results into a standardized dangerous-capability profile $φ$. Pluggable modules supply scenario seeds, knowledge banks, hazard queries, and judge rubrics, while the core evaluation engine remains unchanged across domains; the CB evaluation is complemented by a cyber pilot demonstrating protocol transfer. Instantiating the framework with a chemical-biological (CB) module, we evaluate 12 commercial LLMs from four families. Our first contribution is a horizontal comparison of dangerous capability across models and model families: the three dimensions expose sharply divergent profiles---models with comparable knowledge differ in refusal resilience, and strong defenders do not generate less harmful content when they do comply---while family-level patterns further separate Claude, DeepSeek, and GPT models. The second is a temporal analysis of capability evolution: tracking $K$, $D$, and $H$ against model release dates reveals that dangerous capability has not monotonically declined; newer models deepen knowledge while only partially improving defense, showing that scaling and alignment progress do not uniformly translate into safety. Reliability is established via cross-judge consistency (bootstrap $ρ> 0.79$, 4 of 5 judges) and pipeline orthogonality ($K$--$D$--$H$ inter-correlations $ρ\in [0.32, 0.52]$).
- Abstract（参考訳）: フラグメンテッド安全評価は、危険なAI機能のガバナンスを損なう。
Knowledge(K$)、Defense(D$)、Harm(H$)の3つの直交パイプラインを通じて各モデルを評価し、統一されたプロトコルの下で結果を標準化された危険能力プロファイルであるφ$に集約するモジュラーフレームワークを提案する。
プラガブルモジュールはシナリオシード、ナレッジバンク、ハザードクエリ、および判断ルーリックを供給し、コア評価エンジンはドメイン毎に変化せず、CB評価はプロトコル転送を示すサイバーパイロットによって補完される。
ケミカルバイオロジー (CB) モジュールを用いて, 4家系の商業LCMを12種類評価した。
最初のコントリビューションは、モデルとモデルファミリ間の危険な能力の水平比較です。3次元は、鮮明に異なるプロファイルを露呈します。----- 同等の知識を持つモデルは、レジリエンスの点で異なり、強力なディフェンダーは、従うと有害なコンテンツが少なくなります。--- 家族レベルのパターンは、Claude、DeepSeek、GPTモデルをさらに分離します。
モデルリリース日に対する$K$、$D$、および$H$の追跡は、危険な能力が単調に低下していないことを明らかにしている。
信頼性は、クロスジャッジ整合性 (bootstrap $ρ> 0.79$, 4 of 5 judges) とパイプライン直交性 (K$--$D$--$H$ inter-correlations $ρ\in [0.32, 0.52]$) によって確立される。
関連論文リスト
- AgentWorld: Personality-Aware Reliability Evaluation for Agentic Information Retrieval [1.1647715835517187]
AgentWorldは、パーソナリティ駆動のユーザ人口とステートフルなツール使用環境を組み合わせたシミュレーションフレームワークである。
10のOCEANペルソナにわたる会話分析エージェント(240の評価者判断)、5つのタスクにわたるカスタマーサポートエージェント($times$4のペルソナ変種)、既存のトラジェクタの不安定さを示す5つのタスクの逆ストレステストである。
論文 参考訳（メタデータ） (2026-08-25T05:15:33Z) - CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。
CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
論文 参考訳（メタデータ） (2026-06-09T16:24:16Z) - Persona-Model Collapse in Emergent Misalignment [0.0]
有害な内容を持つ狭いデータに対する微調整された大きな言語モデルは、無関係なプロンプトに対して広範囲に不整合な振る舞いをもたらす。
モラル・サセプティビリティ(S)とモラル・ロバストネス(R)の2つの指標を用いてこの仮説を検証する。
これらのメトリクスは、与えられた文字(S)と、与えられた文字(R)をシミュレートするときにその一貫性を識別するモデルの能力を形式化する。
論文 参考訳（メタデータ） (2026-05-13T00:48:57Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - Empowering VLMs for Few-Shot Multimodal Time Series Classification via Tailored Agentic Reasoning [44.69766273765273]
VL$underlinetextbfM$$underlinetextbfa$gentic $underlinetextbfr$easoning framework for few-$underlinetextbfs$hot multimodal $underlinetextbfT$ime $underlinetextbfS$eries $underlinetextbfC$lassification$textbfMarsTSC$(source)を提案する。
論文 参考訳（メタデータ） (2026-05-10T07:47:09Z) - Agentic Adversarial Rewriting Exposes Architectural Vulnerabilities in Black-Box NLP Pipelines [34.37967130277969]
本稿では,意味摂動空間で動作する2エージェント回避フレームワークを提案する。
現代大言語モデル(LLM)ベースのシステムでは、普及率は19.95から40.34%である。
パターンインフォームド・ディフェンスは回避率を65.18%まで下げる。
論文 参考訳（メタデータ） (2026-04-26T00:58:36Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - ATBench: A Diverse and Realistic Agent Trajectory Benchmark for Safety Evaluation and Diagnosis [96.92417622318267]
ATBenchは、エージェント安全性の構造化、多様性、現実的な評価のための軌道レベルのベンチマークである。
リスクソース、障害モード、現実世界の危害の3つの側面に沿ってエージェント的リスクを編成する。
1000個の軌道(安全503個、安全497個)があり、平均9.01ターンと3.95kトークンがあり、2,084個のツールにまたがるプールから1,954個のツールが呼び出されている。
論文 参考訳（メタデータ） (2026-04-02T13:26:20Z) - AI Security in the Foundation Model Era: A Comprehensive Survey from a Unified Perspective [12.53973720107764]
4つの軸に沿ってモデル-データ相互作用をフレーム化するクローズドループ脅威分類法を提案する。
その結果、セキュリティ脅威の4つのクラスは、異なるが関連する攻撃のカテゴリを表す。
弊社のフレームワークは、スケーラブルで、転送可能で、また、クロスモーダルなセキュリティ戦略を開発するための基盤を確立している。
論文 参考訳（メタデータ） (2026-03-25T22:53:43Z) - PropensityBench: Evaluating Latent Safety Risks in Large Language Models via an Agentic Approach [49.14349403242654]
我々は、リスクを伴う行動に関わるモデルの確率を評価する新しいベンチマークフレームワークであるtextbfPropensityBench$を提示する。
私たちのフレームワークには,サイバーセキュリティ,自己増殖,バイオセキュリティ,化学セキュリティという,リスクの高い4つのドメインにまたがる6,648のツールを備えた,5,874のシナリオが含まれています。
オープンソースとプロプライエタリなフロンティアモデル全体で、私たちは9つの不確実性の兆候を発見しました。
論文 参考訳（メタデータ） (2025-11-24T18:46:44Z) - SaFeR-VLM: Toward Safety-aware Fine-grained Reasoning in Multimodal Models [66.71948519280669]
MLRM(Multimodal Large Reasoning Models)は、クロスモーダルな推論を示すが、しばしば敵のプロンプトによる安全性のリスクを増幅する。
既存の防御は主に出力レベルで動作し、推論プロセスを制約せず、モデルは暗黙のリスクに置かれる。
4つのコンポーネントを統合し,表面レベルのフィルタリングを超える動的かつ解釈可能な安全性決定をサポートするSaFeR-VLMを提案する。
論文 参考訳（メタデータ） (2025-10-08T10:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。