論文の概要: aiXamine: Unified Black-Box Evaluation of Cross-Dimensional Trade-offs in LLM Safety, Security, and Privacy
- arxiv url: http://arxiv.org/abs/2608.20554v1
- Date: Thu, 20 Aug 2026 20:33:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.22822
- Title: aiXamine: Unified Black-Box Evaluation of Cross-Dimensional Trade-offs in LLM Safety, Security, and Privacy
- Title（参考訳）: aiXamine: LLMの安全性、セキュリティ、プライバシにおける異次元トレードオフの統一ブラックボックス評価
- Abstract要約: AiXamineは、セキュリティ、セキュリティ、プライバシを相互依存プロパティとして評価する統合ブラックボックスプラットフォームである。
AiXamineは、自動化されたリチームパイプラインを通じて、9つのサービスにわたる46のテストをオーケストレーションする。
我々は,これまでで最大規模の共同安全性,セキュリティ,プライバシ調査を行い,単一軸評価で見えない3次元の現象を明らかにした。
- 参考スコア（独自算出の注目度）: 6.323488051975665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The critical failure modes in deployed large language models (LLMs) are cross-dimensional: a model can score 99.3 in safety alignment while refusing one in three benign queries, or improve across every capability metric while losing 21 points in privacy. Existing evaluation frameworks that assess safety, security, and privacy independently cannot detect these patterns. We introduce aiXamine, a unified black-box platform that evaluates LLM trustworthiness across safety, security, and privacy as interdependent properties. aiXamine orchestrates 46 tests across nine services through an automated red-teaming pipeline, producing hierarchical risk profiles, from prompt-level diagnostics to cross-service trade-off analytics, that enable reproducible comparison of proprietary and open-weight systems under identical conditions. Applying aiXamine to over 120 LLMs through more than 5,000 test runs, we conduct the largest joint safety, security, and privacy study to date and uncover three cross-dimensional phenomena invisible to single-axis evaluation. First, safety enforcement incurs a quantifiable safety tax: stronger alignment systematically increases over-refusal, forcing providers to choose between protection and utility. Second, privacy is near-orthogonal to other trustworthiness dimensions and not captured by standard alignment. Third, we identify and formally characterize distillation-induced robustness collapse: off-policy distillation without on-policy correction causes entropy collapse, catastrophically destroying robustness (56.9$\to$2.6) on the same base architecture. These findings, compounded by diminishing returns from scale and category-dependent safety behaviors, demonstrate that trustworthiness is inherently multi-dimensional: progress along one axis does not guarantee, and can actively undermine, progress along others, yet current alignment methods treat it as a single objective.
- Abstract（参考訳）: 大規模言語モデル(LLM)におけるクリティカルな障害モードは、安全アライメントにおいて99.3のスコアを付けることができ、3つの良質なクエリで1つをリフレッシュしたり、21ポイントのプライバシを失うことなく、すべての機能メトリクスを改善することができる。
安全性、セキュリティ、プライバシを独立して評価する既存の評価フレームワークは、これらのパターンを検出できない。
安全,セキュリティ,プライバシを相互依存特性として評価する,統一ブラックボックスプラットフォームであるaiXamineを導入する。
プロプライエタリなシステムとオープンウェイトシステムの同一条件下での再現可能な比較を可能にする、プロプライエタリな診断からクロスサービストレードオフ分析に至るまで、階層的なリスクプロファイルを生成する。
5000回以上のテスト実行を通じて120 LLMにaiXamineを適用することで、これまでで最大の共同安全性、セキュリティ、プライバシ調査を行い、単軸評価で見えない3次元の現象を明らかにします。
より強力なアライメントは、体系的に過剰な拒絶を増加させ、プロバイダは保護とユーティリティを選択せざるを得ない。
第二に、プライバシは他の信頼性の側面とほぼ直交しており、標準のアライメントによって捉えられていない。
第三に、我々は蒸留によるロバストネス崩壊を同定し、公式に特徴付けている: オン・ポリケート補正のないオフ・ポリケート蒸留はエントロピー崩壊を引き起こし、同じ基礎構造上のロバストネス(56.9$\to$2.6)を破滅的に破壊する。
これらの結果は、スケールやカテゴリーに依存した安全行動からのリターンを減少させ、信頼性が本質的に多次元であることを示しており、一方の軸に沿った進行は保証されず、他方の軸に沿った進行を積極的に損なうことなく、現在のアライメント手法では単一の目的として扱うことができる。
関連論文リスト
- EvalSafetyGap: A Hybrid Survey and Conceptual Framework for LLM Evaluation-Safety Failures [0.6588840794922407]
本稿では、物語合成と組み合わせた体系的な探索と、グレーエビデンスを別々に追跡する。
この合成は、ベンチマークの妥当性、動的評価、安全性評価、ジェイルブレイク/拒否の堅牢性、報酬のハッキング、機械的解釈可能性、ガバナンス/監査性という8つのエビデンスストリームにまたがっている。
コントリビューションは、動的評価、透過的なソースレポート、多目的安全測定、監査可能なアライメントプラクティスをサポートするための共通語彙とエビデンスマップである。
論文 参考訳（メタデータ） (2026-06-29T12:33:06Z) - Selective Safety Steering via Value-Filtered Decoding [54.87935112120107]
大型言語モデル(LLM)は人間の価値観に合わせるように訓練されているが、その世代は安全上の制約に反する可能性がある。
既存のデコード時のステアリング手法は、しばしば不要に介入し、ベースモデルの下で安全であった世代を変更する。
安全でない応答の安全性を向上しつつ、そのような不要な介入を減らすための新しいテストタイムステアリング手法を提案する。
論文 参考訳（メタデータ） (2026-05-14T12:13:08Z) - SafeLM: Unified Privacy-Aware Optimization for Trustworthy Federated Large Language Models [0.0]
SafeLMは、プライバシー、セキュリティ、誤情報、および敵対的堅牢性に共同で対処するフレームワークである。
SafeLMは98.0%の有害なコンテンツ検出精度を実現し、通信を96.9%削減し、PSNRを31.7dBから15.1dBに下げる。
論文 参考訳（メタデータ） (2026-04-17T18:00:58Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - ATBench: A Diverse and Realistic Agent Trajectory Benchmark for Safety Evaluation and Diagnosis [96.92417622318267]
ATBenchは、エージェント安全性の構造化、多様性、現実的な評価のための軌道レベルのベンチマークである。
リスクソース、障害モード、現実世界の危害の3つの側面に沿ってエージェント的リスクを編成する。
1000個の軌道(安全503個、安全497個)があり、平均9.01ターンと3.95kトークンがあり、2,084個のツールにまたがるプールから1,954個のツールが呼び出されている。
論文 参考訳（メタデータ） (2026-04-02T13:26:20Z) - Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions [89.52532304099522]
フェデレートラーニング(FL)は、クライアントが生データを集中せずに共有モデルを共同でトレーニングすることを可能にし、固有のプライバシーレベルを提供する。
グラデーションとモデル更新は機密情報を漏洩する可能性があるが、悪意のあるサーバはビザンティン操作のような敵攻撃をマウントする可能性がある。
これらの脆弱性は、統合されたフレームワーク内の差分プライバシー(DP)とビザンチンの堅牢性に対処する必要性を強調している。
Byz-Clip21-SGD2Mを提案する。
論文 参考訳（メタデータ） (2026-03-24T17:39:09Z) - OOD-MMSafe: Advancing MLLM Safety from Harmful Intent to Hidden Consequences [64.01706941950489]
現在の安全パラダイムは、主に悪意のある意図や状況違反をターゲットとしている。
我々は,自律型および実施型エージェントのロバスト展開に不可欠なパラダイムである,結果駆動型安全に向けた安全フロンティアのシフトを提案する。
本稿では,トークンレベルの自己蒸留報酬の動的参照として,モデル固有の推論を統合したCASPO(Consequence-Aware Safety Policy Optimization)フレームワークを開発する。
論文 参考訳（メタデータ） (2026-03-10T14:16:43Z) - Health-ORSC-Bench: A Benchmark for Measuring Over-Refusal and Safety Completion in Health Context [82.32380418146656]
Health-ORSC-Benchは、医療におけるtextbfOver-Refusalと textbfSafe Completionの品質を測定するために設計された最初の大規模ベンチマークである。
私たちのフレームワークは、人間の検証を備えた自動パイプラインを使用して、さまざまなレベルの意図の曖昧さでモデルをテストします。
Health-ORSC-Benchは、次世代の医療AIアシスタントを調整するための厳格な標準を提供する。
論文 参考訳（メタデータ） (2026-01-25T01:28:52Z) - What Matters For Safety Alignment? [38.86339753409445]
本稿では,AIシステムの安全アライメント能力に関する総合的研究について述べる。
本研究では,6つの重要な内在モデル特性と3つの外部攻撃手法の影響を系統的に検討し,比較した。
LRMs GPT-OSS-20B, Qwen3-Next-80B-A3B-Thinking, GPT-OSS-120Bを最も安全な3つのモデルとして同定した。
論文 参考訳（メタデータ） (2026-01-07T12:31:52Z) - Beyond Benchmarks: Dynamic, Automatic And Systematic Red-Teaming Agents For Trustworthy Medical Language Models [87.66870367661342]
大規模言語モデル(LLM)は、医療におけるAIアプリケーションで使用される。
LLMを継続的にストレステストするレッドチームフレームワークは、4つのセーフティクリティカルなドメインで重大な弱点を明らかにすることができる。
敵エージェントのスイートは、自律的に変化するテストケースに適用され、安全でないトリガー戦略を特定し、評価する。
私たちのフレームワークは、進化可能でスケーラブルで信頼性の高い、次世代の医療AIのセーフガードを提供します。
論文 参考訳（メタデータ） (2025-07-30T08:44:22Z) - Core Safety Values for Provably Corrigible Agents [2.6451153531057985]
我々は,複数段階の部分的に観察された環境において,検証可能な保証を付与し,適応性のための最初の実装可能なフレームワークを紹介した。
私たちのフレームワークは、単一の報酬を5つの*構造的に分離された*ユーティリティヘッドに置き換えます。
敵がエージェントを修正できるオープンエンド設定では、任意のポストハックエージェントが調整性に反するかどうかを判断することは不可能である。
論文 参考訳（メタデータ） (2025-07-28T16:19:25Z) - aiXamine: Simplified LLM Safety and Security [7.933485586826888]
安全とセキュリティのための総合的なブラックボックス評価プラットフォームであるaiXamineについて紹介する。
AiXamineは40以上のテスト(ベンチマーク)を、特定の安全性とセキュリティをターゲットとした8つの重要なサービスに統合する。
プラットフォームは、評価結果をモデル毎の1つの詳細なレポートに集約し、モデルパフォーマンス、テスト例、リッチな視覚化を提供する。
論文 参考訳（メタデータ） (2025-04-21T09:26:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。