論文の概要: A Translational Note on AI Safety Evaluation

• arxiv url: http://arxiv.org/abs/2609.06573v1
• Date: Sun, 06 Sep 2026 12:36:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.266414
• Title: A Translational Note on AI Safety Evaluation
• Title（参考訳）: AIの安全性評価に関する翻訳ノート
• Abstract要約: 最近の研究報告によると、自動化されたリピートは、標準的なAI安全ベンチマークにおける人間のリピートよりも低コストで、より多くの脆弱性を発見できる。 比較は一つのことを測り、結論は別のことを主張する。 私たちはAIセーフティバージョンを、Emphthreatモデルカバレッジギャップと呼び、現在のオープンウェイトモデルで持続していることに気付きました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies report that automated red-teaming finds more vulnerabilities, at lower cost, than human red-teaming on standard AI safety benchmarks, and some read this as evidence that human evaluators are becoming dispensable. The comparison measures one thing and the conclusion claims another. A benchmark measures how thoroughly an attacker searches a predefined set of harms, fixed in advance by the developers, and a harm left out of that set is invisible to any attacker working inside it, automated or not. The same blind spot appeared in academic cryptography and in clinical drug trials, where an evaluation that was internally valid stayed silent about the population it was never pointed at. We call the AI-safety version the \emph{threat-model coverage gap}, and find that it persists in a current open-weight model, where harms surface in non-English prompts that English benchmarks miss. Closing it requires evaluators whose deployment context differs from the developers'. The case for those evaluators is methodological, grounded in coverage, and the existing evaluation frame is unlikely to produce them on its own.
• Abstract（参考訳）: 最近の研究報告では、自動化されたリピートは、標準的なAI安全ベンチマークにおける人間のリピートよりも低コストで、より多くの脆弱性を発見している。 比較は一つのことを測り、結論は別のことを主張する。 ベンチマークは、アタッカーが事前に定義された害の集合をどれだけ徹底的に検索するかを開発者によって事前に決められ、そのセットから残った害は、その内部で作業しているアタッカーには見えず、自動化されているか、そうでないかである。 同じ盲点が、学術暗号や臨床試験で現れ、内部で有効であった評価は、決して指摘されなかった人口について黙ったままであった。 AI-safetyバージョンを‘emph{threat-model coverage gap}’と呼び、現在のオープンウェイトモデルで持続していることを確認します。 クローズするには、デプロイコンテキストが開発者のものと異なる評価者が必要である。 これらの評価装置のケースは方法論的であり、カバー範囲が低く、既存の評価フレームで独自に生成する可能性は低い。

関連論文リスト

• Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents [93.19140872946842]
  大規模言語モデル(LLM)によって駆動されるWebエージェントは、現実の環境にますますデプロイされる。 これにより、一見良質なコンテンツがエージェントの振る舞いを操作する敵の命令を埋め込む、プロンプト・インジェクション・アタックに対して脆弱になる。 実世界のWebエージェントシステムにおいて,損害を体系的に分類し,属性付けするベンチマークである textbfsysname を導入する。
  論文  参考訳（メタデータ） (2026-06-11T14:12:43Z)
• Models That Know How Evaluations Are Designed Score Safer [38.21092181000792]
  評価を特徴付ける構造特性に関するパラメトリック知識として定義されるメタ知識の評価について検討する。 評価手法を記述したテキストでトレーニングされたモデルでは、評価のようなコンテキストを認識して反応することが暗黙的に学習される可能性があるという仮説を立てる。 この結果から,評価メタ知識は,明示的な記憶や言語的評価意識に依存しない新しい共同創設者を導入することにより,安全性ベンチマークのパフォーマンスを向上させる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-05-27T15:11:35Z)
• When AI reviews science: Can we trust the referee? [73.47745294608072]
  私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。 評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
  論文  参考訳（メタデータ） (2026-04-26T08:03:32Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• The Compliance Paradox: Semantic-Instruction Decoupling in Automated Academic Code Evaluation [11.984098021215878]
  SPACI(Semantic-Preserving Adrial Code Injection)フレームワークとAST-ASIP(Abstract Syntax Tree-Aware Semantic Injection Protocol)を紹介する。 これらの方法は、抽象構文木(英語版)の構文的に不活性な領域(トリヴィアノード)に逆方向の指示を埋め込むことにより、構文解析ギャップを利用する。 Python、C、C++、Javaの25,000のサブミッションにまたがる9つのSOTAモデルの大規模な評価を通じて、DeepSeek-V3のような高容量オープンウェイトモデルにおいて、破滅的な失敗率(>95%)を明らかにします。
  論文  参考訳（メタデータ） (2026-01-29T07:40:58Z)
• BadScientist: Can a Research Agent Write Convincing but Unsound Papers that Fool LLM Reviewers? [21.78901120638025]
  製造指向の紙生成エージェントがマルチモデルLCMレビューシステムを欺くことができるかどうかを考察する。 我々のジェネレータは、実際の実験を必要としないプレゼンテーション操作戦略を採用している。 健全な集約数学にもかかわらず、整合性検査は体系的に失敗する。
  論文  参考訳（メタデータ） (2025-10-20T18:37:11Z)
• Benchmarking Misuse Mitigation Against Covert Adversaries [80.74502950627736]
  既存の言語モデルの安全性評価は、オーバースト攻撃と低レベルのタスクに重点を置いている。 我々は、隠蔽攻撃と対応する防御の評価を自動化するデータ生成パイプラインである、ステートフルディフェンスのためのベンチマーク(BSD)を開発した。 評価の結果,分解攻撃は有効な誤用防止剤であり,その対策としてステートフルディフェンスを強調した。
  論文  参考訳（メタデータ） (2025-06-06T17:33:33Z)
• Hashmarks: Privacy-Preserving Benchmarks for High-Stakes AI Evaluation [0.0]
  本稿では,適切な回答を開示することなく,オープンな言語モデルを評価するためのプロトコルであるハッシュマーキングを提案する。 最も単純な形式では、ハッシュマークは参照ソリューションが公開前に暗号的にハッシュ化されているベンチマークである。
  論文  参考訳（メタデータ） (2023-12-01T15:16:00Z)
• From Adversarial Arms Race to Model-centric Evaluation: Motivating a Unified Automatic Robustness Evaluation Framework [91.94389491920309]
  テキストの敵対攻撃は、セマンティック保存されているが、入力に誤解を招く摂動を加えることでモデルの弱点を発見することができる。 既存のロバストネス評価の実践は、包括的評価、非現実的評価プロトコル、無効な対人サンプルの問題を示す可能性がある。 我々は、敵攻撃の利点を活用するために、モデル中心の評価にシフトする統合された自動ロバストネス評価フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-29T14:55:20Z)
• A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
  我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。 また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
  論文  参考訳（メタデータ） (2022-06-17T02:29:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。