論文の概要: Evaluating DeepSeek V4.1 Flash-1017 for loss of control and harmful manipulation risks

• arxiv url: http://arxiv.org/abs/2610.35671v1
• Date: Mon, 26 Oct 2026 16:14:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.065795
• Title: Evaluating DeepSeek V4.1 Flash-1017 for loss of control and harmful manipulation risks
• Title（参考訳）: DeepSeek V4.1 Flash-1017による制御損失と有害な操作リスクの評価
• Abstract要約: 我々は、V4.1 Flashの最新バージョンであるDeepSeek V4.1 Flash-1017を独立して安全性評価する。 5つの社内スイート、評価の整合性、制御の喪失、有害な操作を含む34のベンチマークでモデルを評価した。 全体として、V4.1 Flash-1017はV4世代よりも大幅に安全性が向上した。
• 参考スコア（独自算出の注目度）: 40.44566152696344
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As frontier language models grow increasingly capable and autonomous, independent third-party evaluations are critical for characterizing their systemic safety risks. While closed-source releases are routinely accompanied by comprehensive system cards, open-weight models receive less scrutiny regarding frontier risks. To address this gap, we present an independent safety evaluation of DeepSeek V4.1 Flash-1017, the latest version of V4.1 Flash that departs from V4 with a new architecture, scaled-up training, and strong agentic capabilities. Drawing on the EU General-Purpose AI Code of Practice, we evaluate the model across 34 benchmarks, including 5 in-house suites, spanning evaluation integrity, loss of control, and harmful manipulation. Conforming to the AEF-1 standard, we compare V4.1 Flash-1017 against V4.1 Flash, earlier DeepSeek V4 models, and leading closed-source systems (GPT-6 Astra, GPT-5.6 Sol, and Gemini 3.8 Flash). Overall, V4.1 Flash-1017 shows substantial safety improvements over the V4 generation and approaches or matches leading closed-source baselines on several dimensions, while still exhibiting notable behaviors that warrant continued attention. Building on our findings, we highlight three key observations and recommendations. First, because safety can shift and even regress across minor updates, developers should integrate safety evaluation into incremental releases. Second, as final-turn outputs and end-state checks alone cannot reliably detect loss-of-control behaviors, deployments require process-level observability across both reasoning traces and action logs. Third, because public benchmarks elicit strong evaluation awareness and face data contamination risks, developing private benchmarks is essential for trustworthy frontier evaluation.
• Abstract（参考訳）: フロンティア言語モデルがますます有能になり、自律的になるにつれて、独立した第三者の評価は、彼らのシステム的安全性のリスクを特徴づけるために重要である。 クローズドソースリリースには包括的なシステムカードが付随するが、フロンティアリスクに関する調査は少ない。 このギャップに対処するため、V4.1 Flashの最新版であるDeepSeek V4.1 Flash-1017の独立した安全性評価を提示する。 EUの汎用AIコード(General-Purpose AI Code of Practice)に基づいて、5つの社内スイート、評価の整合性、制御の喪失、有害な操作を含む34のベンチマークでモデルを評価しました。 AEF-1標準に適合し、V4.1 Flash-1017とV4.1 Flash、以前のDeepSeek V4モデル、および主要なクローズドソースシステム(GPT-6 Astra、GPT-5.6 Sol、Gemini 3.8 Flash)と比較する。 全体として、V4.1 Flash-1017はV4世代よりも大幅に安全性が向上し、いくつかの次元においてクローズドソースベースラインをリードするアプローチと一致した。 この結果に基づいて,3つの重要な観察と勧告を強調した。 まず、安全はマイナーアップデートにまたがって変化し、さらに後退する可能性があるため、開発者は安全評価をインクリメンタルリリースに統合する必要がある。 第二に、最終ターン出力とエンドステートチェックだけでは制御の損失を確実に検出できないため、デプロイメントには推論トレースとアクションログの両方にわたってプロセスレベルの可観測性が必要である。 第3に、公開ベンチマークは強力な評価意識とデータ汚染リスクをもたらすため、信頼できるフロンティア評価にはプライベートベンチマークの開発が不可欠である。

関連論文リスト

• ReSI: Recursive Safety Improvement toward Resistant and Resilient AI [79.72081502522337]
  再帰的自己改善(Recursive self-improvement)、つまり、AIシステムが自身の能力を改善することへの参加は、理論的な見通しから実践へと移行し始めている。 本稿では,この手法を自動研究によって実装するフレームワークであるReSIを紹介する。 各ラウンドにおいて、ReSIは、現在のターゲットモデルの脆弱性を特定し、トレーニングレシピを開発し、最大の安全性向上でアップデートを促進するために、さまざまな赤チーム方式を適用している。
  論文  参考訳（メタデータ） (2026-10-08T16:17:21Z)
• SafeGesture: Evaluating Fine-Grained Hand Gesture Understanding in Vision-Language Models through Scenario-Conditioned Safety Interpretation [0.4779196219827507]
  モデルが手の動きからシナリオに適した安全行動を推測できるかどうかを評価するベンチマークであるSafeGestureを紹介する。 5つのモデルのうち4つは、まれに、または決して不確実性ラベルを使用しず、失敗の方向はモデルによって大きく異なる。 その結果,ジェスチャー認識よりもシナリオ条件付き安全推論が主なボトルネックであることがわかった。
  論文  参考訳（メタデータ） (2026-08-17T04:25:58Z)
• Your Agent, Their Asset: A Real-World Safety Analysis of OpenClaw [87.97230960702274]
  本稿では,OpenClawの安全性評価について紹介する。 エージェントの永続状態を3次元に統一するCIK分類法を導入する。 評価では、ライブOpenClawインスタンス上の12のアタックシナリオをカバーしています。
  論文  参考訳（メタデータ） (2026-04-06T15:27:05Z)
• A Safety Report on GPT-5.2, Gemini 3 Pro, Qwen3-VL, Grok 4.1 Fast, Nano Banana Pro, and Seedream 4.5 [101.4233736714284]
  大規模言語モデル(LLM)とマルチモーダル大規模言語モデル(MLLM)は、言語とビジョンをまたいだ推論、認識、生成において大きな進歩をもたらした。 GPT-5.2, Gemini 3 Pro, Qwen3-VL, Grok 4.1 Fast, Nano Banana Pro, Seedream 4.5-assesing each across language, vision- language and image generation。
  論文  参考訳（メタデータ） (2026-01-15T15:52:52Z)
• DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models [59.45605332033458]
  安全メカニズムはバックファイアし、過剰な拒絶を引き起こし、モデルが過度に注意を払って良質な要求を減らします。 既存のベンチマークは、視覚的モダリティの過剰な拒絶に体系的に対処していない。 この設定は、命令が無害であるが付随する画像には有害な内容が含まれているというような、ユニークな課題をもたらす。
  論文  参考訳（メタデータ） (2025-10-12T23:21:34Z)
• When Developer Aid Becomes Security Debt: A Systematic Analysis of Insecure Behaviors in LLM Coding Agents [1.7587442088965226]
  LLMベースのコーディングエージェントは、急速にソフトウェア開発にデプロイされているが、その安全性への影響はよく分かっていない。 我々は,5つの最先端モデルにわたる12,000以上のアクションを解析し,自律型符号化エージェントの最初の系統的安全性評価を行った。 我々は,4つの主要な脆弱性を識別する高精度検出システムを開発した。
  論文  参考訳（メタデータ） (2025-07-12T16:11:07Z)
• Security Assessment of DeepSeek and GPT Series Models against Jailbreak Attacks [9.277492743469235]
  本稿では,DeepSeekシリーズモデルの最初の系統的ジェイルブレイク評価について述べる。 HarmBench ベンチマークを用いて GPT-3.5 と GPT-4 を比較した。
  論文  参考訳（メタデータ） (2025-06-23T11:53:31Z)
• VADER: A Human-Evaluated Benchmark for Vulnerability Assessment, Detection, Explanation, and Remediation [0.8087612190556891]
  VADERは174の現実世界のソフトウェア脆弱性で構成されており、それぞれがGitHubから慎重にキュレーションされ、セキュリティ専門家によって注釈付けされている。 各脆弱性ケースに対して、モデルは欠陥を特定し、Common Weaknession(CWE)を使用して分類し、その根本原因を説明し、パッチを提案し、テストプランを策定する。 ワンショットプロンプト戦略を用いて、VADER上で6つの最先端LCM(Claude 3.7 Sonnet, Gemini 2.5 Pro, GPT-4.1, GPT-4.5, Grok 3 Beta, o3)をベンチマークする。 我々の結果は現在の状態を示している。
  論文  参考訳（メタデータ） (2025-05-26T01:20:44Z)
• Evaluation Faking: Unveiling Observer Effects in Safety Evaluation of Frontier AI Systems [24.81155882432305]
  評価対象の高度なAIシステムが、推論や状況認識においてより高度である場合、評価のフェイキング行動がよりユビキタスになることを示す。 そこで我々は,フェーキング意図を検知し,その行動に相関した内部信号を明らかにするチェーンオブシントモニタリング手法を開発した。
  論文  参考訳（メタデータ） (2025-05-23T12:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。