論文の概要: Small models, big threats: Characterizing safety challenges from low-compute AI models

• arxiv url: http://arxiv.org/abs/2601.21365v1
• Date: Thu, 29 Jan 2026 07:46:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.65378
• Title: Small models, big threats: Characterizing safety challenges from low-compute AI models
• Title（参考訳）: 小さなモデル、大きな脅威:低計算AIモデルによる安全性の課題を特徴づける
• Authors: Prateek Puri,
• Abstract要約: 人工知能(AI)システムは、医学、薬物発見、材料科学などの分野に革命をもたらしている。 これまで、AIガバナンスに関する具体的なポリシーは、特定のAIシステムの運用や構築に必要な計算量を考慮して、AIリスクの管理に重点を置いてきた。 しかし、低計算のAIシステムは、ますますパフォーマンスが向上し、より危険になっています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial intelligence (AI) systems are revolutionizing fields such as medicine, drug discovery, and materials science; however, many technologists and policymakers are also concerned about the technology's risks. To date, most concrete policies around AI governance have focused on managing AI risk by considering the amount of compute required to operate or build a given AI system. However, low-compute AI systems are becoming increasingly more performant - and more dangerous. Driven by agentic workflows, parameter quantization, and other model compression techniques, capabilities once only achievable on frontier-level systems have diffused into low-resource models deployable on consumer devices. In this report, we profile this trend by downloading historical benchmark performance data for over 5,000 large language models (LLMs) hosted on HuggingFace, noting the model size needed to achieve competitive LLM benchmarks has decreased by more than 10X over the past year. We then simulate the computational resources needed for an actor to launch a series of digital societal harm campaigns - such as disinformation botnets, sexual extortion schemes, voice-cloning fraud, and others - using low-compute open-source models and find nearly all studied campaigns can easily be executed on consumer-grade hardware. This position paper argues that protection measures for high-compute models leave serious security holes for their low-compute counterparts, meaning it is urgent both policymakers and technologists make greater efforts to understand and address this emerging class of threats.
• Abstract（参考訳）: 人工知能(AI)システムは、医学、薬物発見、材料科学などの分野に革命をもたらしている。 これまで、AIガバナンスに関する具体的なポリシーは、特定のAIシステムの運用や構築に必要な計算量を考慮して、AIリスクの管理に重点を置いてきた。 しかし、低計算のAIシステムは、ますますパフォーマンスが向上し、より危険になっています。 エージェントワークフロー、パラメータ量子化、その他のモデル圧縮技術によって駆動される、フロンティアレベルのシステムでのみ達成可能な機能が、コンシューマデバイスにデプロイ可能な低リソースモデルに拡散した。 本稿では,HuggingFaceにホストされている5,000以上の大規模言語モデル(LLM)の履歴ベンチマークのパフォーマンスデータをダウンロードすることで,この傾向を考察する。 次に,アクターが情報伝達ボットネット,性的ゆがみスキーム,音声閉鎖詐欺など,一連のデジタル社会被害キャンペーンを開始するために必要な計算資源をシミュレーションし,低精度のオープンソースモデルを用いて,研究対象のキャンペーンのほぼすべてがコンシューマグレードハードウェア上で容易に実行可能であることを確認する。 このポジションペーパーは、高能率モデルに対する保護措置は、低能率モデルに深刻なセキュリティホールを残している、と論じている。

関連論文リスト

• Toward Quantitative Modeling of Cybersecurity Risks Due to AI Misuse [50.87630846876635]
  我々は9つの詳細なサイバーリスクモデルを開発する。 各モデルはMITRE ATT&CKフレームワークを使用して攻撃をステップに分解する。 個々の見積もりはモンテカルロシミュレーションによって集約される。
  論文  参考訳（メタデータ） (2025-12-09T17:54:17Z)
• An Artificial Intelligence Value at Risk Approach: Metrics and Models [0.0]
  人工知能のリスク管理技術の現状は、今後のAI規制により、非常に未熟であるようだ。 本稿の目的は、AIリスク管理の深さについて、AIステークホルダーを指向させることである。
  論文  参考訳（メタデータ） (2025-09-22T20:27:29Z)
• Securing AI Agents: Implementing Role-Based Access Control for Industrial Applications [0.0]
  産業環境では、AIエージェントは意思決定、予測保守、プロセス最適化を強化することでオペレーションを変革している。 これらの進歩にもかかわらず、AIエージェントは、迅速なインジェクション攻撃を含む、セキュリティ上の脅威に弱いままである。 本稿では,RBAC(Role-Based Access Control)をAIエージェントに統合し,堅牢なセキュリティガードレールを提供するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-14T20:58:08Z)
• A Systematic Survey of Model Extraction Attacks and Defenses: State-of-the-Art and Perspectives [65.3369988566853]
  近年の研究では、敵が対象モデルの機能を複製できることが示されている。 モデル抽出攻撃は知的財産権、プライバシー、システムのセキュリティに脅威をもたらす。 本稿では,攻撃機構,防衛手法,計算環境に応じてMEAを分類する新しい分類法を提案する。
  論文  参考訳（メタデータ） (2025-08-20T19:49:59Z)
• Graph of Effort: Quantifying Risk of AI Usage for Vulnerability Assessment [0.0]
  非AI資産を攻撃するために使用されるAIは、攻撃的AIと呼ばれる。 高度な自動化や複雑なパターン認識など、その能力を利用するリスクは大幅に増大する可能性がある。 本稿では,攻撃的AIを敵による脆弱性攻撃に使用するために必要な労力を分析するための,直感的でフレキシブルで効果的な脅威モデリング手法であるGraph of Effortを紹介する。
  論文  参考訳（メタデータ） (2025-03-20T17:52:42Z)
• Generative AI Models: Opportunities and Risks for Industry and Authorities [1.3196892898418466]
  生成AIモデルは、伝統的に創造性と人間の理解を必要とする幅広いタスクを実行することができる。 トレーニング中は、既存のデータからパターンを学び、その後、新しいコンテンツを生成することができる。 生成AIに関連する多くのリスクは、開発中に対処する必要がある。
  論文  参考訳（メタデータ） (2024-06-07T08:34:30Z)
• OmniForce: On Human-Centered, Large Model Empowered and Cloud-Edge Collaborative AutoML System [85.8338446357469]
  我々は人間中心のAutoMLシステムであるOmniForceを紹介した。 我々は、OmniForceがAutoMLシステムを実践し、オープン環境シナリオにおける適応型AIを構築する方法について説明する。
  論文  参考訳（メタデータ） (2023-03-01T13:35:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。