論文の概要: Unveiling the Landscape of LLM Deployment in the Wild: An Empirical Study
- arxiv url: http://arxiv.org/abs/2505.02502v1
- Date: Mon, 05 May 2025 09:30:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-06 18:49:35.632693
- Title: Unveiling the Landscape of LLM Deployment in the Wild: An Empirical Study
- Title(参考訳): 野生におけるLLM展開の景観形成に関する実証的研究
- Authors: Xinyi Hou, Jiahao Han, Yanjie Zhao, Haoyu Wang,
- Abstract要約: 大規模言語モデル(LLM)は、オープンソースおよび商用フレームワークを通じてますますデプロイされ、個人や組織が高度なAI機能を自己ホストできるようになる。
安全でないデフォルトと設定ミスはしばしばLLMサービスをパブリックインターネットに公開し、セキュリティとシステムエンジニアリングの重大なリスクを生じさせる。
本研究は、大規模実証研究を通じて、野生における公共のLLM展開の現況を明らかにすることを目的としている。
- 参考スコア(独自算出の注目度): 5.1875389249043415
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Background: Large language models (LLMs) are increasingly deployed via open-source and commercial frameworks, enabling individuals and organizations to self-host advanced AI capabilities. However, insecure defaults and misconfigurations often expose LLM services to the public Internet, posing significant security and system engineering risks. Aims: This study aims to unveil the current landscape of public-facing LLM deployments in the wild through a large-scale empirical study, focusing on service prevalence, exposure characteristics, systemic vulnerabilities, and associated risks. Method: We conducted an Internet-wide measurement to identify public-facing LLM deployments across 15 frameworks, discovering 320,102 services. We extracted 158 unique API endpoints, grouped into 12 functional categories based on capabilities and security risks. We further analyzed configurations, authentication practices, and geographic distributions, revealing deployment trends and systemic issues in real-world LLM system engineering. Results: Our study shows that public LLM deployments are rapidly growing but often insecure. Among all endpoints, we observe widespread use of insecure protocols, poor TLS configurations, and unauthenticated access to critical operations. Security risks, including model disclosure, system leakage, and unauthorized access, are pervasive, highlighting the need for secure-by-default frameworks and stronger deployment practices. Conclusions: Public-facing LLM deployments suffer from widespread security and configuration flaws, exposing services to misuse, model theft, resource hijacking, and remote exploitation. Strengthening default security, deployment practices, and operational standards is critical for the growing self-hosted LLM ecosystem.
- Abstract(参考訳): 背景: 大規模言語モデル(LLM)は、オープンソースおよび商用フレームワークを通じてますますデプロイされ、個人や組織が高度なAI機能を自己ホストできるようになる。
しかし、安全でないデフォルトや設定ミスはしばしばLLMサービスをパブリックなインターネットに公開し、セキュリティとシステムエンジニアリングの重大なリスクを生じさせる。
Aims: この研究は、大規模実証研究を通じて、公共向けLCMの展開の現在の状況を明らかにすることを目的としています。
方法: 15 のフレームワークにまたがる公共向け LLM のデプロイをインターネット全体で測定し,320,102 のサービスを発見した。
私たちは158のユニークなAPIエンドポイントを抽出し、機能とセキュリティリスクに基づいて12の機能カテゴリにグループ化しました。
さらに、実世界のLLMシステムエンジニアリングにおけるデプロイメントの動向とシステム問題を明らかにするため、構成、認証プラクティス、地理的分布を分析した。
結果: 公的なLCMの展開は急速に増加しているが, 多くの場合, 安全でないことが示唆された。
あらゆるエンドポイントの中で、安全でないプロトコル、TLS構成の貧弱さ、そして重要な操作への不正アクセスを広く利用しているのが観察できる。
モデル開示、システムリーク、不正アクセスなどのセキュリティリスクは広く浸透しており、セキュア・バイ・デフォルトのフレームワークとより強力なデプロイメントプラクティスの必要性を強調している。
結論: パブリックなLLMデプロイメントは、広範なセキュリティと構成上の欠陥に悩まされ、誤用、モデル盗難、リソースハイジャック、リモートエクスプロイトなどのサービスを公開する。
デフォルトのセキュリティ、デプロイメントプラクティス、運用標準の強化は、成長を続ける自己ホスト型LLMエコシステムにとって不可欠である。
関連論文リスト
- Okara: Detection and Attribution of TLS Man-in-the-Middle Vulnerabilities in Android Apps with Foundation Models [3.9807330903947378]
トランスポート層セキュリティ(TLS)は、オンライン通信のセキュア化に基本である。
Man-in-the-Middle(MitM)による攻撃は、Androidアプリにとって大きな脅威だ。
我々は,MitM脆弱性の検出と帰属を自動化するフレームワークであるOkaraを紹介する。
論文 参考訳(メタデータ) (2026-01-30T09:49:09Z) - RedSage: A Cybersecurity Generalist LLM [45.91667919408369]
RedSageは、ドメイン認識事前トレーニングとポストトレーニングを備えた、オープンソースでローカルにデプロイ可能なサイバーセキュリティアシスタントである。
フレームワーク、攻撃的テクニック、セキュリティツールにまたがる28.6Kのドキュメントにまたがって、大規模なWebフィルタリングと高品質なリソースのマニュアルコレクションを使用します。
RedSageは、確立されたサイバーセキュリティベンチマーク(例えば、CTI-Bench、CyberMetric、SECURE)と一般的なLCMベンチマークで評価され、より広範な一般化を評価する。
論文 参考訳(メタデータ) (2026-01-29T18:59:57Z) - Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。
LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。
モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
論文 参考訳(メタデータ) (2026-01-12T21:31:38Z) - Odysseus: Jailbreaking Commercial Multimodal LLM-integrated Systems via Dual Steganography [77.44136793431893]
本稿では,悪質なクエリを隠蔽して良質な画像に埋め込むために,二重ステガノグラフィーを導入した新しいjailbreakパラダイムを提案する。
我々のOdysseusはいくつかの先駆的で現実的なMLLM統合システムを脱獄し、最大99%の攻撃成功率を達成した。
論文 参考訳(メタデータ) (2025-12-23T08:53:36Z) - On the Effectiveness of Instruction-Tuning Local LLMs for Identifying Software Vulnerabilities [0.7136933021609079]
大規模言語モデル(LLM)は、ソフトウェア脆弱性分析の自動化において大きな可能性を秘めている。
脆弱性分析を自動化するためにLLMを使用する現在のアプローチは、主にオンラインAPIベースのLLMサービスに頼っている。
本稿では,この問題をソフトウェア脆弱性同定(SVI)として再検討することによって,これらの制約に対処する。
実世界の脆弱性管理においてLLMをより効果的でセキュアで実践的なアプローチを示す。
論文 参考訳(メタデータ) (2025-12-23T05:30:53Z) - Breaking Agent Backbones: Evaluating the Security of Backbone LLMs in AI Agents [36.2255033141489]
大規模言語モデル(LLM)を利用したAIエージェントが大規模にデプロイされているが、バックボーンLLMの選択がエージェントのセキュリティに与える影響について、体系的な理解が欠如している。
脅威スナップショット: 脆弱性が現れるエージェントの実行フロー内の特定の状態を分離するフレームワーク。
194331のユニークなクラウドソース攻撃に基づくセキュリティベンチマークである$operatornameb3$ベンチマークを構築するために,このフレームワークを適用した。
論文 参考訳(メタデータ) (2025-10-26T10:36:42Z) - Automated Vulnerability Validation and Verification: A Large Language Model Approach [7.482522010482827]
本稿では、生成AI、特に大規模言語モデル(LLM)を利用したエンドツーエンド多段階パイプラインを提案する。
本手法は,国立脆弱性データベース(National Vulnerability Database)のCVE開示情報から抽出する。
これは、Retrieval-Augmented Generation (RAG)を使用して、外部の公開知識(例えば、脅威アドバイザリ、コードスニペット)で拡張する。
パイプラインは生成されたアーティファクトを反復的に洗練し、テストケースでのアタック成功を検証し、複雑なマルチコンテナセットアップをサポートする。
論文 参考訳(メタデータ) (2025-09-28T19:16:12Z) - Comprehensive Vulnerability Analysis is Necessary for Trustworthy LLM-MAS [28.69485468744812]
大規模言語モデルに基づくマルチエージェントシステム (LLM-MAS) は、ハイテイクなアプリケーションにますます多くデプロイされている。
LLM-MASは、エージェント間通信、信頼関係、ツール統合を通じて、ユニークな攻撃面を導入している。
本稿では,多様な研究を統一するLSM-MASの脆弱性解析のための体系的枠組みを提案する。
論文 参考訳(メタデータ) (2025-06-02T01:46:15Z) - LLM Agents Should Employ Security Principles [60.03651084139836]
本稿では,大規模言語モデル(LLM)エージェントを大規模に展開する際には,情報セキュリティの確立した設計原則を採用するべきであることを論じる。
AgentSandboxは、エージェントのライフサイクル全体を通して保護を提供するために、これらのセキュリティ原則を組み込んだ概念的なフレームワークである。
論文 参考訳(メタデータ) (2025-05-29T21:39:08Z) - A Survey of Attacks on Large Language Models [5.845689496906739]
大規模言語モデル(LLM)とLLMベースのエージェントは、現実世界の幅広いアプリケーションに広くデプロイされている。
本稿では, LLM および LLM ベースのエージェントを標的とした敵攻撃の詳細を体系的に概説する。
論文 参考訳(メタデータ) (2025-05-18T22:55:16Z) - Datenschutzkonformer LLM-Einsatz: Eine Open-Source-Referenzarchitektur [0.10713888959520207]
本稿では,オープンソース技術を用いたLCMベースのクローズドシステム開発のためのリファレンスアーキテクチャを提案する。
このアーキテクチャは、厳格なデータプライバシとセキュリティ要件を満たす、フレキシブルで透過的なソリューションを提供する。
論文 参考訳(メタデータ) (2025-03-01T14:51:07Z) - Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。
本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。
我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
論文 参考訳(メタデータ) (2025-02-12T17:19:36Z) - Global Challenge for Safe and Secure LLMs Track 1 [57.08717321907755]
LLM(Global Challenge for Safe and Secure Large Language Models)は、AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が主催する先駆的イニシアチブである。
本稿では,AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が組織した先駆的イニシアチブであるLLM(Global Challenge for Safe and Secure Large Language Models)を紹介する。
論文 参考訳(メタデータ) (2024-11-21T08:20:31Z) - SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。
我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。
本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
論文 参考訳(メタデータ) (2024-10-24T17:14:40Z) - Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。
11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。
最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
論文 参考訳(メタデータ) (2024-07-23T15:31:26Z) - Large Language Models for Cyber Security: A Systematic Literature Review [14.924782327303765]
サイバーセキュリティ(LLM4Security)における大規模言語モデルの適用に関する文献の総合的なレビューを行う。
LLMは、脆弱性検出、マルウェア分析、ネットワーク侵入検出、フィッシング検出など、幅広いサイバーセキュリティタスクに応用されている。
第3に、細調整、転送学習、ドメイン固有の事前トレーニングなど、特定のサイバーセキュリティドメインにLLMを適用するための有望なテクニックをいくつか特定する。
論文 参考訳(メタデータ) (2024-05-08T02:09:17Z) - Securing the Open RAN Infrastructure: Exploring Vulnerabilities in Kubernetes Deployments [60.51751612363882]
ソフトウェアベースのオープン無線アクセスネットワーク(RAN)システムのセキュリティへの影響について検討する。
我々は、Near Real-Time RAN Controller(RIC)クラスタをサポートするインフラストラクチャに潜在的な脆弱性と設定ミスがあることを強調します。
論文 参考訳(メタデータ) (2024-05-03T07:18:45Z) - Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。
我々の調査は、この信念に対する重大な監視を露呈している。
我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
論文 参考訳(メタデータ) (2024-04-16T13:22:54Z) - Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal [0.0]
本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。
我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。
3つの主要株主グループに対する脅威もマップ化しています。
論文 参考訳(メタデータ) (2024-03-20T05:17:22Z) - A New Era in LLM Security: Exploring Security Concerns in Real-World
LLM-based Systems [47.18371401090435]
我々は,LLMではなく,Large Language Model(LLM)システムのセキュリティを分析する。
我々は,多層・多段階のアプローチを提案し,これを最先端のOpenAI GPT4に適用する。
OpenAI GPT4は安全機能を改善するために多くの安全制約を設計しているが、これらの安全制約は攻撃者に対して脆弱である。
論文 参考訳(メタデータ) (2024-02-28T19:00:12Z) - Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。
我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。
ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
論文 参考訳(メタデータ) (2023-12-21T01:08:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。