Fugu-MT 論文翻訳(概要): On the (In)Security of LLM App Stores

論文の概要: On the (In)Security of LLM App Stores

arxiv url: http://arxiv.org/abs/2407.08422v2
Date: Mon, 29 Jul 2024 11:18:57 GMT
ステータス: 処理完了
システム内更新日: 2024-07-30 20:51:41.966171
Title: On the (In)Security of LLM App Stores
Title（参考訳）: LLM App Storeの安全性について
Authors: Xinyi Hou, Yanjie Zhao, Haoyu Wang,
Abstract要約: 本研究では,LLMアプリの潜在的なセキュリティリスクを特定するための3層懸念フレームワークを提案する。本研究は,静的および動的解析,大規模有毒単語辞書の開発,自動監視ツールを統合した。 15,146のアプリが誤解を招く説明をし、1,366件の個人情報をプライバシーポリシーに対して収集し、15,996件の有害なコンテンツを生成した。
参考スコア（独自算出の注目度）: 5.667013605202579
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: LLM app stores have seen rapid growth, leading to the proliferation of numerous custom LLM apps. However, this expansion raises security concerns. In this study, we propose a three-layer concern framework to identify the potential security risks of LLM apps, i.e., LLM apps with abusive potential, LLM apps with malicious intent, and LLM apps with exploitable vulnerabilities. Over five months, we collected 786,036 LLM apps from six major app stores: GPT Store, FlowGPT, Poe, Coze, Cici, and Character.AI. Our research integrates static and dynamic analysis, the development of a large-scale toxic word dictionary (i.e., ToxicDict) comprising over 31,783 entries, and automated monitoring tools to identify and mitigate threats. We uncovered that 15,146 apps had misleading descriptions, 1,366 collected sensitive personal information against their privacy policies, and 15,996 generated harmful content such as hate speech, self-harm, extremism, etc. Additionally, we evaluated the potential for LLM apps to facilitate malicious activities, finding that 616 apps could be used for malware generation, phishing, etc. Our findings highlight the urgent need for robust regulatory frameworks and enhanced enforcement mechanisms.
Abstract（参考訳）: LLMアプリストアは急速に成長し、多くのカスタムLDMアプリの普及につながった。しかし、この拡張はセキュリティ上の懸念を引き起こす。本研究では, LLMアプリの潜在的なセキュリティリスク,すなわち悪用可能性のLLMアプリ, 悪意のあるLLMアプリ, 悪用可能な脆弱性のLLMアプリの3層懸念フレームワークを提案する。 5ヶ月にわたって、GPT Store、FlowGPT、Poe、Coze、Cci、 character.AIという6つの主要なアプリストアから786,036個のLMアプリを収集しました。本研究では,静的および動的解析,31,783以上の項目からなる大規模有毒単語辞書(ToxicDict)の開発,脅威を識別・緩和するための自動監視ツールを統合する。 15,146のアプリが誤解を招く説明をし、1,366件の個人情報をプライバシーポリシーに対して収集し、15,996件のヘイトスピーチ、自傷行為、過激主義などの有害なコンテンツを生成した。さらに,LSMアプリが悪意ある活動を促進する可能性を評価し,マルウェア生成やフィッシングなどに616のアプリが使用できることを確認した。本研究は,厳格な規制枠組みと強化された執行機構の必要性を浮き彫りにしている。

関連論文リスト

AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents [84.96249955105777]
LLMエージェントは誤用された場合、より大きなリスクを引き起こすが、その堅牢性は未発見のままである。我々は, LLMエージェント誤用の研究を容易にするために, AgentHarmと呼ばれる新しいベンチマークを提案する。主要なLLMは、ジェイルブレイクなしで悪意のあるエージェント要求に驚くほど準拠している。
論文参考訳（メタデータ） (2024-10-11T17:39:22Z)
Exploring LLMs for Malware Detection: Review, Framework Design, and Countermeasure Approaches [0.24578723416255752]
マルウェアの作成と拡散にLarge Language Modelsの利用が増加していることは、サイバーセキュリティの重大な課題となっている。本稿では,LSMと各種ソースからのマルウェア検出におけるその役割について概説する。マルウェアハニーポット、テキストベースの脅威の識別、悪意のある意図を検出するためのコード解析、マルウェアの傾向分析、非標準的な偽装マルウェアの検出。
論文参考訳（メタデータ） (2024-09-11T19:33:44Z)
MaPPing Your Model: Assessing the Impact of Adversarial Attacks on LLM-based Programming Assistants [14.947665219536708]
本稿では,攻撃者がプログラムタスクのプロンプトに少量のテキストを付加するMalicious Programming Prompt(MaPP)攻撃を紹介する。我々の迅速な戦略は、LSMが他の方法で正しいコードを書き続けながら脆弱性を追加する可能性があることを示しています。
論文参考訳（メタデータ） (2024-07-12T22:30:35Z)
Human-Imperceptible Retrieval Poisoning Attacks in LLM-Powered Applications [10.06789804722156]
我々は,攻撃者がRAGプロセス中に悪意のある応答を誘導する,検索中毒と呼ばれるLSMベースのアプリケーションに対する新たな脅威を明らかにした。我々の予備実験は、攻撃者が88.33%の成功率でLLMを誤解させ、実世界のアプリケーションで66.67%の成功率を達成することを示唆している。
論文参考訳（メタデータ） (2024-04-26T07:11:18Z)
Prompt Leakage effect and defense strategies for multi-turn LLM interactions [95.33778028192593]
システムプロンプトの漏洩は知的財産を侵害し、攻撃者に対する敵の偵察として機能する可能性がある。我々は, LLM sycophancy 効果を利用して, 平均攻撃成功率 (ASR) を17.7%から86.2%に高めるユニークな脅威モデルを構築した。 7つのブラックボックス防衛戦略の緩和効果と、漏洩防止のためのオープンソースモデルを微調整する。
論文参考訳（メタデータ） (2024-04-24T23:39:58Z)
Eyes Closed, Safety On: Protecting Multimodal LLMs via Image-to-Text Transformation [98.02846901473697]
我々は,MLLMの本来の安全意識を生かしたトレーニング不要な保護手法であるECSO(Eyes Closed, Safety On)を提案する。 ECSOは、安全でない画像をテキストに適応的に変換することで、より安全な応答を生成し、予め整列されたLCMの本質的な安全性メカニズムを活性化する。
論文参考訳（メタデータ） (2024-03-14T17:03:04Z)
Rethinking Jailbreaking through the Lens of Representation Engineering [45.70565305714579]
最近のジェイルブレイク手法の急増により、悪意のある入力に対するLarge Language Models(LLM)の脆弱性が明らかになった。本研究では, 特定の行動パターンを明らかにすることで, 安全性に配慮したLCMの脆弱性を明らかにする。
論文参考訳（メタデータ） (2024-01-12T00:50:04Z)
A Survey on Large Language Model (LLM) Security and Privacy: The Good, the Bad, and the Ugly [21.536079040559517]
大規模言語モデル(LLM)は、自然言語の理解と生成に革命をもたらした。本稿では,LLMとセキュリティとプライバシの交わりについて考察する。
論文参考訳（メタデータ） (2023-12-04T16:25:18Z)
Identifying and Mitigating Vulnerabilities in LLM-Integrated Applications [37.316238236750415]
LLM統合アプリケーションのバックエンドとして,大規模言語モデル(LLM)がますます多くデプロイされている。本研究では,ユーザとLLMがLLM統合アプリケーションを介して,中間で対話する環境について考察する。悪意のあるアプリケーション開発者や外部からの脅威から生じる可能性のある潜在的な脆弱性を特定します。我々は、内部の脅威と外部の脅威の両方を緩和する軽量で脅威に依存しない防御を開発する。
論文参考訳（メタデータ） (2023-11-07T20:13:05Z)
Making Harmful Behaviors Unlearnable for Large Language Models [50.44915524846857]
大規模言語モデル(LLM)は、様々な領域における汎用AIアシスタントとして大きな可能性を示している。 LLMは、暗黙的または明示的な有害な内容を含むことが多いため、有害なアシスタントに容易に微調整できる。本稿では, 微調整過程において有害な動作を学習不能にする, 制御可能なトレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2023-11-02T09:18:21Z)
Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
論文参考訳（メタデータ） (2023-08-25T14:02:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。