論文の概要: Large Language Model Supply Chain: Open Problems From the Security Perspective

• arxiv url: http://arxiv.org/abs/2411.01604v1
• Date: Sun, 03 Nov 2024 15:20:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:51:47.101856
• Title: Large Language Model Supply Chain: Open Problems From the Security Perspective
• Title（参考訳）: 大規模言語モデルサプライチェーン: セキュリティの観点からのオープンな問題
• Authors: Qiang Hu, Xiaofei Xie, Sen Chen, Lei Ma,
• Abstract要約: 大規模言語モデル(LLM)はソフトウェア開発パラダイムを変えつつあり、学術と産業の両方から大きな注目を集めています。 各コンポーネントの潜在的なセキュリティリスクとLCM SCのコンポーネント間の統合について議論する第一歩を踏み出します。
• 参考スコア（独自算出の注目度）: 25.320736806895976
• License:
• Abstract: Large Language Model (LLM) is changing the software development paradigm and has gained huge attention from both academia and industry. Researchers and developers collaboratively explore how to leverage the powerful problem-solving ability of LLMs for specific domain tasks. Due to the wide usage of LLM-based applications, e.g., ChatGPT, multiple works have been proposed to ensure the security of LLM systems. However, a comprehensive understanding of the entire processes of LLM system construction (the LLM supply chain) is crucial but relevant works are limited. More importantly, the security issues hidden in the LLM SC which could highly impact the reliable usage of LLMs are lack of exploration. Existing works mainly focus on assuring the quality of LLM from the model level, security assurance for the entire LLM SC is ignored. In this work, we take the first step to discuss the potential security risks in each component as well as the integration between components of LLM SC. We summarize 12 security-related risks and provide promising guidance to help build safer LLM systems. We hope our work can facilitate the evolution of artificial general intelligence with secure LLM ecosystems.
• Abstract（参考訳）: 大規模言語モデル(LLM)はソフトウェア開発パラダイムを変えつつあり、学術と産業の両方から大きな注目を集めています。 研究者と開発者は共同で、特定のドメインタスクにLLMの強力な問題解決能力を活用する方法を探求する。 LLMベースのアプリケーション、例えばChatGPTが広く使われているため、LLMシステムのセキュリティを確保するために複数の研究が提案されている。 しかし、LLMシステムの構築プロセス全体(LLMサプライチェーン)の包括的な理解は重要であるが、関連する作業は限られている。 さらに重要なのは、LLM SCに隠されたセキュリティ上の問題は、LLMの信頼性の高い使用に大きく影響する可能性があることだ。 既存の研究は主にモデルレベルからLLMの品質を保証することに重点を置いており、LLM SC全体のセキュリティ保証は無視されている。 本研究では,LLM SCのコンポーネント間の統合だけでなく,各コンポーネントの潜在的なセキュリティリスクについても検討する。 12のセキュリティ関連リスクを要約し、より安全なLCMシステム構築を支援するための有望なガイダンスを提供する。 我々の研究が、セキュアなLLMエコシステムによる人工知能の進化を促進することを願っている。

関連論文リスト

• Lifting the Veil on the Large Language Model Supply Chain: Composition, Risks, and Mitigations [6.478930807409979]
  大規模言語モデル(LLM)は、インテリジェンスと生産性の両方に重大な影響を与えている。 本稿では, LLMサプライチェーンの概要を概説し, ステークホルダー, アーティファクトの構成, 供給タイプについて詳述する。
  論文  参考訳（メタデータ） (2024-10-28T17:02:12Z)
• System-Level Defense against Indirect Prompt Injection Attacks: An Information Flow Control Perspective [24.583984374370342]
  LLMシステム(Large Language Model-based System)は、情報処理およびクエリ処理システムである。 本稿では,情報フロー制御の原理に基づくシステムレベルの防衛システムについて述べる。
  論文  参考訳（メタデータ） (2024-09-27T18:41:58Z)
• CoCA: Regaining Safety-awareness of Multimodal Large Language Models with Constitutional Calibration [90.36429361299807]
  マルチモーダルな大言語モデル (MLLM) は、視覚的な入力を含む会話への関与において顕著な成功を収めている。 視覚的モダリティの統合は、MLLMが悪意のある視覚的入力に影響を受けやすいという、ユニークな脆弱性を導入している。 本稿では,出力分布を校正することでMLLMの安全性を向上するCoCA技術を紹介する。
  論文  参考訳（メタデータ） (2024-09-17T17:14:41Z)
• Eyes Closed, Safety On: Protecting Multimodal LLMs via Image-to-Text Transformation [98.02846901473697]
  我々は,MLLMの本来の安全意識を生かしたトレーニング不要な保護手法であるECSO(Eyes Closed, Safety On)を提案する。 ECSOは、安全でない画像をテキストに適応的に変換することで、より安全な応答を生成し、予め整列されたLCMの本質的な安全性メカニズムを活性化する。
  論文  参考訳（メタデータ） (2024-03-14T17:03:04Z)
• A New Era in LLM Security: Exploring Security Concerns in Real-World LLM-based Systems [47.18371401090435]
  我々は,LLMではなく,Large Language Model(LLM)システムのセキュリティを分析する。 我々は,多層・多段階のアプローチを提案し,これを最先端のOpenAI GPT4に適用する。 OpenAI GPT4は安全機能を改善するために多くの安全制約を設計しているが、これらの安全制約は攻撃者に対して脆弱である。
  論文  参考訳（メタデータ） (2024-02-28T19:00:12Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Risk Taxonomy, Mitigation, and Assessment Benchmarks of Large Language Model Systems [29.828997665535336]
  大規模言語モデル(LLM)は、多様な自然言語処理タスクを解く上で強力な能力を持つ。 しかし、LLMシステムの安全性とセキュリティの問題は、その広範な応用にとって大きな障害となっている。 本稿では,LLMシステムの各モジュールに関連する潜在的なリスクを体系的に分析する包括的分類法を提案する。
  論文  参考訳（メタデータ） (2024-01-11T09:29:56Z)
• Towards Vision Enhancing LLMs: Empowering Multimodal Knowledge Storage and Sharing in LLMs [72.49064988035126]
  マルチモーダル大規模言語モデル(MLLM)の強化を目的としたMKS2という手法を提案する。 具体的には、LLMの内部ブロックに組み込まれたコンポーネントであるModular Visual Memoryを導入し、オープンワールドの視覚情報を効率的に保存するように設計されている。 実験により,MKS2は物理的・常識的な知識を必要とする文脈において,LLMの推論能力を大幅に増強することが示された。
  論文  参考訳（メタデータ） (2023-11-27T12:29:20Z)
• A Survey of Large Language Models for Code: Evolution, Benchmarking, and Future Trends [30.774685501251817]
  一般的な大規模言語モデル(LLM)は、ソフトウェア工学におけるコード生成のようなタスクにおいて大きな可能性を証明している。 コードLLMのかなりの部分は、モデルファインチューニングを通じて一般的なLLMから派生している。 現在、Code LLMとそのパフォーマンスに関する体系的な調査が欠如している。
  論文  参考訳（メタデータ） (2023-11-17T07:55:16Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。