論文の概要: Llama Guard 3-1B-INT4: Compact and Efficient Safeguard for Human-AI Conversations

• arxiv url: http://arxiv.org/abs/2411.17713v1
• Date: Mon, 18 Nov 2024 21:42:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-01 04:14:33.467298
• Title: Llama Guard 3-1B-INT4: Compact and Efficient Safeguard for Human-AI Conversations
• Title（参考訳）: Llama Guard 3-1B-INT4:人間とAIの会話のコンパクトで効率的な保護
• Authors: Igor Fedorov, Kate Plawiak, Lemeng Wu, Tarek Elgamal, Naveen Suda, Eric Smith, Hongyuan Zhan, Jianfeng Chi, Yuriy Hulovatyy, Kimish Patel, Zechun Liu, Changsheng Zhao, Yangyang Shi, Tijmen Blankevoort, Mahesh Pasupuleti, Bilge Soran, Zacharie Delpierre Coudert, Rachad Alao, Raghuraman Krishnamoorthi, Vikas Chandra,
• Abstract要約: 本稿では,Meta Connect 2024中にコミュニティにオープンソース化された,コンパクトで効率的なLlama Guardモデルを提案する。 Llama Guard 3-1B-INT4は、リソース制約のあるデバイスにデプロイ可能で、少なくとも30トークン/秒のスループットと2.5秒以下のタイム・ツー・ファーストのスループットを、コモディティなAndroidモバイルCPU上で実現可能であることを実証した。
• 参考スコア（独自算出の注目度）: 33.786094370039905
• License:
• Abstract: This paper presents Llama Guard 3-1B-INT4, a compact and efficient Llama Guard model, which has been open-sourced to the community during Meta Connect 2024. We demonstrate that Llama Guard 3-1B-INT4 can be deployed on resource-constrained devices, achieving a throughput of at least 30 tokens per second and a time-to-first-token of 2.5 seconds or less on a commodity Android mobile CPU. Notably, our experiments show that Llama Guard 3-1B-INT4 attains comparable or superior safety moderation scores to its larger counterpart, Llama Guard 3-1B, despite being approximately 7 times smaller in size (440MB).
• Abstract（参考訳）: 本稿では,Llama Guard 3-1B-INT4というコンパクトで効率的なLlama Guardモデルについて述べる。 Llama Guard 3-1B-INT4は、リソース制約のあるデバイスにデプロイ可能で、少なくとも30トークン/秒のスループットと2.5秒以下のタイム・ツー・ファーストのスループットを、コモディティなAndroidモバイルCPU上で実現可能であることを実証した。 実験の結果、Llama Guard 3-1B-INT4はLlama Guard 3-1Bに匹敵する安全性のモデレーションスコアが得られた。

関連論文リスト

• GuardReasoner: Towards Reasoning-based LLM Safeguards [63.53800124080227]
  本稿では, LLM の新たなセーフガードである GuardReasoner を提案する。 GuardReasonerTrainデータセットは、117Kのサンプルと460Kの詳細な推論ステップで構成されています。 次に、ガードモデルの推論能力を解き放つための推論SFTを導入する。 このように、GuardReasonerはより良いパフォーマンス、説明可能性、一般化可能性を達成する。
  論文  参考訳（メタデータ） (2025-01-30T17:06:06Z)
• Llama Guard 3 Vision: Safeguarding Human-AI Image Understanding Conversations [8.217291890346278]
  Llama Guard 3 Visionは、画像理解を伴う人間とAIの会話のためのマルチモーダルLLMベースの安全ガードである。 Llama 3.2-Visionで微調整され、MLCommons分類を用いて内部ベンチマークで強い性能を示す。 私たちは、Llama Guard 3 Visionが、マルチモーダル機能を備えた人間とAIの会話のための、より有能で堅牢なコンテンツモデレーションツールを構築するための出発点となると信じています。
  論文  参考訳（メタデータ） (2024-11-15T18:34:07Z)
• Can Large Language Models Automatically Jailbreak GPT-4V? [64.04997365446468]
  本稿では,迅速な最適化にインスパイアされた革新的な自動ジェイルブレイク技術であるAutoJailbreakを紹介する。 実験の結果,AutoJailbreakは従来の手法をはるかに上回り,95.3%を超えるアタック成功率(ASR)を達成した。 この研究は、GPT-4Vのセキュリティ強化に光を当て、LCMがGPT-4Vの完全性向上に活用される可能性を強調している。
  論文  参考訳（メタデータ） (2024-07-23T17:50:45Z)
• PrimeGuard: Safe and Helpful LLMs through Tuning-Free Routing [1.474945380093949]
  推論時ガードレール(ITG)は、モデルの出力分布をコンプライアンスにシフトするソリューションを提供する。 現在の手法は安全性と利便性のバランスをとるのに苦労している。 構造化制御フローを利用した新しいITG手法であるPrimeGuardを提案する。
  論文  参考訳（メタデータ） (2024-07-23T09:14:27Z)
• WildGuard: Open One-Stop Moderation Tools for Safety Risks, Jailbreaks, and Refusals of LLMs [54.10865585773691]
  LLM安全性のためのオープンで軽量なモデレーションツールであるWildGuardを紹介します。 WildGuardは、ユーザプロンプトにおける悪意のある意図の特定、モデルレスポンスの安全性リスクの検出、モデル拒絶率の決定という3つの目標を達成する。
  論文  参考訳（メタデータ） (2024-06-26T16:58:20Z)
• DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training [82.06732962485754]
  FlashAttentionは、1つのGPU上でのトレーニングトランスフォーマーベースの大規模言語モデル(LLM)において、2次ピークメモリの使用を線形に削減する。 本研究では,長期LLM学習に最適化されたメモリ効率の高い注意機構であるDisTFLASHATTNを紹介する。 最近のRing AttentionやDeepSpeed-Ulyssesと比較して、1.67xと1.26 - 1.88xのスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-10-05T03:47:57Z)
• A LLM Assisted Exploitation of AI-Guardian [57.572998144258705]
  IEEE S&P 2023で発表された敵に対する最近の防衛であるAI-Guardianの堅牢性を評価する。 我々は、このモデルを攻撃するためのコードを書かず、代わりに、GPT-4に命令とガイダンスに従って全ての攻撃アルゴリズムを実装するよう促します。 このプロセスは驚くほど効果的で効率的であり、言語モデルでは、この論文の著者が実行したよりも高速に曖昧な命令からコードを生成することもあった。
  論文  参考訳（メタデータ） (2023-07-20T17:33:25Z)
• Efficient Privacy-Preserving Machine Learning with Lightweight Trusted Hardware [20.21755520998494]
  本稿では,小規模な専用セキュリティプロセッサによるセキュアな機械学習推論プラットフォームを提案する。 我々は、最先端の分散プライバシ保存機械学習(PPML)プロトコルと比較して、大幅な性能向上を実現している。 我々の技術は、TEEにおけるセキュアメモリのサイズに制限されず、ResNet18やTransformerのような高容量な現代的なニューラルネットワークをサポートできます。
  論文  参考訳（メタデータ） (2022-10-18T20:06:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。