論文の概要: Building Guardrails for Large Language Models
- arxiv url: http://arxiv.org/abs/2402.01822v1
- Date: Fri, 2 Feb 2024 16:35:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 00:05:08.943320
- Title: Building Guardrails for Large Language Models
- Title(参考訳): 大規模言語モデルのためのガードレールの構築
- Authors: Yi Dong, Ronghui Mu, Gaojie Jin, Yi Qi, Jinwei Hu, Xingyu Zhao, Jie
Meng, Wenjie Ruan, Xiaowei Huang
- Abstract要約: LLMの入力や出力をフィルタリングするガードレールは、コアセーフガード技術として登場した。
このポジションペーパーでは、現在のオープンソースソリューション(Llama Guard, Nvidia NeMo, Guardrails AI)を詳しく調べ、より完全なソリューションを構築するための課題と道筋について論じる。
- 参考スコア(独自算出の注目度): 20.71365278201298
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As Large Language Models (LLMs) become more integrated into our daily lives,
it is crucial to identify and mitigate their risks, especially when the risks
can have profound impacts on human users and societies. Guardrails, which
filter the inputs or outputs of LLMs, have emerged as a core safeguarding
technology. This position paper takes a deep look at current open-source
solutions (Llama Guard, Nvidia NeMo, Guardrails AI), and discusses the
challenges and the road towards building more complete solutions. Drawing on
robust evidence from previous research, we advocate for a systematic approach
to construct guardrails for LLMs, based on comprehensive consideration of
diverse contexts across various LLMs applications. We propose employing
socio-technical methods through collaboration with a multi-disciplinary team to
pinpoint precise technical requirements, exploring advanced neural-symbolic
implementations to embrace the complexity of the requirements, and developing
verification and testing to ensure the utmost quality of the final product.
- Abstract(参考訳): 大規模言語モデル(llm)が私たちの日常生活により統合されるようになるにつれ、特にリスクが人間のユーザや社会に大きな影響を与える可能性がある場合、リスクを特定し軽減することが重要となる。
LLMの入力や出力をフィルタリングするガードレールは、コアセーフガード技術として登場した。
このポジションペーパーでは、現在のオープンソースソリューション(Llama Guard, Nvidia NeMo, Guardrails AI)を詳しく調べ、より完全なソリューションを構築するための課題と道筋について論じる。
従来の研究から強固な証拠を引用し,様々なLLMアプリケーションにおける多様な文脈の包括的考察に基づいて,LLMのガードレール構築のための体系的アプローチを提唱する。
我々は,複数の学際チームと共同で,正確な技術的要件の特定,要求の複雑さを受け入れるための高度なニューラルシンボリック実装の探索,最終製品の品質を保証するための検証とテストの開発などを通じて,社会工学的手法を採用することを提案する。
関連論文リスト
- Global Challenge for Safe and Secure LLMs Track 1 [57.08717321907755]
LLM(Global Challenge for Safe and Secure Large Language Models)は、AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が主催する先駆的イニシアチブである。
本稿では,AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が組織した先駆的イニシアチブであるLLM(Global Challenge for Safe and Secure Large Language Models)を紹介する。
論文 参考訳(メタデータ) (2024-11-21T08:20:31Z) - The Systems Engineering Approach in Times of Large Language Models [6.333694023236363]
重要な社会問題に対処するためには、この技術を社会技術システムに適用する必要がある。
本稿では,LLMがAIベースのシステムにおいて,システム研究の成果を生み出す上での課題について紹介する。
論文 参考訳(メタデータ) (2024-11-13T22:10:07Z) - A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks [74.52259252807191]
MLLM(Multimodal Large Language Models)は、単一のモダリティシステムの能力を超えた現実世界のアプリケーションの複雑さに対処する。
本稿では,自然言語,視覚,音声などのマルチモーダルタスクにおけるMLLMの応用を体系的に整理する。
論文 参考訳(メタデータ) (2024-08-02T15:14:53Z) - AI Safety in Generative AI Large Language Models: A Survey [14.737084887928408]
生成的AI能力を示す大規模言語モデル(LLM)は、採用とイノベーションの加速に直面している。
生成AI(GAI)は、これらのモデルに関連するリスクと安全性に関する懸念を必然的に高める。
本稿では,コンピュータ科学者の視点からAI安全研究の最新の動向について報告する。
論文 参考訳(メタデータ) (2024-07-06T09:00:18Z) - Multi-step Inference over Unstructured Data [2.169874047093392]
医療、法律、金融などの分野における高い意思決定タスクは、精度、包括性、論理的一貫性のレベルを必要とする。
これらの問題に対処するための,ニューロシンボリックAIプラットフォームを開発した。
このプラットフォームは、知識抽出とアライメントのための微調整LDMと、堅牢なシンボリック推論エンジンを統合している。
論文 参考訳(メタデータ) (2024-06-26T00:00:45Z) - A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。
Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。
RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
論文 参考訳(メタデータ) (2024-05-10T02:48:45Z) - Knowledge Adaptation from Large Language Model to Recommendation for Practical Industrial Application [54.984348122105516]
大規模テキストコーパスで事前訓練されたLarge Language Models (LLMs) は、推奨システムを強化するための有望な道を示す。
オープンワールドの知識と協調的な知識を相乗化するLlm-driven knowlEdge Adaptive RecommeNdation (LEARN) フレームワークを提案する。
論文 参考訳(メタデータ) (2024-05-07T04:00:30Z) - Large Language Model Supply Chain: A Research Agenda [5.1875389249043415]
大規模言語モデル(LLM)は、自然言語処理とマルチモーダルコンテンツ生成において前例のない能力を導入し、人工知能に革命をもたらした。
本稿では,LLMサプライチェーンの総合的な研究課題を初めて提示し,重要な課題と機会を特定するための構造的アプローチを提案する。
論文 参考訳(メタデータ) (2024-04-19T09:29:53Z) - Risk Taxonomy, Mitigation, and Assessment Benchmarks of Large Language
Model Systems [29.828997665535336]
大規模言語モデル(LLM)は、多様な自然言語処理タスクを解く上で強力な能力を持つ。
しかし、LLMシステムの安全性とセキュリティの問題は、その広範な応用にとって大きな障害となっている。
本稿では,LLMシステムの各モジュールに関連する潜在的なリスクを体系的に分析する包括的分類法を提案する。
論文 参考訳(メタデータ) (2024-01-11T09:29:56Z) - LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language
Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。
我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文 参考訳(メタデータ) (2023-11-30T03:59:31Z) - Recommender Systems in the Era of Large Language Models (LLMs) [62.0129013439038]
大規模言語モデル(LLM)は自然言語処理(NLP)と人工知能(AI)の分野に革命をもたらした。
我々は, プレトレーニング, ファインチューニング, プロンプティングなどの様々な側面から, LLM を利用したレコメンデータシステムの総合的なレビューを行う。
論文 参考訳(メタデータ) (2023-07-05T06:03:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。