論文の概要: Adapting Safe-for-Work Classifier for Malaysian Language Text: Enhancing Alignment in LLM-Ops Framework

• arxiv url: http://arxiv.org/abs/2407.20729v1
• Date: Tue, 30 Jul 2024 10:51:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 17:30:03.451987
• Title: Adapting Safe-for-Work Classifier for Malaysian Language Text: Enhancing Alignment in LLM-Ops Framework
• Title（参考訳）: マレーシア語テキストに対するセーフ・フォー・ワーク・クラシファイアの適応: LLM-Opsフレームワークにおけるアライメントの強化
• Authors: Aisyah Razak, Ariff Nazhan, Kamarul Adha, Wan Adzhar Faiq Adzlan, Mas Aisyah Ahmad, Ammar Azman,
• Abstract要約: 本稿では,マレーシア語コンテンツに特化して設計された,セーフ・フォー・ワークのテキスト分類器を提案する。 マレーシアのテキストの第一種データセットをキュレートし、注釈をつけることにより、潜在的に安全でない物質を識別できる分類モデルを訓練した。 この作業は、潜在的なリスクを軽減するために、より安全なインタラクションとコンテンツフィルタリングを可能にするための重要なステップである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) become increasingly integrated into operational workflows (LLM-Ops), there is a pressing need for effective guardrails to ensure safe and aligned interactions, including the ability to detect potentially unsafe or inappropriate content across languages. However, existing safe-for-work classifiers are primarily focused on English text. To address this gap for the Malaysian language, we present a novel safe-for-work text classifier tailored specifically for Malaysian language content. By curating and annotating a first-of-its-kind dataset of Malaysian text spanning multiple content categories, we trained a classification model capable of identifying potentially unsafe material using state-of-the-art natural language processing techniques. This work represents an important step in enabling safer interactions and content filtering to mitigate potential risks and ensure responsible deployment of LLMs. To maximize accessibility and promote further research towards enhancing alignment in LLM-Ops for the Malaysian context, the model is publicly released at https://huggingface.co/malaysia-ai/malaysian-sfw-classifier.
• Abstract（参考訳）: 大規模言語モデル(LLM)が運用ワークフロー(LLM-Ops)に統合されるにつれて、言語間での潜在的に安全でないコンテンツや不適切なコンテンツの検出など、安全で整合性のあるインタラクションを保証するための効果的なガードレールの必要性が高まっている。 しかし、既存のセーフ・フォー・ワーク分類器は主に英語のテキストに焦点を当てている。 マレーシア語におけるこのギャップに対処するために,マレーシア語コンテンツに特化して設計された,新しいセーフ・フォー・ワークテキスト分類器を提案する。 複数のコンテンツカテゴリにまたがるマレーシアのテキストの第一種データセットをキュレートし、注釈付けすることにより、最先端の自然言語処理技術を用いて潜在的に安全でない物質を特定することができる分類モデルを訓練した。 この作業は、潜在的なリスクを軽減し、LCMの責任あるデプロイを保証するために、より安全なインタラクションとコンテンツフィルタリングを可能にするための重要なステップである。 アクセシビリティを最大化し、マレーシアの文脈におけるLLM-Opsのアライメント向上に向けたさらなる研究を促進するため、このモデルはhttps://huggingface.co/malaysia-ai/malaysian-sfw-classifierで公開されている。

関連論文リスト

• CoCA: Regaining Safety-awareness of Multimodal Large Language Models with Constitutional Calibration [90.36429361299807]
  マルチモーダルな大言語モデル (MLLM) は、視覚的な入力を含む会話への関与において顕著な成功を収めている。 視覚的モダリティの統合は、MLLMが悪意のある視覚的入力に影響を受けやすいという、ユニークな脆弱性を導入している。 本稿では,出力分布を校正することでMLLMの安全性を向上するCoCA技術を紹介する。
  論文  参考訳（メタデータ） (2024-09-17T17:14:41Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Safe Multi-agent Reinforcement Learning with Natural Language Constraints [49.01100552946231]
  安全なマルチエージェント強化学習(MARL)における自然言語制約の役割は重要であるが、しばしば見過ごされる。 自然言語制約付き安全マルチエージェント強化学習(SMALL)という新しいアプローチを提案する。 提案手法は、微調整言語モデルを用いて、自由形式のテキスト制約を解釈し、処理し、セマンティックな埋め込みに変換する。 これらの埋め込みはマルチエージェントのポリシー学習プロセスに統合され、エージェントは報酬を最適化しながら制約違反を最小限に抑えるポリシーを学ぶことができる。
  論文  参考訳（メタデータ） (2024-05-30T12:57:35Z)
• ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
  ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。 脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-04-06T15:01:47Z)
• CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
  本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。 我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。 CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
  論文  参考訳（メタデータ） (2024-03-12T17:55:38Z)
• Large Language Models are Vulnerable to Bait-and-Switch Attacks for Generating Harmful Content [33.99403318079253]
  大きな言語モデルから来る安全なテキストでさえ、Bait-and-Switch攻撃によって潜在的に危険なコンテンツになる可能性がある。 このアプローチの目覚ましい有効性は、LLMの信頼性の高い安全ガードレールを開発する上で重要な課題を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-21T16:46:36Z)
• Safe-CLIP: Removing NSFW Concepts from Vision-and-Language Models [42.19184265811366]
  本研究では,NSFW入力に対する感度を低下させることにより,視覚・言語モデルの安全性を高める新しいアプローチを提案する。 安全な文と安全でない文の変換を訓練した大規模言語モデルから得られた合成データに対して,CLIPモデルを微調整することで,これを実現できることを示す。
  論文  参考訳（メタデータ） (2023-11-27T19:02:17Z)
• Multilingual Jailbreak Challenges in Large Language Models [96.74878032417054]
  本研究では,大規模言語モデル(LLM)における多言語ジェイルブレイク問題の存在を明らかにする。 我々は、意図しないシナリオと意図的なシナリオの2つを考えます。 安全な微調整のための多言語学習データを自動的に生成する新しいtextscSelf-Defense フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-10T09:44:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。