論文の概要: STAND-Guard: A Small Task-Adaptive Content Moderation Model
- arxiv url: http://arxiv.org/abs/2411.05214v1
- Date: Thu, 07 Nov 2024 22:19:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-11 14:54:51.078637
- Title: STAND-Guard: A Small Task-Adaptive Content Moderation Model
- Title（参考訳）: STAND-Guard: 小さなタスク適応型コンテンツモデレーションモデル
- Authors: Minjia Wang, Pingping Lin, Siqi Cai, Shengnan An, Shengjie Ma, Zeqi Lin, Congrui Huang, Bixiong Xu,
- Abstract要約: 本稿では,Small Task-Adaptive CoNtent MoDerationモデルであるSTAND-GUARDを提案する。
基本的な動機は、様々なコンテンツモデレーションタスクでインストラクションチューニングを行うことで、目に見えない(配布外)コンテンツモデレーションタスクで小さな言語モデル(SLM)のパワーを解き放つことができることである。
STAND-Guardは、40以上の公開データセット、および現実世界のビジネスシナリオから派生したプロプライエタリデータセットに比較して、GPT-3.5-Turboに匹敵することを示した。
- 参考スコア（独自算出の注目度）: 20.484622399235743
- License:
- Abstract: Content moderation, the process of reviewing and monitoring the safety of generated content, is important for development of welcoming online platforms and responsible large language models. Content moderation contains various tasks, each with its unique requirements tailored to specific scenarios. Therefore, it is crucial to develop a model that can be easily adapted to novel or customized content moderation tasks accurately without extensive model tuning. This paper presents STAND-GUARD, a Small Task-Adaptive coNtent moDeration model. The basic motivation is: by performing instruct tuning on various content moderation tasks, we can unleash the power of small language models (SLMs) on unseen (out-of-distribution) content moderation tasks. We also carefully study the effects of training tasks and model size on the efficacy of cross-task fine-tuning mechanism. Experiments demonstrate STAND-Guard is comparable to GPT-3.5-Turbo across over 40 public datasets, as well as proprietary datasets derived from real-world business scenarios. Remarkably, STAND-Guard achieved nearly equivalent results to GPT-4-Turbo on unseen English binary classification tasks
- Abstract（参考訳）: コンテンツモデレーションは、生成されたコンテンツの安全性をレビューし、監視するプロセスであり、オンラインプラットフォームを歓迎し、責任を負う大きな言語モデルを開発する上で重要である。
コンテンツモデレーションにはさまざまなタスクが含まれており、それぞれが特定のシナリオに合わせて独自の要件を持つ。
したがって、広範囲なモデルチューニングを必要とせずに、新規またはカスタマイズされたコンテンツモデレーションタスクに容易に適応できるモデルを開発することが重要である。
本稿では,Small Task-Adaptive CoNtent MoDerationモデルであるSTAND-GUARDを提案する。
基本的な動機は、様々なコンテンツモデレーションタスクでインストラクションチューニングを行うことで、目に見えない(配布外)コンテンツモデレーションタスクで小さな言語モデル(SLM)のパワーを解き放つことができることである。
また,トレーニングタスクとモデルサイズがクロスタスク微調整機構の有効性に及ぼす影響を慎重に検討した。
STAND-Guardは、40以上の公開データセット、および現実世界のビジネスシナリオから派生したプロプライエタリデータセットに比較して、GPT-3.5-Turboに匹敵することを示した。
注目すべきは、STAND-Guardは、見知らぬ英語のバイナリ分類タスクにおいて、GPT-4-Turboとほぼ同等の結果を得たことである。
関連論文リスト
- Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳（メタデータ） (2023-11-23T15:46:54Z) - Towards Task Sampler Learning for Meta-Learning [37.02030832662183]
メタラーニングは、限られたデータから行われる多様なトレーニングタスクで一般的な知識を学び、それを新しいタスクに転送することを目的としている。
タスク多様性の増大はメタラーニングモデルの一般化能力を高めると一般的に信じられている。
本稿では、経験的および理論的分析を通して、この見解に挑戦する。
論文 参考訳（メタデータ） (2023-07-18T01:53:18Z) - An Efficient General-Purpose Modular Vision Model via Multi-Task
Heterogeneous Training [79.78201886156513]
本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。
提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
論文 参考訳（メタデータ） (2023-06-29T17:59:57Z) - FAME-ViL: Multi-Tasking Vision-Language Model for Heterogeneous Fashion
Tasks [129.49630356651454]
ファシオンに着目した視覚・言語タスクのための多タスク学習手法(FAME-ViL)を提案する。
我々のFAME-ViLは、代替案よりも61.5%のパラメータを節約できるが、従来の独立的に訓練されたシングルタスクモデルよりも大幅に優れている。
論文 参考訳（メタデータ） (2023-03-04T19:07:48Z) - Plex: Towards Reliability using Pretrained Large Model Extensions [69.13326436826227]
我々は,視覚と言語モダリティのための事前訓練された大規模モデル拡張であるViT-PlexとT5-Plexを開発した。
Plexは信頼性タスク間の最先端性を大幅に改善し、従来のプロトコルを単純化する。
最大1Bパラメータまでのモデルサイズに対するスケーリング効果と,最大4B例までのデータセットサイズを事前トレーニングした。
論文 参考訳（メタデータ） (2022-07-15T11:39:37Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-03-30T23:16:07Z) - The Effect of Diversity in Meta-Learning [79.56118674435844]
少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。
近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。
タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
論文 参考訳（メタデータ） (2022-01-27T19:39:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。