論文の概要: Experimentation in Content Moderation using RWKV
- arxiv url: http://arxiv.org/abs/2409.03939v1
- Date: Thu, 5 Sep 2024 23:17:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-09 17:10:40.006030
- Title: Experimentation in Content Moderation using RWKV
- Title（参考訳）: RWKVを用いたコンテンツモデレーション実験
- Authors: Umut Yildirim, Rohan Dutta, Burak Yildirim, Atharva Vaidya,
- Abstract要約: 本稿では,RWKVモデルによるターゲット実験によるコンテンツモデレーションの有効性について検討する。
より小さなモデルへの蒸留に特化して設計された新しいデータセットを提案する。
私たちは、コンテンツモデレーションシステムのトレーニングと洗練のために、幅広いレスポンスセット(テキストは58,958、画像は83,625)を生成しました。
- 参考スコア（独自算出の注目度）: 0.7499722271664147
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper investigates the RWKV model's efficacy in content moderation through targeted experimentation. We introduce a novel dataset specifically designed for distillation into smaller models, enhancing content moderation practices. This comprehensive dataset encompasses images, videos, sounds, and text data that present societal challenges. Leveraging advanced Large Language Models (LLMs), we generated an extensive set of responses -- 558,958 for text and 83,625 for images -- to train and refine content moderation systems. Our core experimentation involved fine-tuning the RWKV model, capitalizing on its CPU-efficient architecture to address large-scale content moderation tasks. By highlighting the dataset's potential for knowledge distillation, this study not only demonstrates RWKV's capability in improving the accuracy and efficiency of content moderation systems but also paves the way for developing more compact, resource-efficient models in this domain. Datasets and models can be found in HuggingFace: https://huggingface.co/modrwkv
- Abstract（参考訳）: 本稿では,RWKVモデルによるターゲット実験によるコンテンツモデレーションの有効性について検討する。
より小さなモデルに蒸留するための新しいデータセットを導入し、コンテンツモデレーションの実践を強化する。
この包括的なデータセットは、社会的課題を示す画像、ビデオ、音声、テキストデータを含む。
LLM(Advanced Large Language Models)を活用して、コンテンツモデレーションシステムのトレーニングと洗練のために、広範なレスポンスセット(テキストは58,958、画像は83,625)を生成しました。
我々のコア実験はRWKVモデルを微調整することであり、大規模なコンテンツモデレーションタスクに対処するためにCPU効率のよいアーキテクチャを生かした。
本研究は, 知識蒸留におけるデータセットの可能性を強調することによって, コンテンツモデレーションシステムの精度と効率を向上させるRWKVの能力を実証するだけでなく, よりコンパクトで資源効率の良いモデルをこの領域で開発するための道を開いた。
HuggingFace:https://huggingface.co/modrwkv
関連論文リスト
- Data-to-Model Distillation: Data-Efficient Learning Framework [14.44010988811002]
本稿では,データ・ツー・モデル蒸留(Data-to-Model Distillation, D2M)と呼ばれる新しいフレームワークを提案する。
提案手法は,高解像度の128x128 ImageNet-1Kまで効果的にスケールアップする。
論文 参考訳（メタデータ） (2024-11-19T20:10:28Z) - DocMamba: Efficient Document Pre-training with State Space Model [56.84200017560988]
本稿では,状態空間モデルに基づく新しいフレームワークDocMambaを紹介する。
グローバルなモデリング能力を保ちながら、計算複雑性を線形に減らすように設計されている。
HRDocの実験では、DocMambaの長さ外挿の可能性が確認された。
論文 参考訳（メタデータ） (2024-09-18T11:34:28Z) - EDADepth: Enhanced Data Augmentation for Monocular Depth Estimation [4.477063987845632]
EDADepthは、追加のトレーニングデータを用いることなく単眼深度を推定する拡張データ拡張手法である。
我々は、テキスト埋め込みのより良い抽出にBEiT事前学習セマンティックセマンティックセマンティクスモデルを用いる。
本モデルでは,NYUv2 と KITTI のデータセット上での delta3 測定結果(SOTA)が得られた。
論文 参考訳（メタデータ） (2024-09-10T03:25:24Z) - Data Augmentation for Image Classification using Generative AI [8.74488498507946]
データ拡張はデータセットのサイズを拡大するための有望なソリューションである。
最近のアプローチでは、生成AIモデルを使用してデータセットの多様性を改善している。
我々はAGA(Automated Generative Data Augmentation)を提案する。
論文 参考訳（メタデータ） (2024-08-31T21:16:43Z) - Data-Juicer Sandbox: A Comprehensive Suite for Multimodal Data-Model Co-development [67.55944651679864]
統合データモデル共同開発に適した新しいサンドボックススイートを提案する。
このサンドボックスは包括的な実験プラットフォームを提供し、データとモデルの両方の迅速なイテレーションと洞察駆動による改善を可能にする。
また、徹底的なベンチマークから得られた実りある洞察を明らかにし、データ品質、多様性、モデル行動の間の重要な相互作用に光を当てています。
論文 参考訳（メタデータ） (2024-07-16T14:40:07Z) - RWKV-CLIP: A Robust Vision-Language Representation Learner [31.501759213619646]
コントラスト言語-画像事前学習(CLIP)は、様々な視覚言語タスクのパフォーマンスを大幅に改善した。
本稿では,Large Language Models(LLM)を利用して,Webベースのテキスト,合成キャプション,検出タグからコンテンツを合成・洗練する多種多様な記述生成フレームワークを提案する。
RWKV-CLIPは,変換器の効果的な並列学習とRNNの効率的な推論を組み合わせた,最初のRWKV駆動型視覚言語表現学習モデルである。
論文 参考訳（メタデータ） (2024-06-11T06:10:46Z) - Self-supervised Dataset Distillation: A Good Compression Is All You Need [23.02066055996762]
SC-DDは, データセット蒸留のための簡易かつ効果的な自己教師圧縮フレームワークである。
提案したSC-DDは、より大規模なモデルを用いる場合、従来の最先端のデータセット蒸留法よりも優れている。
CIFAR-100, Tiny-ImageNet, ImageNet-1Kデータセットを用いて提案手法の優位性を示す実験を行った。
論文 参考訳（メタデータ） (2024-04-11T17:56:40Z) - Distribution-Aware Data Expansion with Diffusion Models [55.979857976023695]
本研究では,分散型拡散モデルに基づくトレーニングフリーなデータ拡張フレームワークであるDistDiffを提案する。
DistDiffは、オリジナルデータのみにトレーニングされたモデルと比較して、さまざまなデータセットの精度を一貫して向上させる。
論文 参考訳（メタデータ） (2024-03-11T14:07:53Z) - Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。
学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。
提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
論文 参考訳（メタデータ） (2023-12-22T14:40:55Z) - StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized
Image-Dialogue Data [129.92449761766025]
本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。
このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。
本研究は,各種データセットを対象とした総合的な実験を含む。
論文 参考訳（メタデータ） (2023-08-20T12:43:52Z) - Lafite2: Few-shot Text-to-Image Generation [132.14211027057766]
本稿では,画像のみのデータセットを用いたテキスト・画像生成モデルの事前学習手法を提案する。
擬似テキスト特徴を合成する検索テーマ最適化手法を検討する。
これは、数ショット、半教師あり、完全に教師された学習など、幅広い設定で有益である。
論文 参考訳（メタデータ） (2022-10-25T16:22:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。