論文の概要: Benchmarking Generative AI Models for Deep Learning Test Input Generation

• arxiv url: http://arxiv.org/abs/2412.17652v1
• Date: Mon, 23 Dec 2024 15:30:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:01:22.851707
• Title: Benchmarking Generative AI Models for Deep Learning Test Input Generation
• Title（参考訳）: ディープラーニングテスト入力生成のための生成AIモデルのベンチマーク
• Authors: Maryam, Matteo Biagiola, Andrea Stocco, Vincenzo Riccio,
• Abstract要約: テスト入力ジェネレータ(TIG)は、ディープラーニング(DL)画像分類器が、トレーニングやテストセットを超えて入力の正確な予測を提供する能力を評価するために不可欠である。 ジェネレーティブAI(GenAI)モデルの最近の進歩は、合成画像の作成と操作のための強力なツールとなった。 我々は、異なるGenAIモデルとTIGをベンチマークして組み合わせ、生成したテスト画像の有効性、効率、品質を評価する。
• 参考スコア（独自算出の注目度）: 6.674615464230326
• License:
• Abstract: Test Input Generators (TIGs) are crucial to assess the ability of Deep Learning (DL) image classifiers to provide correct predictions for inputs beyond their training and test sets. Recent advancements in Generative AI (GenAI) models have made them a powerful tool for creating and manipulating synthetic images, although these advancements also imply increased complexity and resource demands for training. In this work, we benchmark and combine different GenAI models with TIGs, assessing their effectiveness, efficiency, and quality of the generated test images, in terms of domain validity and label preservation. We conduct an empirical study involving three different GenAI architectures (VAEs, GANs, Diffusion Models), five classification tasks of increasing complexity, and 364 human evaluations. Our results show that simpler architectures, such as VAEs, are sufficient for less complex datasets like MNIST. However, when dealing with feature-rich datasets, such as ImageNet, more sophisticated architectures like Diffusion Models achieve superior performance by generating a higher number of valid, misclassification-inducing inputs.
• Abstract（参考訳）: テスト入力ジェネレータ(TIG)は、ディープラーニング(DL)画像分類器が、トレーニングやテストセットを超えて入力の正確な予測を提供する能力を評価するために不可欠である。 ジェネレーティブAI(GenAI)モデルの最近の進歩は、合成画像の作成と操作に強力なツールとなっているが、これらの進歩は、トレーニングの複雑さとリソース要求を増大させる。 本研究では,異なるGenAIモデルとTIGをベンチマークし,ドメインの有効性とラベル保存の観点から,生成したテスト画像の有効性,効率,品質を評価した。 我々は3つの異なるGenAIアーキテクチャ(VAE, GAN, Diffusion Models)、複雑さを増大させる5つの分類タスク、364人の人的評価を含む実証的研究を行った。 我々の結果は、VAEのような単純なアーキテクチャは、MNISTのようなより複雑なデータセットに十分であることを示している。 しかし、ImageNetのような機能豊富なデータセットを扱う場合、Diffusion Modelsのようなより洗練されたアーキテクチャは、より多くの有効な誤分類誘発インプットを生成することで、優れたパフォーマンスを達成する。

関連論文リスト

• Detecting the Undetectable: Combining Kolmogorov-Arnold Networks and MLP for AI-Generated Image Detection [0.0]
  本稿では,最先端な生成AIモデルによって生成された画像の堅牢な識別が可能な,新しい検出フレームワークを提案する。 従来の多層パーセプトロン(MLP)とセマンティックイメージ埋め込みを統合した分類システムを提案する。
  論文  参考訳（メタデータ） (2024-08-18T06:00:36Z)
• Improving Interpretability and Robustness for the Detection of AI-Generated Images [6.116075037154215]
  凍結したCLIP埋め込みに基づいて、既存の最先端AIGI検出手法を解析する。 さまざまなAIジェネレータが生成する画像が実際の画像とどのように異なるかを示す。
  論文  参考訳（メタデータ） (2024-06-21T10:33:09Z)
• Benchmarking Generative Models on Computational Thinking Tests in Elementary Visual Programming [22.344985623878408]
  GPT-4oやLlama3のような最先端のモデルは、平均的な学生のパフォーマンスとほとんど一致しない。 我々はこれらのモデルを新しい合成データ生成手法を用いて微調整する。 生成モデルにおける計算思考の強化に関するさらなる研究を促進するため、完全な実装とデータセットをリリースする。
  論文  参考訳（メタデータ） (2024-06-14T10:02:52Z)
• RIGID: A Training-free and Model-Agnostic Framework for Robust AI-Generated Image Detection [60.960988614701414]
  RIGIDは、堅牢なAI生成画像検出のためのトレーニング不要でモデルに依存しない方法である。 RIGIDは、既存のトレーニングベースおよびトレーニング不要な検出器を著しく上回っている。
  論文  参考訳（メタデータ） (2024-05-30T14:49:54Z)
• Large Multi-modality Model Assisted AI-Generated Image Quality Assessment [53.182136445844904]
  本稿では,AI生成画像品質評価モデル(MA-AGIQA)を提案する。 セマンティックインフォームドガイダンスを使用して意味情報を感知し、慎重に設計されたテキストプロンプトを通してセマンティックベクターを抽出する。 最先端のパフォーマンスを実現し、AI生成画像の品質を評価する上で優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-04-27T02:40:36Z)
• 3DG: A Framework for Using Generative AI for Handling Sparse Learner Performance Data From Intelligent Tutoring Systems [22.70004627901319]
  本稿では, テンソル因子化と高次生成モデルを組み合わせた新しいアプローチである3DGフレームワーク(デンシフィケーション・アンド・ジェネレーション用3次元テンソル)を紹介する。 このフレームワークは、学習性能のスケーラブルでパーソナライズされたシミュレーションを効果的に生成した。
  論文  参考訳（メタデータ） (2024-01-29T22:34:01Z)
• AI-Generated Images as Data Source: The Dawn of Synthetic Era [61.879821573066216]
  生成AIは、現実世界の写真によく似た合成画像を作成する可能性を解き放った。 本稿では、これらのAI生成画像を新しいデータソースとして活用するという革新的な概念を探求する。 実際のデータとは対照的に、AI生成データには、未整合のアブリダンスやスケーラビリティなど、大きなメリットがある。
  論文  参考訳（メタデータ） (2023-10-03T06:55:19Z)
• RenAIssance: A Survey into AI Text-to-Image Generation in the Era of Large Model [93.8067369210696]
  テキスト・ツー・イメージ生成(テキスト・トゥ・イメージ・ジェネレーション、英: Text-to-image Generation、TTI)とは、テキスト入力を処理し、テキスト記述に基づいて高忠実度画像を生成するモデルである。 拡散モデル (diffusion model) は、繰り返しステップによるノイズの体系的導入を通じて画像の生成に使用される顕著な生成モデルである。 大規模モデルの時代、モデルサイズを拡大し、大規模言語モデルとの統合により、TTIモデルの性能がさらに向上した。
  論文  参考訳（メタデータ） (2023-09-02T03:27:20Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• Domain Generalization via Ensemble Stacking for Face Presentation Attack Detection [4.61143637299349]
  顔提示攻撃検出(PAD)は、偽造攻撃に対する顔認識システムを保護する上で重要な役割を担っている。 本研究では,合成データ生成と深層アンサンブル学習を組み合わせた包括的ソリューションを提案する。 4つのデータセットに対する実験結果は、3つのベンチマークデータセット上でのHTER(low half total error rate)を示す。
  論文  参考訳（メタデータ） (2023-01-05T16:44:36Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。