論文の概要: Metamorphic Testing of Image Captioning Systems via Image-Level
Reduction
- arxiv url: http://arxiv.org/abs/2311.11791v2
- Date: Wed, 6 Dec 2023 12:01:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 17:49:27.728356
- Title: Metamorphic Testing of Image Captioning Systems via Image-Level
Reduction
- Title（参考訳）: 画像レベル低減による画像キャプションシステムの変成試験
- Authors: Xiaoyuan Xie, Xingpeng Li, Songqiang Chen
- Abstract要約: 本稿では,画像レベルの縮小変換を施した変成テストを行うためのREICを提案する。
画像レベルの縮小変換では、REICは任意のオブジェクトを人工的に操作しないため、非現実的なフォローアップ画像の生成を回避できる。
- 参考スコア（独自算出の注目度）: 1.486435467709869
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Image Captioning (IC) technique is widely used to describe images in
natural language. Recently, some IC system testing methods have been proposed.
However, these methods still rely on pre-annotated information and hence cannot
really alleviate the oracle problem in testing. Besides, their method
artificially manipulates objects, which may generate unreal images as test
cases and thus lead to less meaningful testing results. Thirdly, existing
methods have various requirements on the eligibility of source test cases, and
hence cannot fully utilize the given images to perform testing. To tackle these
issues, in this paper, we propose REIC to perform metamorphic testing for IC
systems with some image-level reduction transformations like image cropping and
stretching. Instead of relying on the pre-annotated information, REIC uses a
localization method to align objects in the caption with corresponding objects
in the image, and checks whether each object is correctly described or deleted
in the caption after transformation. With the image-level reduction
transformations, REIC does not artificially manipulate any objects and hence
can avoid generating unreal follow-up images. Besides, it eliminates the
requirement on the eligibility of source test cases in the metamorphic
transformation process, as well as decreases the ambiguity and boosts the
diversity among the follow-up test cases, which consequently enables testing to
be performed on any test image and reveals more distinct valid violations. We
employ REIC to test five popular IC systems. The results demonstrate that REIC
can sufficiently leverage the provided test images to generate follow-up cases
of good reality, and effectively detect a great number of distinct violations,
without the need for any pre-annotated information.
- Abstract（参考訳）: Image Captioning (IC)技術は自然言語で画像を記述するために広く使われている。
近年,いくつかのICシステムテスト手法が提案されている。
しかし、これらのメソッドはまだ事前の情報を頼りにしているため、テストでoracleの問題を軽減することはできない。
さらに、オブジェクトを人工的に操作することで、テストケースとして非現実的な画像を生成できるため、意味の薄いテスト結果につながる可能性がある。
第3に,既存の手法ではソーステストケースの適性に関するさまざまな要件があるため,与えられたイメージを十分に活用してテストを行うことはできない。
本稿では,画像トリミングやストレッチといった画像レベルの縮小変換を施した,ICシステムの変成試験を行うREICを提案する。
プリアノテートされた情報に頼る代わりに、reicはキャプション内のオブジェクトを画像内の対応するオブジェクトにアライメントするためにローカライゼーションメソッドを使用し、変換後のキャプションで各オブジェクトが正しく記述されているか削除されているかをチェックする。
画像レベルの縮小変換では、REICは任意のオブジェクトを人工的に操作せず、非現実的な追従画像の生成を避けることができる。
さらに、変態変換プロセスにおけるソーステストケースの適性に関する要件を排除し、あいまいさを低減し、フォローアップテストケース間の多様性を高め、任意のテストイメージ上でテストを行うことを可能にし、より明確な有効違反を明らかにする。
私たちは5つの人気のあるICシステムをテストするためにREICを使用します。
その結果、REICは提供されたテストイメージを十分に活用して、良質な現実のフォローアップケースを生成し、事前のアノテート情報を必要とせずに、多数の異なる違反を効果的に検出できることを示した。
関連論文リスト
- Analyzing and Explaining Image Classifiers via Diffusion Guidance [39.85203645176423]
ディープラーニングは、ImageNetのような複雑な画像分類タスク、予期せぬ障害モード、例えばスプリアス機能などに大きな進歩をもたらした。
本稿では、ガイド画像生成のためのフレームワークを用いて、分類器由来の目的を最適化した画像を生成することにより、これらの問題に対処する。
視覚的対実的説明(VCE)による画像分類器の動作と決定、分類器が最大に一致しない画像の解析による系統的誤りの検出、潜在的な刺激的特徴の検証のためのニューロンの可視化について分析する。
論文 参考訳（メタデータ） (2023-11-29T17:35:29Z) - Efficient Test-Time Adaptation for Super-Resolution with Second-Order
Degradation and Reconstruction [62.955327005837475]
画像超解像(SR)は,低分解能(LR)から高分解能(HR)へのマッピングを,一対のHR-LRトレーニング画像を用いて学習することを目的としている。
SRTTAと呼ばれるSRの効率的なテスト時間適応フレームワークを提案し、SRモデルを異なる/未知の劣化型でテストドメインに迅速に適応させることができる。
論文 参考訳（メタデータ） (2023-10-29T13:58:57Z) - On the Effectiveness of Image Manipulation Detection in the Age of
Social Media [9.227950734832447]
操作検出アルゴリズムは、画像内の他の非干渉領域と十分に異なる'操作された領域に依存していることが多い。
本稿では,ディープラーニングと学習自由な手法の詳細な分析を行い,その性能をベンチマークデータセット上で評価する。
本稿では,操作領域に存在する異常をアクセント化する,ディープラーニングに基づく新しい前処理手法を提案する。
論文 参考訳（メタデータ） (2023-04-19T04:05:54Z) - GDIP: Gated Differentiable Image Processing for Object-Detection in
Adverse Conditions [15.327704761260131]
本稿では,ドメインに依存しないネットワークアーキテクチャであるGated Differentiable Image Processing (GDIP)ブロックを提案する。
提案するGDIPブロックは、下流の物体検出損失から画像を直接拡張することを学ぶ。
いくつかの最先端手法による検出性能の大幅な向上を示す。
論文 参考訳（メタデータ） (2022-09-29T16:43:13Z) - Exploring Resolution and Degradation Clues as Self-supervised Signal for
Low Quality Object Detection [77.3530907443279]
劣化した低解像度画像中の物体を検出するための,新しい自己教師型フレームワークを提案する。
本手法は, 既存手法と比較して, 異変劣化状況に直面する場合に比べ, 優れた性能を示した。
論文 参考訳（メタデータ） (2022-08-05T09:36:13Z) - ObjectFormer for Image Manipulation Detection and Localization [118.89882740099137]
画像操作の検出とローカライズを行うObjectFormerを提案する。
画像の高周波特徴を抽出し,マルチモーダルパッチの埋め込みとしてRGB特徴と組み合わせる。
各種データセットについて広範な実験を行い,提案手法の有効性を検証した。
論文 参考訳（メタデータ） (2022-03-28T12:27:34Z) - RestoreDet: Degradation Equivariant Representation for Object Detection
in Low Resolution Images [81.91416537019835]
劣化した低解像度画像中のオブジェクトを検出するための新しいフレームワークであるRestoreDetを提案する。
CenterNetをベースとした本フレームワークは, 既存手法と比較して, 異種劣化状況に直面する場合に比べ, 優れた性能を達成している。
論文 参考訳（メタデータ） (2022-01-07T03:40:23Z) - Learning Conditional Knowledge Distillation for Degraded-Reference Image
Quality Assessment [157.1292674649519]
劣化参照IQA(DR-IQA)という実用的な解を提案する。
DR-IQAはIRモデルの入力、劣化したイメージを参照として利用する。
私たちの結果は、フル参照設定のパフォーマンスに近いものもあります。
論文 参考訳（メタデータ） (2021-08-18T02:35:08Z) - Ensembling with Deep Generative Views [72.70801582346344]
生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。
そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。
StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
論文 参考訳（メタデータ） (2021-04-29T17:58:35Z) - Object-based Metamorphic Testing through Image Structuring [0.6445605125467573]
ソフトウェアのテストは、多くの場合、大量生産のテストケースを必要とし、それのためのテストオラクルを提供するためコストがかかる。
オラクル問題を緩和するために提案された1つの方法は変成テストである。
論文 参考訳（メタデータ） (2020-02-12T10:32:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。