論文の概要: Metamorphic Testing of Image Captioning Systems via Image-Level Reduction
- arxiv url: http://arxiv.org/abs/2311.11791v3
- Date: Fri, 04 Oct 2024 03:50:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-07 15:07:33.395119
- Title: Metamorphic Testing of Image Captioning Systems via Image-Level Reduction
- Title（参考訳）: 画像レベル低減による画像キャプションシステムの変成試験
- Authors: Xiaoyuan Xie, Xingpeng Li, Songqiang Chen,
- Abstract要約: 本稿では,画像レベルの縮小変換を施した変成テストを行うためのREICを提案する。
画像レベルの縮小変換では、REICは任意のオブジェクトを人工的に操作しないため、非現実的なフォローアップ画像の生成を回避できる。
- 参考スコア（独自算出の注目度）: 1.3225694028747141
- License:
- Abstract: The Image Captioning (IC) technique is widely used to describe images in natural language. Recently, some IC system testing methods have been proposed. However, these methods still rely on pre-annotated information and hence cannot really alleviate the oracle problem in testing. Besides, their method artificially manipulates objects, which may generate unreal images as test cases and thus lead to less meaningful testing results. Thirdly, existing methods have various requirements on the eligibility of source test cases, and hence cannot fully utilize the given images to perform testing. To tackle these issues, in this paper, we propose REIC to perform metamorphic testing for IC systems with some image-level reduction transformations like image cropping and stretching. Instead of relying on the pre-annotated information, REIC uses a localization method to align objects in the caption with corresponding objects in the image, and checks whether each object is correctly described or deleted in the caption after transformation. With the image-level reduction transformations, REIC does not artificially manipulate any objects and hence can avoid generating unreal follow-up images. Besides, it eliminates the requirement on the eligibility of source test cases in the metamorphic transformation process, as well as decreases the ambiguity and boosts the diversity among the follow-up test cases, which consequently enables testing to be performed on any test image and reveals more distinct valid violations. We employ REIC to test five popular IC systems. The results demonstrate that REIC can sufficiently leverage the provided test images to generate follow-up cases of good reality, and effectively detect a great number of distinct violations, without the need for any pre-annotated information.
- Abstract（参考訳）: Image Captioning (IC)技術は、自然言語で画像を記述するために広く使われている。
近年,いくつかのICシステムテスト手法が提案されている。
しかし、これらの手法は、まだ事前のアノテート情報に依存しているので、テストにおけるオラクルの問題を軽減することはできない。
さらに、オブジェクトを人工的に操作することで、テストケースとして非現実的な画像を生成できるため、意味の薄いテスト結果につながる可能性がある。
第3に、既存の手法は、ソーステストケースの適格性に関する様々な要件があり、そのため、与えられたイメージを十分に活用してテストを行うことはできない。
本稿では,画像のトリミングやストレッチといった画像レベルの縮小変換を施した,ICシステムのメタモルフィックテストを行うREICを提案する。
事前にアノテートされた情報に頼る代わりに、REICはローカライズメソッドを使用して、キャプション内のオブジェクトと画像内の対応するオブジェクトをアライメントし、変換後のキャプション内で各オブジェクトが正しく記述されたか、削除されたかをチェックする。
画像レベルの縮小変換では、REICは任意のオブジェクトを人工的に操作しないため、非現実的なフォローアップ画像の生成を回避できる。
さらに、変態変換プロセスにおけるソーステストケースの適性に関する要件を排除し、あいまいさを低減し、フォローアップテストケース間の多様性を高め、任意のテストイメージ上でテストを行うことを可能にし、より明確な有効違反を明らかにする。
私たちは5つの人気のあるICシステムをテストするためにREICを使用します。
その結果、REICは提供されたテストイメージを十分に活用して、良質な現実のフォローアップケースを生成し、事前のアノテート情報を必要とせずに、多数の異なる違反を効果的に検出できることを示した。
関連論文リスト
- SPOLRE: Semantic Preserving Object Layout Reconstruction for Image Captioning System Testing [12.895128109843071]
SPOLREは、ICシステムテストにおけるオブジェクトレイアウト再構築を意味保存する自動化ツールである。
手動のアノテーションの必要性を排除し、現実的で多様なテストスイートを作成する。
SPOLREはキャプションエラーを識別し、平均精度が91.62%の7つのICシステムで31,544個の誤ったキャプションを検出する。
論文 参考訳（メタデータ） (2024-07-26T04:46:31Z) - Efficient Test-Time Adaptation for Super-Resolution with Second-Order
Degradation and Reconstruction [62.955327005837475]
画像超解像(SR)は,低分解能(LR)から高分解能(HR)へのマッピングを,一対のHR-LRトレーニング画像を用いて学習することを目的としている。
SRTTAと呼ばれるSRの効率的なテスト時間適応フレームワークを提案し、SRモデルを異なる/未知の劣化型でテストドメインに迅速に適応させることができる。
論文 参考訳（メタデータ） (2023-10-29T13:58:57Z) - On the Effectiveness of Image Manipulation Detection in the Age of
Social Media [9.227950734832447]
操作検出アルゴリズムは、画像内の他の非干渉領域と十分に異なる'操作された領域に依存していることが多い。
本稿では,ディープラーニングと学習自由な手法の詳細な分析を行い,その性能をベンチマークデータセット上で評価する。
本稿では,操作領域に存在する異常をアクセント化する,ディープラーニングに基づく新しい前処理手法を提案する。
論文 参考訳（メタデータ） (2023-04-19T04:05:54Z) - GDIP: Gated Differentiable Image Processing for Object-Detection in
Adverse Conditions [15.327704761260131]
本稿では,ドメインに依存しないネットワークアーキテクチャであるGated Differentiable Image Processing (GDIP)ブロックを提案する。
提案するGDIPブロックは、下流の物体検出損失から画像を直接拡張することを学ぶ。
いくつかの最先端手法による検出性能の大幅な向上を示す。
論文 参考訳（メタデータ） (2022-09-29T16:43:13Z) - Exploring Resolution and Degradation Clues as Self-supervised Signal for
Low Quality Object Detection [77.3530907443279]
劣化した低解像度画像中の物体を検出するための,新しい自己教師型フレームワークを提案する。
本手法は, 既存手法と比較して, 異変劣化状況に直面する場合に比べ, 優れた性能を示した。
論文 参考訳（メタデータ） (2022-08-05T09:36:13Z) - ObjectFormer for Image Manipulation Detection and Localization [118.89882740099137]
画像操作の検出とローカライズを行うObjectFormerを提案する。
画像の高周波特徴を抽出し,マルチモーダルパッチの埋め込みとしてRGB特徴と組み合わせる。
各種データセットについて広範な実験を行い,提案手法の有効性を検証した。
論文 参考訳（メタデータ） (2022-03-28T12:27:34Z) - RestoreDet: Degradation Equivariant Representation for Object Detection
in Low Resolution Images [81.91416537019835]
劣化した低解像度画像中のオブジェクトを検出するための新しいフレームワークであるRestoreDetを提案する。
CenterNetをベースとした本フレームワークは, 既存手法と比較して, 異種劣化状況に直面する場合に比べ, 優れた性能を達成している。
論文 参考訳（メタデータ） (2022-01-07T03:40:23Z) - Learning Conditional Knowledge Distillation for Degraded-Reference Image
Quality Assessment [157.1292674649519]
劣化参照IQA(DR-IQA)という実用的な解を提案する。
DR-IQAはIRモデルの入力、劣化したイメージを参照として利用する。
私たちの結果は、フル参照設定のパフォーマンスに近いものもあります。
論文 参考訳（メタデータ） (2021-08-18T02:35:08Z) - Ensembling with Deep Generative Views [72.70801582346344]
生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。
そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。
StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
論文 参考訳（メタデータ） (2021-04-29T17:58:35Z) - Object-based Metamorphic Testing through Image Structuring [0.6445605125467573]
ソフトウェアのテストは、多くの場合、大量生産のテストケースを必要とし、それのためのテストオラクルを提供するためコストがかかる。
オラクル問題を緩和するために提案された1つの方法は変成テストである。
論文 参考訳（メタデータ） (2020-02-12T10:32:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。