論文の概要: Metamorphic Testing of Image Captioning Systems via Reduction-based
Transformations
- arxiv url: http://arxiv.org/abs/2311.11791v1
- Date: Mon, 20 Nov 2023 14:17:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 18:39:34.051244
- Title: Metamorphic Testing of Image Captioning Systems via Reduction-based
Transformations
- Title（参考訳）: 還元型変換による画像キャプションシステムの変成試験
- Authors: Xiaoyuan Xie, Xingpeng Li, Songqiang Chen
- Abstract要約: 本稿では,還元型変換を用いたICシステムの変成試験を行うREICを提案する。
REICは任意のオブジェクトを人工的に操作しないため、非現実的なフォローアップ画像の生成を効果的に回避できる。
実験結果から,REICは提供されたテストイメージを十分に活用し,良好な実例を生成できることが示された。
- 参考スコア（独自算出の注目度）: 1.486435467709869
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the Image Captioning (IC) technique has been widely applied to
describe a given image in text form. However, IC systems can still produce
incorrect captions and lead to misunderstandings. To tackle this problem,
several methods have been proposed to test the IC systems. However, these
approaches still rely on pre-annotated information and hence cannot really
alleviate the oracle problem in the testing. Besides, they adopt AIGC
techniques to create follow-up test images that may generate unrealistic images
as test cases, which leads to meaningless testing results. Thirdly, existing
methods have various restrictions on the eligibility of source test cases, and
hence cannot fully utilize the given images to perform testing.
To tackle these issues, we propose REIC, which conducts metamorphic testing
for IC systems with reduction-based transformations. Instead of relying on the
pre-annotated information, we introduce a localization method to align the
described objects in the caption with the corresponding objects in the test
image and check whether each object in the caption retains or disappears after
transformation. REIC does not artificially manipulate any objects and hence can
effectively avoid generating unreal follow-up images. Besides, it eliminates
the restrictions in the metamorphic transformation process, as well as
decreases the ambiguity, and boosts the diversity among the follow-up test
cases, which consequently enables testing to be performed on any test image,
and reveals more distinct valid violations. Experimental results demonstrate
that REIC can sufficiently leverage provided test images to generate follow-up
cases of good reality, and effectively detect a great number of distinct
violations, without the need for any pre-annotated information.
- Abstract（参考訳）: 近年,画像キャプション(IC)技術はテキスト形式で画像を記述するために広く応用されている。
しかし、ICシステムはまだ誤ったキャプションを生成し、誤解を招く可能性がある。
この問題を解決するために、ICシステムをテストするいくつかの方法が提案されている。
しかし、これらのアプローチはまだ事前の情報を頼りにしているため、テストでoracleの問題を軽減することはできない。
さらに、AIGC技術を採用して、テストケースとして非現実的なイメージを生成する可能性のある、フォローアップテストイメージを生成する。
第3に、既存の手法は、ソーステストケースの適格性に様々な制限があり、そのため、与えられたイメージを十分に活用できない。
これらの課題に対処するため、還元型変換を用いたICシステムの変成試験を行うREICを提案する。
事前にアノテートされた情報に頼る代わりに,キャプション内の記述されたオブジェクトとテスト画像中の対応するオブジェクトとをアライメントするローカライズ手法を導入し,キャプション内の各オブジェクトが変換後に保持されるか,消失するかをチェックする。
REICは任意のオブジェクトを人工的に操作しないため、非現実的なフォローアップ画像の生成を効果的に回避できる。
さらに、メタモルフィック変換プロセスの制限を排除し、曖昧さを低減し、フォローアップテストケース間の多様性を高め、その結果、テストが任意のテストイメージ上で実行されることを可能にし、より明確な有効な違反を明らかにする。
実験結果から、REICは提供されたテストイメージを十分に活用して、良質な実例のフォローアップを発生させ、事前のアノテート情報を必要とせず、多数の異なる違反を効果的に検出できることが示された。
関連論文リスト
- SPOLRE: Semantic Preserving Object Layout Reconstruction for Image Captioning System Testing [12.895128109843071]
SPOLREは、ICシステムテストにおけるオブジェクトレイアウト再構築を意味保存する自動化ツールである。
手動のアノテーションの必要性を排除し、現実的で多様なテストスイートを作成する。
SPOLREはキャプションエラーを識別し、平均精度が91.62%の7つのICシステムで31,544個の誤ったキャプションを検出する。
論文 参考訳（メタデータ） (2024-07-26T04:46:31Z) - Efficient Test-Time Adaptation for Super-Resolution with Second-Order
Degradation and Reconstruction [62.955327005837475]
画像超解像(SR)は,低分解能(LR)から高分解能(HR)へのマッピングを,一対のHR-LRトレーニング画像を用いて学習することを目的としている。
SRTTAと呼ばれるSRの効率的なテスト時間適応フレームワークを提案し、SRモデルを異なる/未知の劣化型でテストドメインに迅速に適応させることができる。
論文 参考訳（メタデータ） (2023-10-29T13:58:57Z) - On the Effectiveness of Image Manipulation Detection in the Age of
Social Media [9.227950734832447]
操作検出アルゴリズムは、画像内の他の非干渉領域と十分に異なる'操作された領域に依存していることが多い。
本稿では,ディープラーニングと学習自由な手法の詳細な分析を行い,その性能をベンチマークデータセット上で評価する。
本稿では,操作領域に存在する異常をアクセント化する,ディープラーニングに基づく新しい前処理手法を提案する。
論文 参考訳（メタデータ） (2023-04-19T04:05:54Z) - GDIP: Gated Differentiable Image Processing for Object-Detection in
Adverse Conditions [15.327704761260131]
本稿では,ドメインに依存しないネットワークアーキテクチャであるGated Differentiable Image Processing (GDIP)ブロックを提案する。
提案するGDIPブロックは、下流の物体検出損失から画像を直接拡張することを学ぶ。
いくつかの最先端手法による検出性能の大幅な向上を示す。
論文 参考訳（メタデータ） (2022-09-29T16:43:13Z) - Exploring Resolution and Degradation Clues as Self-supervised Signal for
Low Quality Object Detection [77.3530907443279]
劣化した低解像度画像中の物体を検出するための,新しい自己教師型フレームワークを提案する。
本手法は, 既存手法と比較して, 異変劣化状況に直面する場合に比べ, 優れた性能を示した。
論文 参考訳（メタデータ） (2022-08-05T09:36:13Z) - ObjectFormer for Image Manipulation Detection and Localization [118.89882740099137]
画像操作の検出とローカライズを行うObjectFormerを提案する。
画像の高周波特徴を抽出し,マルチモーダルパッチの埋め込みとしてRGB特徴と組み合わせる。
各種データセットについて広範な実験を行い,提案手法の有効性を検証した。
論文 参考訳（メタデータ） (2022-03-28T12:27:34Z) - RestoreDet: Degradation Equivariant Representation for Object Detection
in Low Resolution Images [81.91416537019835]
劣化した低解像度画像中のオブジェクトを検出するための新しいフレームワークであるRestoreDetを提案する。
CenterNetをベースとした本フレームワークは, 既存手法と比較して, 異種劣化状況に直面する場合に比べ, 優れた性能を達成している。
論文 参考訳（メタデータ） (2022-01-07T03:40:23Z) - Learning Conditional Knowledge Distillation for Degraded-Reference Image
Quality Assessment [157.1292674649519]
劣化参照IQA(DR-IQA)という実用的な解を提案する。
DR-IQAはIRモデルの入力、劣化したイメージを参照として利用する。
私たちの結果は、フル参照設定のパフォーマンスに近いものもあります。
論文 参考訳（メタデータ） (2021-08-18T02:35:08Z) - Ensembling with Deep Generative Views [72.70801582346344]
生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。
そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。
StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
論文 参考訳（メタデータ） (2021-04-29T17:58:35Z) - Object-based Metamorphic Testing through Image Structuring [0.6445605125467573]
ソフトウェアのテストは、多くの場合、大量生産のテストケースを必要とし、それのためのテストオラクルを提供するためコストがかかる。
オラクル問題を緩和するために提案された1つの方法は変成テストである。
論文 参考訳（メタデータ） (2020-02-12T10:32:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。