論文の概要: ARTeFACT: Benchmarking Segmentation Models on Diverse Analogue Media Damage

• arxiv url: http://arxiv.org/abs/2412.04580v1
• Date: Thu, 05 Dec 2024 19:52:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:56:23.252001
• Title: ARTeFACT: Benchmarking Segmentation Models on Diverse Analogue Media Damage
• Title（参考訳）: ARTeFACT: 異種メディア損傷に対するセグメンテーションモデルのベンチマーク
• Authors: Daniela Ivanova, Marco Aversa, Paul Henderson, John Williamson,
• Abstract要約: ARTeFACTは各種アナログ媒体の損傷検出のためのデータセットである。 11,000以上の注釈は、様々な主題、メディア、歴史に残る15種類の損害をカバーしている。 我々は、ゼロショット、教師なし、教師なし、テキスト誘導設定において、CNN、トランスフォーマー、拡散ベースセグメンテーションモデルおよび基礎視覚モデルを評価する。
• 参考スコア（独自算出の注目度）: 5.6872893893453105
• License:
• Abstract: Accurately detecting and classifying damage in analogue media such as paintings, photographs, textiles, mosaics, and frescoes is essential for cultural heritage preservation. While machine learning models excel in correcting degradation if the damage operator is known a priori, we show that they fail to robustly predict where the damage is even after supervised training; thus, reliable damage detection remains a challenge. Motivated by this, we introduce ARTeFACT, a dataset for damage detection in diverse types analogue media, with over 11,000 annotations covering 15 kinds of damage across various subjects, media, and historical provenance. Furthermore, we contribute human-verified text prompts describing the semantic contents of the images, and derive additional textual descriptions of the annotated damage. We evaluate CNN, Transformer, diffusion-based segmentation models, and foundation vision models in zero-shot, supervised, unsupervised and text-guided settings, revealing their limitations in generalising across media types. Our dataset is available at $\href{https://daniela997.github.io/ARTeFACT/}{https://daniela997.github.io/ARTeFACT/}$ as the first-of-its-kind benchmark for analogue media damage detection and restoration.
• Abstract（参考訳）: 絵画、写真、織物、モザイク、フレスコ画などの類似メディアの損傷を正確に検出・分類することは、文化遺産保存に不可欠である。 機械学習モデルは、損傷操作者が事前訓練を知っていれば劣化の補正に優れるが、教師付き訓練後であっても損傷の所在を確実に予測できないことを示し、信頼性の高い損傷検出は依然として課題である。 様々な種類の類似メディアにおける損傷検出のためのデータセットであるARTeFACTを導入する。 さらに、画像の意味的内容を記述する人間検証テキストプロンプトに寄与し、注釈付き損傷に関する追加のテキスト記述を導出する。 我々は,CNN,トランスフォーマー,拡散型セグメンテーションモデル,基礎視覚モデルをゼロショット,教師なし,教師なし,テキスト誘導設定で評価し,メディアタイプ間の一般化の限界を明らかにする。 私たちのデータセットは、アナログメディア損傷の検出と復元のための最初のベンチマークとして、$\href{https://daniela997.github.io/ARTeFACT/}{https://daniela997.github.io/ARTeFACT/}$で利用可能です。

関連論文リスト

• State-of-the-Art Fails in the Art of Damage Detection [5.6872893893453105]
  教師付きトレーニングの後にも、機械学習モデルは損傷の場所を予測できないことを示す。 各種アナログメディアにおける損傷検出のためのデータセットであるDamBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-23T10:03:07Z)
• Visual Context-Aware Person Fall Detection [52.49277799455569]
  画像中の個人とオブジェクトを半自動分離するセグメンテーションパイプラインを提案する。 ベッド、椅子、車椅子などの背景オブジェクトは、転倒検知システムに挑戦し、誤ったポジティブアラームを引き起こす。 トレーニング中のオブジェクト固有のコンテキスト変換が、この課題を効果的に軽減することを示す。
  論文  参考訳（メタデータ） (2024-04-11T19:06:36Z)
• Counterfactual Image Generation for adversarially robust and interpretable Classifiers [1.3859669037499769]
  本稿では,GAN(Generative Adrial Networks)を基盤として,画像から画像への変換を利用した統合フレームワークを提案する。 これは、分類器と識別器を1つのモデルに組み合わせて、実際の画像をそれぞれのクラスに属性付け、生成されたイメージを「フェイク」として生成することで達成される。 モデルが敵攻撃に対するロバスト性の向上を示すことを示すとともに,判別器の「フェイクネス」値が予測の不確かさの指標となることを示す。
  論文  参考訳（メタデータ） (2023-10-01T18:50:29Z)
• Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
  入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。 また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。 我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
  論文  参考訳（メタデータ） (2023-03-14T16:11:47Z)
• Simulating analogue film damage to analyse and improve artefact restoration on high-resolution scans [10.871587311621974]
  アナログ写真フィルムのデジタルスキャンは通常、ほこりやひっかきなどの人工物を含む。 ディープラーニングモデルは、一般的な画像の塗り絵や装飾において印象的な結果を示しているが、フィルムアーティファクトの除去は未研究の問題である。 トレーニングと評価のために、現実世界のアナログフィルム損傷の高品質なデータセットは公開されていない。 人手による手動復元版と組み合わせた4K損傷アナログフィルムスキャンのデータセットを収集する。 損傷画像の大規模合成データセットを, 実物形状の統計モデルと, 重損傷画像から学習した画像の出現モデルを用いて, ペア化されたクリーンバージョンで構築する。
  論文  参考訳（メタデータ） (2023-02-20T14:24:18Z)
• Fighting Malicious Media Data: A Survey on Tampering Detection and Deepfake Detection [115.83992775004043]
  近年のディープラーニング、特に深層生成モデルの発展により、知覚的に説得力のある画像や動画を低コストで制作するための扉が開かれた。 本稿では,現在のメディアタンパリング検出手法を概観し,今後の研究の課題と動向について論じる。
  論文  参考訳（メタデータ） (2022-12-12T02:54:08Z)
• A hierarchical semantic segmentation framework for computer vision-based bridge damage detection [3.8999448636733516]
  遠隔カメラと無人航空機(UAV)を用いたコンピュータビジョンによる損傷検出は、効率的で低コストなブリッジの健康モニタリングを可能にする。 本稿では,コンポーネントカテゴリと損傷タイプ間の階層的意味関係を強制するセグメンテーションフレームワークを提案する。 このようにして、損傷検出モデルは、潜在的な損傷領域からのみ学習特徴に焦点をあてることができ、他の無関係領域の影響を避けることができる。
  論文  参考訳（メタデータ） (2022-07-18T18:42:54Z)
• A Comprehensive Study of Image Classification Model Sensitivity to Foregrounds, Backgrounds, and Visual Attributes [58.633364000258645]
  このデータセットをRIVAL10と呼びます。 本研究では,前景,背景,属性の騒音劣化に対する幅広いモデルの感度を評価する。 本稿では,多種多様な最先端アーキテクチャ (ResNets, Transformers) とトレーニング手順 (CLIP, SimCLR, DeiT, Adversarial Training) について考察する。
  論文  参考訳（メタデータ） (2022-01-26T06:31:28Z)
• Stereopagnosia: Fooling Stereo Networks with Adversarial Perturbations [71.00754846434744]
  知覚不能な加法的摂動は,差分マップを著しく変更できることを示す。 敵データ拡張に使用すると、我々の摂動はより堅牢なトレーニングされたモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-09-21T19:20:09Z)
• MSNet: A Multilevel Instance Segmentation Network for Natural Disaster Damage Assessment in Aerial Videos [74.22132693931145]
  本研究では, ハリケーン, 洪水, 火災などの自然災害後の建物被害を効率的に評価する課題について検討する。 最初のコントリビューションは、ソーシャルメディアからユーザ生成された空中ビデオと、インスタンスレベルのビルディング損傷マスクのアノテーションで構成される、新しいデータセットである。 第二のコントリビューションはMSNetと呼ばれる新しいモデルで、新しい領域の提案ネットワーク設計を含んでいる。
  論文  参考訳（メタデータ） (2020-06-30T02:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。