論文の概要: IMDL-BenCo: A Comprehensive Benchmark and Codebase for Image Manipulation Detection & Localization

• arxiv url: http://arxiv.org/abs/2406.10580v2
• Date: Fri, 08 Nov 2024 12:55:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:52:21.679382
• Title: IMDL-BenCo: A Comprehensive Benchmark and Codebase for Image Manipulation Detection & Localization
• Title（参考訳）: IMDL-BenCo:画像操作検出と位置検出のための総合ベンチマークとコードベース
• Authors: Xiaochen Ma, Xuekang Zhu, Lei Su, Bo Du, Zhuohang Jiang, Bingkui Tong, Zeyu Lei, Xinyu Yang, Chi-Man Pun, Jiancheng Lv, Jizhe Zhou,
• Abstract要約: IMDL-BenCoは、最初の包括的なIMDLベンチマークおよびモジュラーフレームワークである。 IMDLフレームワークを標準化された再利用可能なコンポーネントに分解し、モデル構築パイプラインを改訂する。 8つの最先端IMDLモデル(うち1つはスクラッチから再現される)、2つの標準トレーニングおよび評価プロトコル、15のGPUアクセラレーション評価メトリクス、そして3種類の堅牢性評価が含まれている。
• 参考スコア（独自算出の注目度）: 58.32394109377374
• License:
• Abstract: A comprehensive benchmark is yet to be established in the Image Manipulation Detection & Localization (IMDL) field. The absence of such a benchmark leads to insufficient and misleading model evaluations, severely undermining the development of this field. However, the scarcity of open-sourced baseline models and inconsistent training and evaluation protocols make conducting rigorous experiments and faithful comparisons among IMDL models challenging. To address these challenges, we introduce IMDL-BenCo, the first comprehensive IMDL benchmark and modular codebase. IMDL-BenCo: i) decomposes the IMDL framework into standardized, reusable components and revises the model construction pipeline, improving coding efficiency and customization flexibility; ii) fully implements or incorporates training code for state-of-the-art models to establish a comprehensive IMDL benchmark; and iii) conducts deep analysis based on the established benchmark and codebase, offering new insights into IMDL model architecture, dataset characteristics, and evaluation standards. Specifically, IMDL-BenCo includes common processing algorithms, 8 state-of-the-art IMDL models (1 of which are reproduced from scratch), 2 sets of standard training and evaluation protocols, 15 GPU-accelerated evaluation metrics, and 3 kinds of robustness evaluation. This benchmark and codebase represent a significant leap forward in calibrating the current progress in the IMDL field and inspiring future breakthroughs. Code is available at: https://github.com/scu-zjz/IMDLBenCo.
• Abstract（参考訳）: Image Manipulation Detection & Localization (IMDL) の分野では、包括的なベンチマークがまだ確立されていない。 このようなベンチマークがなければ、モデル評価が不十分で誤解を招くことになり、この分野の開発を著しく損なうことになる。 しかし、オープンソースのベースラインモデルと一貫性のないトレーニングと評価プロトコルの不足は、厳密な実験とIMDLモデルの忠実な比較を困難にしている。 これらの課題に対処するために、最初の包括的なIMDLベンチマークとモジュール化されたコードベースであるIMDL-BenCoを紹介します。 IMDL-BenCo i)IMDLフレームワークを標準化された再利用可能なコンポーネントに分解し、モデル構築パイプラインを改訂し、コーディング効率とカスタマイズの柔軟性を向上させる。 二 総合IMDLベンチマークを確立するための最先端モデルのトレーニングコードを完全実装又は組み込んだもの 三 確立したベンチマークとコードベースに基づいて深い分析を行い、IMDLモデルアーキテクチャ、データセットの特徴、評価標準に関する新たな洞察を提供する。 具体的には、IMDL-BenCoは、共通処理アルゴリズム、8つの最先端IMDLモデル(うち1つはスクラッチから再現されている)、2つの標準トレーニングおよび評価プロトコル、15のGPUアクセラレーション評価メトリクス、および3種類の堅牢性評価を含む。 このベンチマークとコードベースは、IMDLフィールドの現在の進捗を校正し、将来のブレークスルーを刺激する上で、大きな前進を示している。 コードは、https://github.com/scu-zjz/IMDLBenCo.comで入手できる。

関連論文リスト

• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• Correctness Assessment of Code Generated by Large Language Models Using Internal Representations [4.32362000083889]
  大規模言語モデル(LLM)が生成するコードの正確性を評価する新しいフレームワークであるOPENIAを紹介する。 我々の経験的分析により、これらの内部表現が潜時情報を符号化し、生成したコードの正しさと強く相関していることが明らかとなった。 OPENIAはベースラインモデルより一貫して優れており、高い精度、精度、リコール、F1スコアを実現し、スタンドアロンコード生成の最大2倍の改善を実現している。
  論文  参考訳（メタデータ） (2025-01-22T15:04:13Z)
• CODES: Benchmarking Coupled ODE Surrogates [0.0]
  CODESは、結合ODEシステムのためのサロゲートアーキテクチャの包括的な評価のためのベンチマークである。 統合並列トレーニング、Webベースの設定ジェネレータ、事前実装されたベースラインモデルとデータセットなどの機能を通じて、ユーザビリティを強調している。
  論文  参考訳（メタデータ） (2024-10-28T10:12:06Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• LMMs-Eval: Reality Check on the Evaluation of Large Multimodal Models [71.8065384742686]
  LMMS-EVALは50以上のタスクと10以上のモデルを持つ統一的で標準化されたマルチモーダルベンチマークフレームワークである。 LMMS-EVAL LITEは、カバー範囲と効率の両方を重視したプルーニング評価ツールキットである。 マルチモーダルなLIVEBENCHは、ニュースやオンラインフォーラムを継続的に更新し、野生におけるモデルの一般化能力を評価する。
  論文  参考訳（メタデータ） (2024-07-17T17:51:53Z)
• An Empirical Study of Training State-of-the-Art LiDAR Segmentation Models [25.28234439927537]
  MMDetection3D-lidarsegは、最先端LiDARセグメンテーションモデルの効率的なトレーニングと評価のための包括的なツールボックスである。 我々は、幅広いセグメンテーションモデルをサポートし、堅牢性と効率を高めるために高度なデータ拡張技術を統合する。 統一されたフレームワークを育むことで、MMDetection3D-lidarsegは開発とベンチマークを合理化し、研究とアプリケーションのための新しい標準を設定します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• MLHarness: A Scalable Benchmarking System for MLCommons [16.490366217665205]
  MLCommons推論のためのスケーラブルなベンチマークハーネスシステムを提案する。 MLCommons Inferenceによって定義された標準ベンチマークプロセスをコーデレートする。 モデル開発者がモデルとデータセットをMLCommons Inferenceにコントリビュートするための、簡単で宣言的なアプローチを提供する。
  論文  参考訳（メタデータ） (2021-11-09T16:11:49Z)
• MLModelScope: A Distributed Platform for Model Evaluation and Benchmarking at Scale [32.62513495487506]
  機械学習(ML)とディープラーニング(DL)のイノベーションは急速に導入され、研究者はそれらを分析して研究することが難しくなっている。 ML/DL評価の標準化と提供方法の欠如とともに、イノベーションを評価するための複雑な手続きは、コミュニティにとって大きな「痛点」である。 本稿では,MLModelScopeを提案する。MLModelScopeは,フレームワークやハードウェアに依存しない,カスタマイズ可能な設計で,反復可能で公平でスケーラブルなモデル評価とベンチマークを可能にする。
  論文  参考訳（メタデータ） (2020-02-19T17:13:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。