論文の概要: Mapping the Mind of an Instruction-based Image Editing using SMILE

• arxiv url: http://arxiv.org/abs/2412.16277v1
• Date: Fri, 20 Dec 2024 18:33:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:52:54.860006
• Title: Mapping the Mind of an Instruction-based Image Editing using SMILE
• Title（参考訳）: SMILEを用いたインストラクションベース画像編集のマインドマッピング
• Authors: Zeinab Dehghani, Koorosh Aslansefat, Adil Khan, Adín Ramírez Rivera, Franky George, Muhammad Khalid,
• Abstract要約: 本稿では,局所的解釈可能性の新たなモデル認識であるSMILE(Statistical Model-Agnostic Interpretability with Local Explanations)を紹介する。 私たちのモデルは、解釈可能性と信頼性をどのように改善できるかを示します。 これらの結果は、重要なアプリケーションにおける信頼性と信頼性に対するモデル非依存的解釈可能性のエキサイティングな可能性を示している。
• 参考スコア（独自算出の注目度）: 8.773288793688998
• License:
• Abstract: Despite recent advancements in Instruct-based Image Editing models for generating high-quality images, they are known as black boxes and a significant barrier to transparency and user trust. To solve this issue, we introduce SMILE (Statistical Model-agnostic Interpretability with Local Explanations), a novel model-agnostic for localized interpretability that provides a visual heatmap to clarify the textual elements' influence on image-generating models. We applied our method to various Instruction-based Image Editing models like Pix2Pix, Image2Image-turbo and Diffusers-Inpaint and showed how our model can improve interpretability and reliability. Also, we use stability, accuracy, fidelity, and consistency metrics to evaluate our method. These findings indicate the exciting potential of model-agnostic interpretability for reliability and trustworthiness in critical applications such as healthcare and autonomous driving while encouraging additional investigation into the significance of interpretability in enhancing dependable image editing models.
• Abstract（参考訳）: 近年、高品質な画像を生成するためのインストラクタベースの画像編集モデルが進歩しているにもかかわらず、それらはブラックボックスとして知られ、透明性とユーザ信頼への重要な障壁となっている。 そこで本研究では,画像生成モデルに対するテキスト要素の影響を明らかにするための視覚的ヒートマップを提供する,局所的解釈に非依存なSMILE(Statistical Model-Agnostic Interpretability with Local Explanations)を提案する。 Pix2Pix, Image2 Image-turbo, Diffusers-Inpaint などのインストラクションベース画像編集モデルに本手法を適用し, 解釈可能性と信頼性の向上について検討した。 また, 安定性, 精度, 忠実度, 整合性の測定値を用いて評価を行った。 これらの結果は、医療や自律運転といった重要なアプリケーションにおける信頼性と信頼性に対するモデル非依存的解釈可能性のエキサイティングな可能性を示し、信頼性の高い画像編集モデルを強化する上での解釈可能性の重要性についてさらなる調査を奨励している。

関連論文リスト

• On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [49.60774626839712]
  マルチモーダル生成モデルは 彼らの公正さ、信頼性、そして誤用の可能性について 批判的な議論を呼んだ 組込み空間における摂動に対する応答を通じてモデルの信頼性を評価するための評価フレームワークを提案する。 本手法は, 信頼できない, バイアス注入されたモデルを検出し, バイアス前駆体の検索を行うための基礎となる。
  論文  参考訳（メタデータ） (2024-11-21T09:46:55Z)
• Image Regeneration: Evaluating Text-to-Image Model via Generating Identical Image with Multimodal Large Language Models [54.052963634384945]
  画像再生タスクを導入し,テキスト・ツー・イメージ・モデルの評価を行う。 我々はGPT4Vを用いて参照画像とT2Iモデルのテキスト入力のギャップを埋める。 また、生成した画像の品質を高めるために、ImageRepainterフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-14T13:52:43Z)
• Fine Tuning Text-to-Image Diffusion Models for Correcting Anomalous Images [0.0]
  本研究では,DreamBooth法を用いて安定拡散3モデルを微調整することにより,このような問題を緩和する手法を提案する。 SSIM(Structure similarity Index)、Pak Signal-to-Noise Ratio(PSNR)、Frechet Inception Distance(FID)など、視覚的評価の精度向上を示す。
  論文  参考訳（メタデータ） (2024-09-23T00:51:47Z)
• Assessing Graphical Perception of Image Embedding Models using Channel Effectiveness [20.269583912221734]
  画像埋め込みモデルの視覚的知覚を評価するための新しい評価フレームワークを提案する。 チャート理解のために,様々な視覚チャネルの精度と識別可能性という,チャネルの有効性の2つの主な側面について検討する。 CLIPモデルを用いた実験では、チャンネルの精度が人間と異なることが分かり、長さ、傾き、曲率などのチャンネルで独自の識別性を示す。
  論文  参考訳（メタデータ） (2024-07-30T14:22:13Z)
• Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
  本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。 逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。 我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
  論文  参考訳（メタデータ） (2024-06-19T08:07:14Z)
• Information Theoretic Text-to-Image Alignment [49.396917351264655]
  本稿では,ステア画像生成のための情報理論アライメント尺度を用いた新しい手法を提案する。 提案手法は最先端の手法よりも優れているが,MIを推定するためには事前学習されたデノナイジングネットワークを必要としない。
  論文  参考訳（メタデータ） (2024-05-31T12:20:02Z)
• Diffexplainer: Towards Cross-modal Global Explanations with Diffusion Models [51.21351775178525]
  DiffExplainerは、言語ビジョンモデルを活用することで、マルチモーダルなグローバルな説明可能性を実現する新しいフレームワークである。 最適化されたテキストプロンプトに条件付けされた拡散モデルを使用し、クラス出力を最大化する画像を合成する。 生成した視覚的記述の分析により、バイアスと突発的特徴の自動識別が可能になる。
  論文  参考訳（メタデータ） (2024-04-03T10:11:22Z)
• Counterfactual Image Editing [54.21104691749547]
  対物画像編集は、生成AIにおいて重要なタスクであり、ある機能が異なる場合、画像がどのように見えるかを尋ねる。 本稿では,形式言語を用いた対物画像編集タスクを形式化し,潜在生成因子と画像の因果関係をモデル化する。 ニューラル因果モデルを利用して、対物画像を生成する効率的なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-07T20:55:39Z)
• Prompt-Propose-Verify: A Reliable Hand-Object-Interaction Data Generation Framework using Foundational Models [0.0]
  テキストプロンプトに条件付けされた拡散モデルは、複雑な詳細で現実的な画像を生成する。 しかし、これらの事前訓練されたモデルのほとんどは、手や歯などの人間の特徴に関して、正確な画像を生成することができない。
  論文  参考訳（メタデータ） (2023-12-23T12:59:22Z)
• Intuitively Assessing ML Model Reliability through Example-Based Explanations and Editing Model Inputs [19.09848738521126]
  解釈可能性メソッドは、機械学習モデルの能力に対する信頼の構築と理解を支援することを目的とする。 モデル信頼性をより直感的に評価するための2つのインターフェースモジュールを紹介します。
  論文  参考訳（メタデータ） (2021-02-17T02:41:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。