論文の概要: Counterfactual Image Editing

• arxiv url: http://arxiv.org/abs/2403.09683v1
• Date: Wed, 7 Feb 2024 20:55:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 08:06:28.763174
• Title: Counterfactual Image Editing
• Title（参考訳）: 偽画像編集
• Authors: Yushu Pan, Elias Bareinboim,
• Abstract要約: 対物画像編集は、生成AIにおいて重要なタスクであり、ある機能が異なる場合、画像がどのように見えるかを尋ねる。 本稿では,形式言語を用いた対物画像編集タスクを形式化し,潜在生成因子と画像の因果関係をモデル化する。 ニューラル因果モデルを利用して、対物画像を生成する効率的なアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 54.21104691749547
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Counterfactual image editing is an important task in generative AI, which asks how an image would look if certain features were different. The current literature on the topic focuses primarily on changing individual features while remaining silent about the causal relationships between these features, as present in the real world. In this paper, we formalize the counterfactual image editing task using formal language, modeling the causal relationships between latent generative factors and images through a special type of model called augmented structural causal models (ASCMs). Second, we show two fundamental impossibility results: (1) counterfactual editing is impossible from i.i.d. image samples and their corresponding labels alone; (2) even when the causal relationships between the latent generative factors and images are available, no guarantees regarding the output of the model can be provided. Third, we propose a relaxation for this challenging problem by approximating non-identifiable counterfactual distributions with a new family of counterfactual-consistent estimators. This family exhibits the desirable property of preserving features that the user cares about across both factual and counterfactual worlds. Finally, we develop an efficient algorithm to generate counterfactual images by leveraging neural causal models.
• Abstract（参考訳）: 対物画像編集は、生成AIにおいて重要なタスクであり、ある機能が異なる場合、画像がどのように見えるかを尋ねる。 このトピックに関する現在の文献は、主に個々の特徴の変更に焦点を当て、現実世界にあるように、これらの特徴間の因果関係について沈黙を保っている。 本稿では,形式言語を用いた対物画像編集タスクを形式化し,拡張構造因果モデル(ASCM)と呼ばれる特殊なモデルを用いて,潜在生成因子と画像の因果関係をモデル化する。 第2に,(1) 画像サンプルとそれに対応するラベルだけでは非現実的な編集は不可能であり,(2) 潜在生成因子と画像の因果関係が利用できる場合でも,モデルの出力に関する保証は得られない。 第3に,この課題に対する緩和策として,非同定不可能な反実数分布を新しい反実数一貫性推定器群で近似することを提案する。 この家族は、ユーザーが実物と反物の両方の世界で気にかけている特徴を保存できることの望ましい特性を示す。 最後に、ニューラル因果モデルを利用して、対物画像を生成する効率的なアルゴリズムを開発する。

関連論文リスト

• See or Guess: Counterfactually Regularized Image Captioning [32.82695612178604]
  本稿では、因果推論を利用して、既存のモデルを介入作業に役立てる汎用画像キャプションフレームワークを提案する。 本手法は幻覚を効果的に低減し,画像への忠実さを向上し,小型および大規模の画像・テキスト・モデル間で高い可搬性を示す。
  論文  参考訳（メタデータ） (2024-08-29T17:59:57Z)
• Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
  本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。 逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。 我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
  論文  参考訳（メタデータ） (2024-06-19T08:07:14Z)
• Recursive Counterfactual Deconfounding for Object Recognition [20.128093193861165]
  本稿では,クローズドセットとオープンセットの両方のシナリオにおいて,オブジェクト認識のための再帰的因果分解モデルを提案する。 提案したRCDモデルは,ほとんどの場合において,11の最先端ベースラインよりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-25T07:46:41Z)
• Evaluating Data Attribution for Text-to-Image Models [62.844382063780365]
  我々は,既存の大規模モデルを与えられた模範オブジェクトやスタイルにチューニングする「カストミゼーション」手法による属性評価を行う。 私たちのキーとなる洞察は、これによって、構築によって模範にコンピュータ的に影響される合成画像を効率的に作成できるということです。 問題の本質的な不確実性を考慮することで、一連のトレーニング画像に対してソフトな属性スコアを割り当てることができる。
  論文  参考訳（メタデータ） (2023-06-15T17:59:51Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)
• Towards Robust Classification Model by Counterfactual and Invariant Data Generation [7.488317734152585]
  純粋さは、一部の特徴がラベルと相関するが因果関係がないときに起こる。 本稿では2つのデータ生成プロセスを提案する。 我々のデータ生成は、スプリアス相関が壊れたときの精度で最先端の手法より優れています。
  論文  参考訳（メタデータ） (2021-06-02T12:48:29Z)
• Improving Generation and Evaluation of Visual Stories via Semantic Consistency [72.00815192668193]
  一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。 それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。 従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
  論文  参考訳（メタデータ） (2021-05-20T20:42:42Z)
• Dependent Multi-Task Learning with Causal Intervention for Image Captioning [10.6405791176668]
  本稿では、因果的介入(DMTCI)を伴う依存型マルチタスク学習フレームワークを提案する。 まず、中間タスク、カテゴリの袋生成、最終タスクの前に、画像キャプションを伴います。 次に、pearlのdo-calculusをモデルに適用し、視覚的特徴と共同設立者のつながりを取り除きます。 最後に,エンド・ツー・エンドのトレーニングを可能にし,タスク間エラーの蓄積を低減するために,マルチエージェント強化学習戦略を用いる。
  論文  参考訳（メタデータ） (2021-05-18T14:57:33Z)
• Counterfactual Generative Networks [59.080843365828756]
  画像生成過程を直接監督せずに訓練する独立した因果機構に分解することを提案する。 適切な誘導バイアスを活用することによって、これらのメカニズムは物体の形状、物体の質感、背景を解き放つ。 その結果, 偽画像は, 元の分類タスクにおける性能の低下を伴い, 分散性が向上することが示された。
  論文  参考訳（メタデータ） (2021-01-15T10:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。