論文の概要: Counterfactual Edits for Generative Evaluation

• arxiv url: http://arxiv.org/abs/2303.01555v1
• Date: Thu, 2 Mar 2023 20:10:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 17:04:38.490692
• Title: Counterfactual Edits for Generative Evaluation
• Title（参考訳）: 生成評価のための偽造編集
• Authors: Maria Lymperaiou, Giorgos Filandrianos, Konstantinos Thomas, Giorgos Stamou
• Abstract要約: 本稿では,画素の代わりに概念に基づく合成結果の評価と説明のためのフレームワークを提案する。 我々のフレームワークは、どのオブジェクトや属性を挿入、削除、または置き換えるべきかを下記した知識ベースの偽物編集を利用する。 局所的な編集を蓄積したグローバルな説明は、モデルが合計で生成できない概念を明らかにすることもできる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Evaluation of generative models has been an underrepresented field despite the surge of generative architectures. Most recent models are evaluated upon rather obsolete metrics which suffer from robustness issues, while being unable to assess more aspects of visual quality, such as compositionality and logic of synthesis. At the same time, the explainability of generative models remains a limited, though important, research direction with several current attempts requiring access to the inner functionalities of generative models. Contrary to prior literature, we view generative models as a black box, and we propose a framework for the evaluation and explanation of synthesized results based on concepts instead of pixels. Our framework exploits knowledge-based counterfactual edits that underline which objects or attributes should be inserted, removed, or replaced from generated images to approach their ground truth conditioning. Moreover, global explanations produced by accumulating local edits can also reveal what concepts a model cannot generate in total. The application of our framework on various models designed for the challenging tasks of Story Visualization and Scene Synthesis verifies the power of our approach in the model-agnostic setting.
• Abstract（参考訳）: 生成的モデルの評価は、生成的アーキテクチャの急増にもかかわらず、不十分な分野である。 最近のモデルは、構成性や合成の論理といった視覚的品質のより多くの側面を評価できない一方で、堅牢性の問題に悩まされるかなり古いメトリクスに基づいて評価されている。 同時に、生成モデルの説明可能性は、生成モデルの内部機能へのアクセスを必要とするいくつかの現在の試みによる、重要な研究方向として制限されている。 先行文献とは対照的に,生成モデルはブラックボックスであり,画素ではなく概念に基づく合成結果の評価と説明のための枠組みを提案する。 本フレームワークでは,どのオブジェクトや属性を挿入するか,削除するか,あるいは生成した画像から置き換えるべきかという,知識に基づく偽物編集を活用して,真理条件にアプローチする。 さらに、局所的な編集を蓄積したグローバルな説明は、モデルが合計で生成できない概念を明らかにすることもできる。 ストーリーの可視化とシーンシンセシスの困難なタスクのために設計された様々なモデルに対する我々のフレームワークの適用は、モデルに依存しない設定における我々のアプローチの力を検証します。

関連論文リスト

• Interactive Visual Assessment for Text-to-Image Generation Models [28.526897072724662]
  生成モデルのための動的インタラクティブビジュアルアセスメントフレームワークDyEvalを提案する。 DyEvalは直感的なビジュアルインターフェースを備えており、ユーザーは対話的にモデルの振る舞いを探索し分析することができる。 我々のフレームワークは、生成モデルを改善するための貴重な洞察を提供し、視覚生成システムの信頼性と能力を向上するための幅広い意味を持つ。
  論文  参考訳（メタデータ） (2024-11-23T10:06:18Z)
• KITTEN: A Knowledge-Intensive Evaluation of Image Generation on Visual Entities [93.74881034001312]
  テキスト・画像生成モデルにおける実体の忠実度に関する系統的研究を行う。 我々はランドマークの建物、航空機、植物、動物など、幅広い現実世界の視覚的実体を生成する能力に焦点をあてる。 その結果、最も高度なテキスト・画像モデルでさえ、正確な視覚的詳細を持つエンティティを生成できないことが判明した。
  論文  参考訳（メタデータ） (2024-10-15T17:50:37Z)
• PixLens: A Novel Framework for Disentangled Evaluation in Diffusion-Based Image Editing with Object Detection + SAM [17.89238060470998]
  拡散に基づく画像編集モデルを評価することは、生成AIの分野において重要な課題である。 我々のベンチマークであるPixLensは、編集品質と遅延表現の絡み合いを総合的に評価する。
  論文  参考訳（メタデータ） (2024-10-08T06:05:15Z)
• Consistent estimation of generative model representations in the data kernel perspective space [13.099029073152257]
  大規模言語モデルやテキストから画像への拡散モデルのような生成モデルは、クエリを提示すると関連する情報を生成する。 同じクエリを表示すると、異なるモデルが異なる情報を生成する可能性がある。 本稿では,一組のクエリのコンテキストにおける生成モデルの埋め込みに基づく表現に関する新しい理論的結果を示す。
  論文  参考訳（メタデータ） (2024-09-25T19:35:58Z)
• Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
  本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。 逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。 我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
  論文  参考訳（メタデータ） (2024-06-19T08:07:14Z)
• Visual Analytics for Generative Transformer Models [28.251218916955125]
  本稿では,変換器を用いた生成ネットワークの解析を支援するための新しい視覚分析フレームワークを提案する。 我々のフレームワークは、トランスフォーマーベースのエンコーダデコーダモデルの解析をサポートするための最初のフレームワークの1つである。
  論文  参考訳（メタデータ） (2023-11-21T08:15:01Z)
• Controllable Topic-Focused Abstractive Summarization [57.8015120583044]
  制御された抽象的な要約は、特定の側面をカバーするために、ソース記事の凝縮したバージョンを作成することに焦点を当てる。 本稿では,トピックに着目した要約を生成可能なトランスフォーマーアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-11-12T03:51:38Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Operationalizing Specifications, In Addition to Test Sets for Evaluating Constrained Generative Models [17.914521288548844]
  生成モデルのスケールは、評価自体が実行される抽象レベルを高めるために利用することができると論じる。 我々の勧告は、生成品質を評価するための強力な手段として仕様を活用することに基づいている。
  論文  参考訳（メタデータ） (2022-11-19T06:39:43Z)
• Translational Concept Embedding for Generalized Compositional Zero-shot Learning [73.60639796305415]
  一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。 本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-20T21:27:51Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。