論文の概要: Learning Action and Reasoning-Centric Image Editing from Videos and Simulations

• arxiv url: http://arxiv.org/abs/2407.03471v3
• Date: Thu, 17 Oct 2024 15:12:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:16:15.350284
• Title: Learning Action and Reasoning-Centric Image Editing from Videos and Simulations
• Title（参考訳）: ビデオとシミュレーションからの学習行動と推論中心画像編集
• Authors: Benno Krojer, Dheeraj Vattikonda, Luis Lara, Varun Jampani, Eva Portelance, Christopher Pal, Siva Reddy,
• Abstract要約: AURORAデータセット(AURORA data)は、ビデオやシミュレーションエンジンから人間に注釈を付け、キュレートされた高品質なトレーニングデータの集合である。 AURORA-finetuned model on a new expert-curated benchmark across 8 various editing task。 我々のモデルは従来の編集モデルよりもはるかに優れており、人間のレーティングによって判断される。
• 参考スコア（独自算出の注目度）: 45.637947364341436
• License:
• Abstract: An image editing model should be able to perform diverse edits, ranging from object replacement, changing attributes or style, to performing actions or movement, which require many forms of reasoning. Current general instruction-guided editing models have significant shortcomings with action and reasoning-centric edits. Object, attribute or stylistic changes can be learned from visually static datasets. On the other hand, high-quality data for action and reasoning-centric edits is scarce and has to come from entirely different sources that cover e.g. physical dynamics, temporality and spatial reasoning. To this end, we meticulously curate the AURORA Dataset (Action-Reasoning-Object-Attribute), a collection of high-quality training data, human-annotated and curated from videos and simulation engines. We focus on a key aspect of quality training data: triplets (source image, prompt, target image) contain a single meaningful visual change described by the prompt, i.e., truly minimal changes between source and target images. To demonstrate the value of our dataset, we evaluate an AURORA-finetuned model on a new expert-curated benchmark (AURORA-Bench) covering 8 diverse editing tasks. Our model significantly outperforms previous editing models as judged by human raters. For automatic evaluations, we find important flaws in previous metrics and caution their use for semantically hard editing tasks. Instead, we propose a new automatic metric that focuses on discriminative understanding. We hope that our efforts : (1) curating a quality training dataset and an evaluation benchmark, (2) developing critical evaluations, and (3) releasing a state-of-the-art model, will fuel further progress on general image editing.
• Abstract（参考訳）: 画像編集モデルは、オブジェクトの置換、属性やスタイルの変更、アクションやムーブメントの実行など、さまざまな形式の推論を必要とするさまざまな編集を行うことができるべきである。 現在の一般的な命令誘導編集モデルは、アクションや推論中心の編集に重大な欠点がある。 オブジェクト、属性、スタイリスティックな変更は、視覚的に静的なデータセットから学ぶことができる。 一方、アクションや推論中心の編集のための高品質なデータは乏しく、物理的ダイナミクス、時間性、空間的推論などをカバーする全く異なるソースから来る必要がある。 この目的のために,ビデオやシミュレーションエンジンから,高品質なトレーニングデータを集めたAURORAデータセット(Action-Reasoning-Object-Attribute)を慎重にキュレートする。 我々は、高品質なトレーニングデータの重要な側面に焦点を当てる:三脚(ソースイメージ、プロンプト、ターゲットイメージ)には、プロンプトによって記述された1つの意味のある視覚的変化、すなわち、ソースとターゲットイメージの真に最小限の変更が含まれている。 AURORA-Bench(AURORA-Bench)を用いて,8種類の編集タスクを対象としたAURORA-fintunedモデルの評価を行った。 我々のモデルは従来の編集モデルよりもはるかに優れており、人間のレーティングによって判断される。 自動評価では、過去のメトリクスに重要な欠陥を見つけ、セマンティックにハードな編集作業に使用することを注意する。 代わりに、差別的理解に焦点を当てた新しい自動尺度を提案する。 我々は,(1)品質トレーニングデータセットと評価ベンチマークのキュレーション,(2)批判的評価の展開,(3)最先端のモデルをリリースすることで,画像編集のさらなる進歩を期待する。

関連論文リスト

• PixLens: A Novel Framework for Disentangled Evaluation in Diffusion-Based Image Editing with Object Detection + SAM [17.89238060470998]
  拡散に基づく画像編集モデルを評価することは、生成AIの分野において重要な課題である。 我々のベンチマークであるPixLensは、編集品質と遅延表現の絡み合いを総合的に評価する。
  論文  参考訳（メタデータ） (2024-10-08T06:05:15Z)
• Learning Feature-Preserving Portrait Editing from Generated Pairs [11.122956539965761]
  そこで本研究では,自動生成ペアデータを活用して,所望の編集を学習する学習手法を提案する。 本手法は,最先端の品質を定量的かつ質的に達成する。
  論文  参考訳（メタデータ） (2024-07-29T23:19:42Z)
• Enhancing Large Vision Language Models with Self-Training on Image Comprehension [99.9389737339175]
  本稿では、画像理解に特化して自己学習アプローチを強調する自己学習 on Image (STIC)を紹介する。 まず、ラベルのない画像を用いて、画像記述の好みを自己構築する。 抽出した視覚情報に対する推論をさらに自己改善するため,既存の命令調整データのごく一部をモデルに再利用する。
  論文  参考訳（メタデータ） (2024-05-30T05:53:49Z)
• Learning to Follow Object-Centric Image Editing Instructions Faithfully [26.69032113274608]
  自然言語命令による画像編集に焦点をあてる現在のアプローチは、自動生成されたペアデータに依存している。 我々は、ペアデータの品質を大幅に改善し、監視信号を強化する。 我々のモデルは、最先端のベースラインよりもきめ細かいオブジェクト中心の編集を行うことができる。
  論文  参考訳（メタデータ） (2023-10-29T20:39:11Z)
• Learning Transferable Pedestrian Representation from Multimodal Information Supervision [174.5150760804929]
  VAL-PATは、移動可能な表現を学習し、様々な歩行者分析タスクをマルチモーダル情報で強化する新しいフレームワークである。 まず、LUPerson-TAデータセットで事前トレーニングを行い、各画像にはテキストと属性アノテーションが含まれている。 次に、学習した表現を、人物のreID、人物属性認識、テキストベースの人物検索など、さまざまな下流タスクに転送する。
  論文  参考訳（メタデータ） (2023-04-12T01:20:58Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)
• End-to-End Visual Editing with a Generatively Pre-Trained Artist [78.5922562526874]
  対象画像編集の問題として、ソース画像内の領域と、所望の変更を指定したドライバ画像とをブレンドすることを考える。 対象領域のオフザシェルフ画像を拡大することにより編集をシミュレートする自己教師型アプローチを提案する。 我々は、モデルアーキテクチャに他の変更を加えることなく、拡張プロセスの直感的な制御によって異なるブレンディング効果が学習できることを示します。
  論文  参考訳（メタデータ） (2022-05-03T17:59:30Z)
• Enjoy Your Editing: Controllable GANs for Image Editing via Latent Space Navigation [136.53288628437355]
  コントロール可能なセマンティックイメージ編集により、ユーザーはクリック数回で画像属性全体を変更できる。 現在のアプローチでは、絡み合った属性編集、グローバルなイメージアイデンティティの変更、フォトリアリズムの低下に悩まされることが多い。 本稿では,主に定性評価に焦点を当てた先行研究とは異なり,制御可能な編集性能を測定するための定量的評価手法を提案する。
  論文  参考訳（メタデータ） (2021-02-01T21:38:36Z)
• TailorGAN: Making User-Defined Fashion Designs [28.805686791183618]
  そこで本研究では,2組のデータを使わずに,不整合特性を持つ衣服画像を合成する,新たな自己教師型モデルを提案する。 本手法は,再構築学習ステップと逆学習ステップから構成される。 このデータセットと実世界のサンプルを用いた実験により、我々の手法は最先端の手法よりもはるかに優れた結果を合成できることを示した。
  論文  参考訳（メタデータ） (2020-01-17T16:54:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。