論文の概要: PrismGPT: Proxy-Guided Learning for Region-Aware Photo Editing with Self-Synthesized Reasoning
- arxiv url: http://arxiv.org/abs/2609.24768v1
- Date: Mon, 21 Sep 2026 15:35:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.358663
- Title: PrismGPT: Proxy-Guided Learning for Region-Aware Photo Editing with Self-Synthesized Reasoning
- Title(参考訳): PrismGPT:自己合成推論による領域認識写真編集のためのプロキシガイド学習
- Abstract要約: 単一入力画像から領域認識編集計画を生成するビジョン言語モデルフレームワークであるPrismGPTを提案する。
広汎な意思決定空間のため,VLMをトレーニングして,世界レベルでも地域レベルでも同時に審美的欠陥を診断することは困難である。
実験の結果,PrismGPTはトレーニングデータの6%しか使用せず,最先端の結果が得られることがわかった。
- 参考スコア(独自算出の注目度): 20.27558026181277
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Professional photo finishing relies on both global adjustments and region-specific local edits guided by semantic masks, yet current automated methods handle this workflow only partially. We present PrismGPT, a Vision-Language Model (VLM) framework that produces structured, region-aware editing plans from a single input image without relying on commercial black-box tools. Training a VLM to simultaneously diagnose aesthetic deficiencies at both global and local levels while predicting precise editing parameters is challenging due to the vast combinatorial decision space. We address this through proxy-guided learning: two simpler proxy tasks -- operation decomposition and region-aware aesthetic ranking -- teach the foundational skills the model needs, while a competence-based dynamic scheduler automatically rebalances the multi-task training ratio, progressively shifting emphasis from the proxy tasks to the primary editing task as each skill is mastered. Crucially, all reasoning traces used for supervised fine-tuning are self-synthesized by the same base model, eliminating the need for a stronger external teacher. Experiments on MIT-Adobe FiveK and SPIRE, a new professionally retouched benchmark we introduce, show that PrismGPT achieves state-of-the-art results while using only ~6% of the training data compared to the previous best method.
- Abstract(参考訳): プロのフォトフィニッシュは、グローバルな調整とセマンティックマスクでガイドされた地域固有のローカル編集の両方に依存している。
商用のブラックボックスツールを使わずに、単一の入力画像から構造化された地域対応編集計画を生成する、視覚言語モデル(VLM)フレームワークであるPrismGPTを提案する。
VLMを訓練して、グローバルレベルとローカルレベルの両方の麻酔障害を同時に診断すると同時に、正確な編集パラメータを予測することは、膨大な組合せ決定空間のために困難である。
2つのシンプルなプロキシタスク -- 操作分解とリージョン認識の美的ランキング -- が、モデルに必要な基礎的なスキルを教える一方で、コンピテンスベースの動的スケジューラが自動的にマルチタスクトレーニング比率を調整し、各スキルがマスタされるにつれて、プロキシタスクからプライマリ編集タスクへの重点を段階的にシフトする。
重要な点として、教師付き微調整に使用されるすべての推論トレースは、同じベースモデルで自己合成され、より強力な外部教師の必要性がなくなる。
MIT-Adobe FiveK と SPIRE の実験では、PrismGPT が最先端の結果を達成し、トレーニングデータの 6% しか使用していないことを示した。
関連論文リスト
- DanceOPD: On-Policy Generative Field Distillation [62.31008793798276]
本研究では,フローマッチングモデルのためのオンライン生成フィールド蒸留フレームワークであるDanceOPDを紹介する。
各サンプルを1つの機能フィールドにルーティングし、1つの低雑音の学生が引き起こした状態をクエリし、単純な速度MSE目的のトレーニングを行う。
T2I, 編集, リアリズム-フィールド吸収, CFG吸収に関する総合的な実験により, 提案手法は多機能化を図っている。
論文 参考訳(メタデータ) (2026-06-25T17:59:58Z) - MT-EditFlow: Reinforcement Learning for Multi-Turn Image Editing with Flow Matching [91.83651402045108]
MT-EditFlowは、逐次画像編集のための報酬信号の最適化を目的とした、フローマッチング強化学習フレームワークである。
MT-EditFlowは多種多様なベースモデル間で性能を著しく向上させることを示す。
論文 参考訳(メタデータ) (2026-06-01T09:46:10Z) - Rethinking Scribble-Guided Image Editing: Generalization, Instruction Adherence, and Multi-Tasking [14.173267480504842]
スクリブル誘導画像編集により、ユーザーは単純なスクリブルアノテーションとテキストプロンプトを組み合わせることで、画像の編集場所と編集方法の両方を指定できる。
既存のモデルは、特にマルチタスクシナリオにおいて、このパラダイムの下で不安定なパフォーマンスを示す。
オープンソース編集モデルを用いて実証的研究を行い、一般化における非対称性を明らかにする。
論文 参考訳(メタデータ) (2026-05-25T08:20:23Z) - Learning to Focus and Precise Cropping: A Reinforcement Learning Framework with Information Gaps and Grounding Loss for MLLMs [58.32326205291745]
MLLMは画像トリミングツールを自律的に利用し、質問応答のための関心領域を分析する。
我々は,このモデルが大域的な入力に強く依存していることと,収穫領域の細部への弱い依存を実証する。
監視を必要としない新しい2段階強化学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-29T03:18:57Z) - Uniworld-V2: Reinforce Image Editing with Diffusion Negative-aware Finetuning and MLLM Implicit Feedback [41.41713036839503]
本稿では,ポリシー最適化に基づく命令ベースの画像編集のための新しいポストトレーニングフレームワークであるEdit-R1を紹介する。
我々は,Multimodal Large Language Model (MLLM) を統一学習自由報酬モデルとして採用し,その出力ロジットを活用し,きめ細かいフィードバックを提供する。
私たちのフレームワークはモデルに依存しないため、多様なベースモデルに適用した場合、大幅なパフォーマンス向上が得られます。
論文 参考訳(メタデータ) (2025-10-19T15:38:06Z) - CL-MAE: Curriculum-Learned Masked Autoencoders [49.24994655813455]
本稿では,自己指導型再建作業の複雑さを継続的に増大させるために,マスキング戦略を更新するカリキュラム学習手法を提案する。
我々は、ImageNet上でCL-MAE(Curriculum-Learned Masked Autoencoder)をトレーニングし、MAEよりも優れた表現学習能力を示すことを示す。
論文 参考訳(メタデータ) (2023-08-31T09:13:30Z) - USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text
Retrieval [115.28586222748478]
Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。
既存のアプローチは通常、2つの大きな制限に悩まされる。
論文 参考訳(メタデータ) (2023-01-17T12:42:58Z) - Exploring The Role of Mean Teachers in Self-supervised Masked
Auto-Encoders [64.03000385267339]
マスク付き画像モデリング(MIM)は視覚変換器を用いた視覚表現の自己教師型学習(SSL)の一般的な戦略となっている。
簡単なSSL方式であるRC-MAE(Restruction-Consistent Masked Auto-Encoder)を提案する。
RC-MAEは、事前学習中に最先端の自己蒸留法よりも早く収束し、メモリ使用量の削減を必要とする。
論文 参考訳(メタデータ) (2022-10-05T08:08:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。