論文の概要: EditCaption: Human-Aligned Instruction Synthesis for Image Editing via Supervised Fine-Tuning and Direct Preference Optimization

• arxiv url: http://arxiv.org/abs/2604.08213v1
• Date: Thu, 09 Apr 2026 13:11:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.932127
• Title: EditCaption: Human-Aligned Instruction Synthesis for Image Editing via Supervised Fine-Tuning and Direct Preference Optimization
• Title（参考訳）: EditCaption: 修正された微調整と直接選好最適化による画像編集のためのヒューマンアラインなインストラクション合成
• Authors: Xiangyuan Wang, Honghao Cai, Yunhao Bai, Tianze Zhou, Haohua Chen, Yao Hu, Xu Tang, Yibo Chen, Wei Zhu,
• Abstract要約: トレーニング用トリップレット(正確な編集命令付きソースターゲットイメージペア)は、命令誘導画像編集モデルのスケーリングにおいて重要なボトルネックとなる。 VLMに基づく命令合成のためのスケーラブルな2段階後学習パイプラインであるEditCaptionを提案する。 Eval-400、ByteMorph-Bench、HQ-Editでは、Qwen3-VLモデルがオープンソースベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 23.767661458420076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-quality training triplets (source-target image pairs with precise editing instructions) are a critical bottleneck for scaling instruction-guided image editing models. Vision-language models (VLMs) are widely used for automated instruction synthesis, but we identify three systematic failure modes in image-pair settings: orientation inconsistency (e.g., left/right confusion), viewpoint ambiguity, and insufficient fine-grained attribute description. Human evaluation shows that over 47% of instructions from strong baseline VLMs contain critical errors unusable for downstream training. We propose EditCaption, a scalable two-stage post-training pipeline for VLM-based instruction synthesis. Stage 1 builds a 100K supervised fine-tuning (SFT) dataset by combining GLM automatic annotation, EditScore-based filtering, and human refinement for spatial, directional, and attribute-level accuracy. Stage 2 collects 10K human preference pairs targeting the three failure modes and applies direct preference optimization (DPO) for alignment beyond SFT alone. On Eval-400, ByteMorph-Bench, and HQ-Edit, fine-tuned Qwen3-VL models outperform open-source baselines; the 235B model reaches 4.712 on Eval-400 (vs. Gemini-3-Pro 4.706, GPT-4.1 4.220, Kimi-K2.5 4.111) and 4.588 on ByteMorph-Bench (vs. Gemini-3-Pro 4.522, GPT-4.1 3.412). Human evaluation shows critical errors falling from 47.75% to 23% and correctness rising from 41.75% to 66%. The work offers a practical path to scalable, human-aligned instruction synthesis for image editing data.
• Abstract（参考訳）: 高品質なトレーニング三脚(正確な編集命令を持つソースターゲットイメージペア)は、命令誘導画像編集モデルのスケーリングにおいて重要なボトルネックとなる。 視覚言語モデル (VLM) は, 自動命令合成に広く用いられているが, 向きの不整合(例えば, 左右の混乱), 視点のあいまいさ, きめ細かな属性記述が不十分な3つの系統的故障モードを識別する。 人的評価は、強いベースラインVLMからの指示の47%以上が、下流トレーニングでは使用できない臨界エラーを含んでいることを示している。 VLMに基づく命令合成のためのスケーラブルな2段階後学習パイプラインであるEditCaptionを提案する。 ステージ1は、GLM自動アノテーション、EditScoreベースのフィルタリング、空間的、指向性、属性レベルの正確性のための人間の洗練を組み合わせることで、100Kの教師付き微調整(SFT)データセットを構築する。 ステージ2は、3つの障害モードをターゲットにした10Kの人間の好みペアを収集し、SFT以外のアライメントにDPO(Direct preference Optimization)を適用する。 Eval-400, ByteMorph-Bench, HQ-Edit, fine-tuned Qwen3-VL モデルはオープンソースベースラインより優れている; 235B モデルは Eval-400 (vs. Gemini-3-Pro 4.706, GPT-4.1 4.220, Kimi-K2.5 4.111) と 4.588 (vs. Gemini-3-Pro 4.522, GPT-4.1 3.412)。 人間の評価では、致命的なエラーは47.75%から23%に減少し、正しさは41.75%から66%に上昇した。 この作品は、画像編集データのためのスケーラブルでヒューマンアラインな命令合成への実践的なパスを提供する。

関連論文リスト

• VAREX: A Benchmark for Multi-Modal Structured Extraction from Documents [1.06378109904813]
  VAREXは政府形態からの構造化データ抽出を評価するためのベンチマークである。 ベンチマークは、1,777の文書と1,771のユニークな文書から成っており、3相品質保証を通じて真理を検証している。 結果は、4Bパラメータ以下では、コンプライアンス出力 -- 抽出能力ではなく -- が主要なボトルネックであることを示している。
  論文  参考訳（メタデータ） (2026-03-16T11:15:56Z)
• Preference Score Distillation: Leveraging 2D Rewards to Align Text-to-3D Generation with Human Preference [69.34278282513593]
  Preference Score Distillation (PSD) は、3Dトレーニングデータなしでテキストから3D合成を行うための最適化ベースのフレームワークである。 我々の重要な洞察は、ピクセルレベルの勾配の不整合性に起因している。 我々は、好みスコアと負のテキスト埋め込みを協調最適化するための適応戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-02T08:23:36Z)
• IVRA: Improving Visual-Token Relations for Robot Action Policy with Training-Free Hint-Based Guidance [35.90972175891154]
  多くのVision-Language-Action (VLA)モデルは、画像パッチを1Dトークンシーケンスに平坦化し、正確な操作に必要な2D空間キューを弱める。 我々は,モデルに組み込まれた視覚で既に利用可能な親和性ヒントを活用することにより,空間的理解を改善する軽量なトレーニング不要な手法を提案する。
  論文  参考訳（メタデータ） (2026-01-22T18:57:13Z)
• VDC-Agent: When Video Detailed Captioners Evolve Themselves via Agentic Self-Reflection [49.17822187252066]
  VDC-AgentはDetailed Captioningのための自己進化フレームワークである。 VDC-Agent-7Bは、VDCベンチマークで最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2025-11-24T18:59:56Z)
• Zero-shot Inexact CAD Model Alignment from a Single Image [53.37898107159792]
  1つの画像から3Dシーン構造を推測する実践的なアプローチは、データベースから密に一致する3Dモデルを検索し、画像内のオブジェクトと整列させることである。 既存のメソッドは、イメージによる教師付きトレーニングとアノテーションのポーズに依存しており、オブジェクトカテゴリの狭いセットに制限されている。 ポーズアノテーションを必要とせず、未知のカテゴリに一般化する不正確な3次元モデルの弱い教師付き9-DoFアライメント法を提案する。
  論文  参考訳（メタデータ） (2025-07-04T04:46:59Z)
• Automated Repair of Ambiguous Problem Descriptions for LLM-Based Code Generation [9.943472604121425]
  自然言語(NL)の曖昧さは、ソフトウェアの品質を損なう可能性がある。 あいまいなNL記述の自動修復を導入する。 このアプローチをSpecFixというツールで実装しています。
  論文  参考訳（メタデータ） (2025-05-12T06:47:53Z)
• MIA-DPO: Multi-Image Augmented Direct Preference Optimization For Large Vision-Language Models [85.30735602813093]
  Multi-Image Augmented Direct Preference Optimization (MIA-DPO)は、マルチイメージ入力を効果的に処理する視覚的嗜好アライメントアプローチである。 MIA-DPOは、グリッドコラージュやピクチャ・イン・ピクチャ形式で配置された無関係な画像で単一の画像データを拡張することにより、多様なマルチイメージトレーニングデータの不足を軽減する。
  論文  参考訳（メタデータ） (2024-10-23T07:56:48Z)
• Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs [54.05511925104712]
  本稿では,Step-DPOと呼ばれるシンプルで効果的でデータ効率のよい手法を提案する。 Step-DPOは、個々の推論ステップを、論理的に回答を評価するのではなく、優先最適化の単位として扱う。 以上の結果から,70B パラメータ以上のモデルでは,10K の選好データペアと500 Step-DPO トレーニングステップ以下では,MATH の精度が約3%向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-26T17:43:06Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。