論文の概要: MoI-Bench: A Benchmark for Image Generation and Editing on Mobile Devices

• arxiv url: http://arxiv.org/abs/2610.37599v1
• Date: Tue, 27 Oct 2026 17:31:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.734347
• Title: MoI-Bench: A Benchmark for Image Generation and Editing on Mobile Devices
• Title（参考訳）: MoI-Bench: モバイルデバイス上での画像生成と編集のためのベンチマーク
• Abstract要約: MoI-Benchは、64のサブタスクと1150のサンプルからなる、モバイルユーザのニーズに基づくベンチマークである。 MoI-Evalは、次の指示、視覚的品質、詳細保存を含むタスク固有の基準を導入している。 デバイス上の代表モデルとサーバ側モデルを評価し,モバイルデプロイメントのコストを測定した。
• 参考スコア（独自算出の注目度）: 10.201584212478158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developing on-device image models requires considering practical user needs, task types and device resource constraints. However, existing benchmarks provide limited guidance on identifying capability gaps between on-device models and server-side models. We introduce MoI-Bench, a benchmark grounded in mobile user needs, comprising 64 subtasks and 1150 samples. It defines 16 operations, such as removal and replacement, and eight visual target categories covering content such as portraits and text. These form two orthogonal axes whose applicable combinations define specific tasks, such as removing facial makeup. To better guide model improvement, we further propose MoI-Eval, which introduces task-specific criteria covering instruction following, visual quality and detail preservation. We further construct sample-level evaluation questions and aggregate their scores into overall quality and capability profiles along the operation, target and criteria axes. We evaluate representative on-device and server-side models and measure mobile deployment costs. Results show that this decoupled Operation x Target design provides finer-grained guidance for improving compact models. For example, it highlights the need to prioritize specific capability gaps (e.g., text-replacement) over broad application-level goals (e.g., improving text editing). Unlike conventional benchmarks that rank models using a single score, we introduce a two-dimensional Quality-Deployability capability map to assess models for practical mobile use. The map shows that current on-device models can achieve efficient generation or editing but expanding their task coverage deserves greater attention than further improving deployment efficiency. Further progress requires improving editing quality, particularly identity preservation and text rendering, while broadening task coverage.
• Abstract（参考訳）: デバイス上のイメージモデルを開発するには、実際のユーザニーズ、タスクタイプ、デバイスリソースの制約を考慮する必要がある。 しかし、既存のベンチマークでは、オンデバイスモデルとサーバサイドモデルの間の機能ギャップを特定するためのガイダンスが限られている。 このベンチマークは、64のサブタスクと1150のサンプルで構成されている。 削除や置換などの16の操作と、ポートレートやテキストなどのコンテンツをカバーする8つの視覚的ターゲットカテゴリを定義している。 これらは2つの直交軸を形成し、その組み合わせは顔の化粧を除去するなど特定のタスクを定義する。 さらに,モデル改良の指針となるMoI-Evalを提案する。 さらに、サンプルレベルの評価質問を構築し、そのスコアを、操作、目標、基準軸に沿った全体的な品質と能力プロファイルに集約する。 デバイス上の代表モデルとサーバ側モデルを評価し,モバイルデプロイメントのコストを測定した。 この分離されたオペレーションxターゲット設計は、コンパクトモデルを改善するためのよりきめ細かいガイダンスを提供することを示す。 例えば、幅広いアプリケーションレベルの目標(例えば、テキスト編集の改善)よりも、特定の機能ギャップ(例えば、テキスト置換)を優先する必要性を強調している。 単一スコアを用いたモデルのランク付けを行う従来のベンチマークとは異なり、実用的なモバイル利用のためのモデルを評価するための2次元品質デプロイ能力マップを導入する。 マップは、現在のオンデバイスモデルは効率的な生成や編集を達成できるが、そのタスクカバレッジを拡大することは、デプロイメントの効率をさらに向上するよりも、より注意に値することを示している。 さらなる進歩には、編集品質、特にアイデンティティの保存とテキストレンダリングの改善、タスクカバレッジの拡大が必要である。

関連論文リスト

• Task Alignment: A simple and effective proxy for model merging in computer vision [29.259838995576303]
  コンピュータビジョンにおけるモデルマージのほとんどの評価は、CLIPを用いた画像分類に限られている。 タスクアライメントプロキシを導入し、ハイパーパラメータ選択を高速化する方法を示す。 モデルマージの適用性を,CLIPに基づく分類を超えてマルチタスクビジョンモデルに拡張する。
  論文  参考訳（メタデータ） (2026-04-14T16:24:04Z)
• I2I-Bench: A Comprehensive Benchmark Suite for Image-to-Image Editing Models [78.62380562116135]
  既存の画像編集ベンチマークは、タスクの範囲が限られており、評価範囲が不十分であり、手動のアノテーションに大きく依存している。 画像間編集モデルの総合的なベンチマークである textbfI2I-Bench を提案する。 I2I-Benchを用いて、多数の主流画像編集モデルをベンチマークし、様々な次元にわたる編集モデル間のギャップとトレードオフを調査した。
  論文  参考訳（メタデータ） (2025-12-04T10:44:07Z)
• ICE-Bench: A Unified and Comprehensive Benchmark for Image Creating and Editing [23.512687688393346]
  ICE-Benchは、画像生成モデルを厳格に評価するために設計された包括的なベンチマークである。 評価フレームワークは、6次元にわたる画像生成能力を評価する。 既存の世代モデルを徹底的に分析し、ベンチマークの難易度と現在のモデル能力と実世界の世代要件のギャップを明らかにする。
  論文  参考訳（メタデータ） (2025-03-18T17:53:29Z)
• UniVG: A Generalist Diffusion Model for Unified Image Generation and Editing [59.590505989071175]
  テキスト・ツー・イメージ(T2I)拡散モデルでは、ユーザのプロンプトに従って視覚的に魅力的な画像を生成するという印象的な結果が示されている。 我々は,一組の重みで多様な画像生成タスクをサポートする汎用拡散モデルUniVGを紹介する。
  論文  参考訳（メタデータ） (2025-03-16T21:11:25Z)
• IDEA-Bench: How Far are Generative Models from Professional Designing? [34.00716542613326]
  実世界の100のタスクを含むベンチマークであるIDEA-Benchを紹介する。 これには、レンダリング、ビジュアルエフェクト、ストーリーボード、絵本、フォント、スタイルベース、アイデンティティ保存生成が含まれる。 最高のパフォーマンスモデルでさえ、IDEA-Benchで22.48しか達成せず、最高の汎用モデルは6.81しか達成していない。
  論文  参考訳（メタデータ） (2024-12-16T13:39:32Z)
• InstructCV: Instruction-Tuned Text-to-Image Diffusion Models as Vision Generalists [66.85125112199898]
  我々は,タスク固有の設計選択を抽象化する,コンピュータビジョンタスクのための統一言語インタフェースを開発する。 InstructCVと呼ばれる我々のモデルは、他のジェネラリストやタスク固有の視覚モデルと比較して競合的に機能する。
  論文  参考訳（メタデータ） (2023-09-30T14:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。