論文の概要: Open Evaluation Agent: Efficient and Promptable Evaluation of Visual Generative Models

• arxiv url: http://arxiv.org/abs/2608.09666v1
• Date: Mon, 10 Aug 2026 14:42:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.315815
• Title: Open Evaluation Agent: Efficient and Promptable Evaluation of Visual Generative Models
• Title（参考訳）: オープン・アセスメント・エージェント:視覚生成モデルの効率的かつ確実な評価
• Abstract要約: 既存の評価手法は、特定のユーザのニーズを見落とし、明確な説明なしに数値的な結果を提供する厳密なパイプラインに依存している。 本研究では,効率的,動的,多ラウンドな評価に人間的な戦略を用いる評価エージェントフレームワークを提案する。 その結果,評価エージェントは評価時間を従来の手法の10%に短縮し,比較結果が得られた。
• 参考スコア（独自算出の注目度）: 74.1961755473754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in visual generative models have enabled high-quality image and video generation, but evaluating these models often demands sampling hundreds or thousands of images or videos, which is computationally expensive. Existing evaluation methods also rely on rigid pipelines that overlook specific user needs and provide numerical results without clear explanations. Mimicking how humans quickly form impressions of a model's capabilities from only a few samples, we propose the Evaluation Agent framework, which employs human-like strategies for efficient, dynamic, multi-round evaluations, offering detailed, user-tailored analyses. Given a natural-language evaluation request, the agent decomposes it into sub-aspects, generates targeted prompts, samples images or videos from the evaluated model, invokes suitable evaluation tools, and iteratively updates its plan from the observed evidence, covering both predefined benchmark dimensions and open-ended user concerns. The framework is thus efficient, promptable, explainable, and scalable across models and tools. Experiments show that Evaluation Agent reduces evaluation time to 10% of traditional methods while delivering comparable results. We further introduce Open Evaluation Agent (Open-EA) by constructing EA-CoT-10K, a corpus of history-conditioned step-level instruction-tuning records derived from multi-round evaluation rollouts, and training EA-3B from Qwen2.5-3B-Instruct as a local planning backbone that preserves the structured reasoning, tool invocation, and summary protocol of the API-based agent while reducing dependence on proprietary backbones. Experiments validate the API-based agent on established T2I/T2V benchmarks and open-ended queries, and evaluate Open-EA on four in-domain and three out-of-domain T2V generator families, showing partial cross-family transfer of the learned policy.
• Abstract（参考訳）: 視覚生成モデルの最近の進歩により、高品質の画像生成とビデオ生成が可能になったが、これらのモデルを評価するには、数百から数千の画像やビデオをサンプリングする必要があることが多く、これは計算的に高価である。 既存の評価手法は、特定のユーザのニーズを見落とし、明確な説明なしに数値的な結果を提供する、厳密なパイプラインにも依存している。 モデル機能の印象を,ごく少数のサンプルから素早く生成する方法を模倣し,効率的な動的マルチラウンド評価に人間ライクな戦略を取り入れた評価エージェントフレームワークを提案する。 自然言語評価要求が与えられた場合、エージェントはそれをサブアスペクトに分解し、評価されたモデルからターゲットプロンプト、画像またはビデオを生成し、適切な評価ツールを実行し、事前に定義されたベンチマーク次元とオープンなユーザの関心事の両方をカバーして、観察されたエビデンスから計画を反復的に更新する。 したがって、フレームワークは効率的で、迅速で、説明可能で、モデルやツールにまたがってスケーラブルである。 実験によると、評価エージェントは評価時間を従来の手法の10%に短縮し、同等の結果を提供する。 さらに,複数ラウンド評価ロールアウトから得られた履歴条件付きステップレベルの指導記録のコーパスであるEA-CoT-10Kを構築し,Qwen2.5-3B-InstructからEA-3Bを,プロプライエタリなバックボーンへの依存を低減しつつ,構造化された推論,ツール呼び出し,要約プロトコルを保存したローカルプランニングバックボーンとして訓練することにより,オープンアセスメントエージェント(Open-EA)を導入する。 実験では、確立されたT2I/T2Vベンチマークとオープンエンドクエリに基づいて、APIベースのエージェントを検証し、4つのドメイン内および3つのドメイン外T2Vジェネレータファミリー上でOpen-EAを評価し、学習ポリシーの一部をクロスファミリー転送した。

関連論文リスト

• A Sanity Check on Composed Image Retrieval [91.95275287747499]
  Composed Image Retrieval (CIR) は、参照画像からなるクエリと、所望の修正を指定する相対的なキャプションに基づいて、ターゲット画像を取得することを目的としている。 FISD(Fully-Informed Semantically-Diverse benchmark)は、参照ターゲット画像対の変数を正確に制御するために生成モデルを利用する。 本稿では,対話型シナリオにおける既存モデルの可能性を探るためのマルチラウンドエージェント評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-14T15:52:22Z)
• One-Eval: An Agentic System for Automated and Traceable LLM Evaluation [10.701916838477187]
  One-Evalは、自然言語要求を実行可能な評価に変換するエージェント評価システムである。 One-Evalは、産業環境でより効率的で再現可能な評価をサポートする。
  論文  参考訳（メタデータ） (2026-03-10T15:45:51Z)
• EdiVal-Agent: An Object-Centric Framework for Automated, Fine-Grained Evaluation of Multi-Turn Editing [170.71134330650796]
  EdiVal-Agentは、命令ベースの画像編集のためのオブジェクト指向評価フレームワークである。 標準のシングルターンだけでなく、マルチターンの命令ベースの編集を精度良く評価するように設計されている。 EdiVal-Benchは、インコンテキスト、フローマッチング、拡散パラダイムにまたがる9つの命令タイプと13の最先端編集モデルをカバーするベンチマークである。
  論文  参考訳（メタデータ） (2025-09-16T17:45:39Z)
• VideoGen-Eval: Agent-based System for Video Generation Evaluation [54.662739174367836]
  ビデオ生成は、最先端のモデルを評価するのに、既存の評価システムを不十分にしている。 本稿では,コンテンツ構造化,MLLMに基づくコンテンツ判断,時空間次元のパッチツールを統合したエージェント評価システムであるVideoGen-Evalを提案する。 我々は,既存の最先端モデルを評価するためのビデオ生成ベンチマークを導入し,評価システムの有効性を検証する。
  論文  参考訳（メタデータ） (2025-03-30T14:12:21Z)
• EvalGIM: A Library for Evaluating Generative Image Models [26.631349186382664]
  テキストから画像への生成モデルを評価するためのライブラリであるEvalGIMを紹介する。 EvalGIMは、品質、多様性、一貫性を測定するために使用されるデータセットとメトリクスを幅広くサポートする。 EvalGIMには、テキストから画像への生成モデルのための2つの新しい分析手法を導入する評価演習も含まれている。
  論文  参考訳（メタデータ） (2024-12-13T23:15:35Z)
• Evaluation Agent: Efficient and Promptable Evaluation Framework for Visual Generative Models [51.067146460271466]
  視覚生成モデルの評価には時間を要するし、計算コストもかかる。 本研究では,効率的,動的,多ラウンドな評価に人間的な戦略を用いる評価エージェントフレームワークを提案する。 1)効率性、2)多様なユーザニーズに合わせた迅速な評価、3)1つの数値スコア以上の説明可能性、4)さまざまなモデルやツールのスケーラビリティ。
  論文  参考訳（メタデータ） (2024-12-10T18:52:39Z)
• FlashEval: Towards Fast and Accurate Evaluation of Text-to-image Diffusion Generative Models [28.44922164328789]
  テキストから画像への生成モデルの評価は、開発プロセスにおける重要なステップである。 データ選択の評価に適した反復探索アルゴリズムであるFlashEvalを提案する。 検索した50-itemサブセットは,COCOアノテーションのランダムサンプリング500-itemサブセットに匹敵する評価精度が得られた。
  論文  参考訳（メタデータ） (2024-03-25T02:53:32Z)
• Operationalizing Specifications, In Addition to Test Sets for Evaluating Constrained Generative Models [17.914521288548844]
  生成モデルのスケールは、評価自体が実行される抽象レベルを高めるために利用することができると論じる。 我々の勧告は、生成品質を評価するための強力な手段として仕様を活用することに基づいている。
  論文  参考訳（メタデータ） (2022-11-19T06:39:43Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。