論文の概要: Omni2Web: Benchmarking Audiovisual Website Development
- arxiv url: http://arxiv.org/abs/2609.23417v1
- Date: Sun, 20 Sep 2026 07:18:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.814444
- Title: Omni2Web: Benchmarking Audiovisual Website Development
- Title（参考訳）: Omni2Web: オーディオヴィジュアルWebサイト開発のベンチマーク
- Abstract要約: 我々は13,907の編集ステップにまたがる918インスタンスのベンチマークであるOmni2Webを紹介した。
Direct Editingは、記録からのWebページ編集を評価し、インストラクションリカバリは明示的なインテントリカバリを測定し、リカバリ命令が固定コードエグゼキュータを駆動できるかどうかをインストラクションユーティリティテストする。
- 参考スコア（独自算出の注目度）: 27.80324301161851
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Screen-recorded web editing requests contain weak deictic expressions such as ``this'' and ``there,'' whose referents depend on speech, cursor trajectories, page state, and edit history. Such requests require intent recovery beyond the explicit specifications assumed by many existing web-editing benchmarks. We introduce Omni2Web, a bilingual benchmark of 918 instances spanning 13,907 edit steps. It defines three complementary tracks: Direct Editing evaluates webpage editing from recordings, Instruction Recovery measures explicit intent recovery, and Instruction Utility tests whether recovered instructions can drive a fixed code executor. We evaluate 17 open- and closed-source models. The best models attain 51.17 on the Edit Fidelity Score (EFS) for Direct Editing and 49.14 on the Instruction Recovery Score (IRS); under the fixed executor, the strongest recovered instructions reach 51.08 EFS, still far below the 89.69 EFS obtained with oracle instructions. Step-level analyses show that correct grounding does not guarantee successful edits, while some Omni models recover instructions that the fixed coding model executes substantially better than their direct edits. Controlled ablations further demonstrate the value of temporally aligned audiovisual evidence, while alternative judges preserve the leader and broad ordering. Together, these findings reveal substantial headroom in multimodal intent recovery and code execution and highlight the promise of pairing Omni rewriters with coding models.
- Abstract（参考訳）: 画面に記録されたウェブ編集要求には、音声、カーソル軌跡、ページの状態、履歴の編集に依存する「this」や「there」のような弱い難解な表現が含まれている。
このような要求は、既存のWeb編集ベンチマークが想定する明示的な仕様を超えて、意図的なリカバリを必要とします。
我々は13,907の編集ステップにまたがる918インスタンスのバイリンガルベンチマークであるOmni2Webを紹介した。
Direct Editingは記録からのWebページ編集を評価し、インストラクションリカバリは明示的なインテントリカバリを計測し、リカバリされたインストラクションが固定コードエグゼキュータを駆動できるかどうかをインストラクションユーティリティテストする。
我々は17のオープンソースモデルとクローズドソースモデルを評価した。
直接編集のためのEFS (Edit Fidelity Score) で51.17、命令回復スコア (Instruction Recovery Score) (IRS) で49.14に達し、固定された実行子の下では、最も高い復元命令は51.08 EFSに達し、オラクル命令で得られた89.69 EFSよりはるかに低い。
ステップレベルの分析では、正しいグラウンド化は良好な編集を保証しないが、いくつかのOmniモデルは、固定されたコーディングモデルが直接の編集よりも大幅に優れているという指示を回復する。
規制されたアブレーションは、時間的に整列したオーディオ視覚的証拠の価値をさらに示し、代替の裁判官はリーダーと広範囲な秩序を保っている。
これらの結果から,マルチモーダルなインテントリカバリとコード実行において重要な役割を担い,Omniリテラルをコーディングモデルと組み合わせることの約束を強調した。
関連論文リスト
- OmniEdit-Bench: A Comprehensive Benchmark for Instruction-based Video Editing [53.21868575804758]
命令ベースのビデオ編集(IVE)のための包括的かつ構造化されたベンチマークを導入する。
本ベンチマークでは,編集タスクを空間,時間,音声,参照ベースの編集など,複数のビデオ特化次元に分解する。
本研究では,4つの相補的な次元(精度,保存性,リアリズム,一貫性)から編集品質を評価する評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-05T16:58:48Z) - One Rewrite to Fix Them All? Type-Aware Repair Allocation for Text-to-Image Prompt Optimization [59.164665622252016]
テキスト・トゥ・イメージ(T2I)ジェネレータは、間違ったカウント、スワップされた属性、あいまいな関係、不可解なテキストを生成し、そのプロンプトに忠実に従わないことが多い。
Prompt最適化は、ユーザプロンプトを書き換えて、ジェネレータの再トレーニングを必要としないことで、このような障害を修復する。
失敗する各命題は、結果のローカル制約が1つの実行可能なプロンプトにコンパイルされる前に、タイプ条件の修復演算子にルーティングされる。
論文 参考訳（メタデータ） (2026-07-21T05:31:43Z) - AVE-Compass: Towards Holistic Evaluation for Audio-Video Editing Abilities [38.02927226790559]
145のキュレートされたビデオ、196のオーディオと視覚を結合した編集命令、2688のきめ細かいチェックリスト項目を備えた総合的なベンチマークであるAVE-を紹介した。
チェックリストに基づくMLLM判定と専用のリアリズムを通じて、インテントのインストラクションフォロー、フィデリティ保存、リアリズム、編集を評価し、自動化されたクロスモーダル、ビデオ、オーディオメトリクスで補完する。
AVE-Agentは、複雑な命令を依存サブタスクに分解し、自己回帰とフィードバックによる編集結果を反復的に改善するモジュラー評価フレームワークである。
論文 参考訳（メタデータ） (2026-07-17T12:40:13Z) - DocSync: Agentic Documentation Maintenance via Critic-Guided Reflexion [0.0]
DocSyncは、ドキュメントのメンテナンスを構造的に基盤付けられた反復的な生成タスクとしてフレーム化するエージェントワークフローである。
LoRA適応小言語モデルを用いたDocSyncの資源制約実装を実証的に評価する。
このAST対応エージェントアプローチが標準エンコーダ・デコーダのベースラインを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2026-05-04T02:41:33Z) - SAFEdit: Does Multi-Agent Decomposition Resolve the Reliability Challenges of Instructed Code Editing? [25.593993482047342]
命令付きコード編集のためのマルチエージェントフレームワークであるSAFEditを提案する。
Planner Agentは明示的で可視性に配慮した編集計画を生成し、Editor Agentは最小限のリテラルコード修正を適用し、Verifier Agentは実際のテスト実行を実行する。
テストが失敗すると、SAFEditはFailure Abstraction Layerを使用して生のテストログを構造化された診断フィードバックに変換する。
論文 参考訳（メタデータ） (2026-04-28T15:04:46Z) - Imperfect Visual Verification for Code Edition : A Case Study on TikZ [3.6213861298681826]
問題の中心的困難を分離するケーススタディとしてTikZを使用します。
視覚的コードのカスタマイズを不完全なオラクルによる反復的な編集問題と定義する。
その結果,不完全な検証者でさえ,コードに視覚的指示を適用するかどうかを適度に判断し,F1スコアを最大0.815まで達成できることがわかった。
論文 参考訳（メタデータ） (2026-04-09T12:21:52Z) - Specification Vibing for Automated Program Repair [8.68148153927532]
VibeRepairは仕様中心のAPR技術で、修正をアドホックなコード編集ではなく、行動特化修復として扱う。
Defects4J v1.2では、VibeRepairが174のバグを正しく修復し、最先端のベースラインを28のバグで越えている。
Defects4J v2.0では、178のバグを修復し、33のバグによる以前のアプローチよりも優れ、23%の改善を示している。
論文 参考訳（メタデータ） (2026-02-09T04:44:58Z) - EdiVal-Agent: An Object-Centric Framework for Automated, Fine-Grained Evaluation of Multi-Turn Editing [170.71134330650796]
EdiVal-Agentは、命令ベースの画像編集のためのオブジェクト指向評価フレームワークである。
標準のシングルターンだけでなく、マルチターンの命令ベースの編集を精度良く評価するように設計されている。
EdiVal-Benchは、インコンテキスト、フローマッチング、拡散パラダイムにまたがる9つの命令タイプと13の最先端編集モデルをカバーするベンチマークである。
論文 参考訳（メタデータ） (2025-09-16T17:45:39Z) - MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。
我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。
MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
論文 参考訳（メタデータ） (2025-06-09T16:16:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。