Fugu-MT 論文翻訳(概要): WISE: An Agentic Framework for Whole-page Multimodal Search Experience Attribution

論文の概要: WISE: An Agentic Framework for Whole-page Multimodal Search Experience Attribution

arxiv url: http://arxiv.org/abs/2611.06777v2
Date: Thu, 05 Nov 2026 07:54:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-11-06 21:50:50.409538
Title: WISE: An Agentic Framework for Whole-page Multimodal Search Experience Attribution
Title（参考訳）: WISE: 全ページマルチモーダル検索エクスペリエンス属性のためのエージェントフレームワーク
Abstract要約: 検索、レコメンデーション、広告を含むアルゴリズム駆動のサービスは、マルチステージモデルパイプラインに依存している。エンドツーエンド品質診断のためのエージェントフレームワークWISEを提案する。我々は,ユーザによるエビデンス,内部パイプライントレース,専門家診断アノテーションを組み合わせた実世界のマルチモーダル検索ベンチマークWISE-BENCHを構築した。
参考スコア（独自算出の注目度）: 4.14958088296756
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Algorithm-driven services, including search, recommendation, and advertising, rely on multi-stage model pipelines. While research prioritizes model optimization, post-deployment monitoring focuses on operational reliability. Yet operationally healthy systems may still produce poor-quality results, exposing a gap in existing evaluation and monitoring practices. However, a systematic problem formulation and benchmark for this task remain lacking. To bridge this gap, we formulate System Quality Diagnosis (SQD) for algorithm-driven services, a new task that extends quality evaluation beyond identifying poor outcomes to attributing their causes across system components. Focusing on industrial search, we propose WISE, an agentic framework for end-to-end quality diagnosis that discovers user-facing issues and traces their origins to underlying algorithmic components. To improve diagnostic reliability, we introduce ReTrace for constructing evidence-consistent trajectory supervision and Adaptive Harness-Policy Optimization (AHPO) for failure-guided optimization of the agent harness and model policy. To enable systematic evaluation, we construct WISE-BENCH, a real-world multimodal search benchmark that combines user-facing evidence, internal pipeline traces, and expert diagnosis annotations. Extensive experiments show consistent gains across model scales, with WISE achieving 75.20% end-to-end accuracy on Qwen3.5-35B-A3B. In production, WISE supports quality auditing, online quality assurance, and model optimization, reducing diagnosis costs and improving downstream relevance models.
Abstract（参考訳）: 検索、レコメンデーション、広告を含むアルゴリズム駆動のサービスは、マルチステージモデルパイプラインに依存している。研究はモデルの最適化を優先する一方で、デプロイ後の監視は運用上の信頼性に重点を置いている。しかし、運用上健全なシステムはいまだに品質の悪い結果をもたらし、既存の評価と監視のプラクティスのギャップを露呈する可能性がある。しかし、この課題に対する体系的な問題定式化とベンチマークはいまだに欠落している。このギャップを埋めるために、アルゴリズム駆動型サービスのシステム品質診断(SQD)を定式化します。産業検索に焦点をあて,エンド・ツー・エンドの品質診断のためのエージェントフレームワークWISEを提案する。診断信頼性を向上させるため,エージェントハーネスとモデルポリシーの故障誘導最適化のためのエビデンス一貫性のある軌道監視と適応ハーネス・ポリティ最適化(AHPO)を構築するためのReTraceを導入する。システム評価を実現するために,ユーザによるエビデンス,内部パイプライントレース,専門家診断アノテーションを組み合わせた実世界のマルチモーダル検索ベンチマークWISE-BENCHを構築した。 Qwen3.5-35B-A3Bでは、WISEは75.20%のエンドツーエンドの精度を達成した。生産において、WISEは品質監査、オンライン品質保証、モデル最適化をサポートし、診断コストを削減し、下流の関連モデルを改善する。

関連論文リスト

A Self-Healing Framework for Reliable LLM-Based Autonomous Agents [0.0]
本稿では,LSMベースのソフトウェアエージェントのための信頼性を考慮した自己修復フレームワークを提案する。提案フレームワークはマルチエージェントのワークフロー環境に実装され,実世界のタスクシナリオを用いて評価される。
論文参考訳（メタデータ） (2026-05-07T13:10:41Z)
Overcoming the "Impracticality" of RAG: Proposing a Real-World Benchmark and Multi-Dimensional Diagnostic Framework [2.2782316435989562]
企業環境における検索・拡張生成システムの性能評価は多次元・複合的要因によって管理される。既存の学術ベンチマークでは、これらのインターロックの課題を体系的に診断することができない。本研究は, 4軸の難易度分類を定義し, 企業RAGベンチマークに組み込んで, 潜在的なシステムの弱点を診断する多次元診断フレームワークを提案する。
論文参考訳（メタデータ） (2026-04-03T02:10:37Z)
MiroEval: Benchmarking Multimodal Deep Research Agents in Process and Outcome [109.15093810810214]
MiroEvalはディープリサーチシステムのベンチマークおよび評価フレームワークである。ベンチマークは、実際のユーザニーズに基づいて100のタスクで構成されている。提案した評価スイートは3つの相補的な次元に沿って深層研究システムを評価する。
論文参考訳（メタデータ） (2026-03-30T13:16:03Z)
AgentFixer: From Failure Detection to Fix Recommendations in LLM Agentic Systems [7.429835301272413]
フレームワークには15の障害検出ツールと2つの根本原因分析モジュールが含まれている。軽量なルールベースのチェックとLDM-as-a-judgeアセスメントを統合し、構造化インシデント検出、分類、修復をサポートする。我々は、このフレームワークをIBM CUGAに適用し、AppWorldとWebArenaベンチマークのパフォーマンスを評価した。
論文参考訳（メタデータ） (2026-02-18T14:55:35Z)
OmniQuality-R: Advancing Reward Models Through All-Encompassing Quality Assessment [55.59322229889159]
我々は,マルチタスク品質推論を連続的かつ解釈可能な報酬信号に変換する統一報酬モデリングフレームワークOmniQuality-Rを提案する。我々は、推論強化報酬モデルデータセットを使用して、教師付き微調整のための信頼性の高いチェーンオブ思考データセットを構築します。 OmniQuality-Rは,美的品質評価,技術的品質評価,テキスト画像アライメントという3つの重要なIQAタスクで評価する。
論文参考訳（メタデータ） (2025-10-12T13:46:28Z)
Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。 25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
論文参考訳（メタデータ） (2025-10-01T07:59:03Z)
PB-IAD: Utilizing multimodal foundation models for semantic industrial anomaly detection in dynamic manufacturing environments [0.0]
本稿では, PB-IAD (Prompt-based Industrial Anomaly Detection) を提案する。データ分散性、アジャイル適応性、ドメインユーザ中心性という、動的運用環境の3つの重要な要件に対処する。 PatchCoreのような異常検出のための最先端のメソッドにベンチマークされる。
論文参考訳（メタデータ） (2025-08-20T07:53:13Z)
On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文参考訳（メタデータ） (2025-04-02T17:40:47Z)
Beyond Black-Box Benchmarking: Observability, Analytics, and Optimization of Agentic Systems [1.415098516077151]
エージェントがさまざまなタスクを実行するために協力するエージェントAIシステムの台頭は、その振る舞いを観察し、分析し、最適化する上で、新たな課題を提起する。従来の評価とベンチマークのアプローチは、これらのシステムの非決定論的、文脈に敏感で動的な性質を扱うのに苦労する。本稿では,エージェントシステムを開発,テスト,保守にまたがって分析・最適化する上で重要な課題と機会について考察する。
論文参考訳（メタデータ） (2025-03-09T20:02:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。