論文の概要: A Benchmarking Framework for Multimodal User Interface Toolkits: Comparing Modality Coverage, Developer Workflow, and Experimental Support

• arxiv url: http://arxiv.org/abs/2606.02977v1
• Date: Tue, 02 Jun 2026 00:31:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.654795
• Title: A Benchmarking Framework for Multimodal User Interface Toolkits: Comparing Modality Coverage, Developer Workflow, and Experimental Support
• Title（参考訳）: マルチモーダルユーザインタフェースツールキットのためのベンチマークフレームワーク: モダリティカバレッジ、開発者ワークフロー、実験的サポートの比較
• Authors: Ariton Verush,
• Abstract要約: マルチモーダルユーザーインタフェースは、音声、ジェスチャー、視覚、視線、触覚、生体信号、その他のセンサーデータを組み合わせている。 Geno、Multisensor-Pipeline (MSP)、ReactGenie、EmoSyncといった過去5年間のツールキットは、開発者がそのようなインターフェースを簡単にプロトタイプできるようにすることを目指している。 しかし、この分野には、これらのツールキットが実際にサポートしているもの、開発者がどれだけ実装をオフロードするか、どの評価戦略が適切なのかを比較するための、体系的で再利用可能な方法がない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal user interfaces increasingly combine speech, gesture, vision, gaze, touch, biosignals, and other sensor data. Recent toolkits from the past five years, such as Geno, Multisensor-Pipeline (MSP), ReactGenie, and EmoSync, aim to make it easier for developers to prototype such interfaces, while older work such as WAMI shows how early web-based multimodal systems were conceived. Yet the field still lacks a systematic and reusable way to compare what these toolkits actually support, how much implementation work they offload from developers, and which evaluation strategies are appropriate for them. This paper reframes an HCI seminar draft into a benchmarking framework paper for multimodal user interface toolkits. Rather than reporting completed empirical results, it proposes a structured benchmark based on document analysis, technical comparison, and a future developer-based evaluation. The framework is organized around three dimensions: modality coverage and interaction abstraction, developer experience and workflow, and experimental and integration support. The paper illustrates the framework through five representative toolkits: Geno, MSP, ReactGenie, WAMI, and EmoSync. The contribution is a reusable benchmark template that future researchers can instantiate with empirical measurements, developer studies, and additional multimodal toolkits.
• Abstract（参考訳）: マルチモーダルユーザーインタフェースは、音声、ジェスチャー、視覚、視線、触覚、生体信号、その他のセンサーデータを組み合わせている。 Geno、Multisensor-Pipeline (MSP)、ReactGenie、EmoSyncといった過去5年間のツールキットは、開発者がそのようなインターフェースを簡単にプロトタイプできるようにすることを目的としている。 しかし、この分野には、これらのツールキットが実際にサポートしているもの、開発者がどれだけ実装をオフロードするか、どの評価戦略が適切なのかを比較するための、体系的で再利用可能な方法がない。 本稿では,HCIセミナーのドラフトをマルチモーダルユーザインタフェースツールキットのベンチマークフレームワークに再構成する。 実験結果を報告するのではなく、文書分析、技術比較、将来の開発者による評価に基づく構造化されたベンチマークを提案する。 フレームワークは、モダリティのカバレッジとインタラクションの抽象化、開発者エクスペリエンスとワークフロー、実験と統合のサポートの3つの側面で構成されています。 この記事では、Geno、MSP、ReactGenie、WAMI、EmoSyncの5つの代表的なツールキットを通じて、このフレームワークを説明します。 このコントリビューションは、将来の研究者が経験的測定、開発者研究、追加のマルチモーダルツールキットでインスタンス化できる再利用可能なベンチマークテンプレートである。

関連論文リスト

• UIBenchKit: A unified toolkit for design-to-code model evaluation [10.130295479347813]
  デザイン・ツー・コードタスクの評価を統一するオープンソース統合ツールキットであるUIBenchKitを紹介した。 既存のツールのベンチマーク調査を行い、今後の改善の方向性を示すいくつかの知見を導出する。
  論文  参考訳（メタデータ） (2026-05-13T08:06:41Z)
• Paper Circle: An Open-source Multi-agent Research Discovery and Analysis Framework [82.66443886385125]
  ペーパーサークル(Paper Circle)は、学術文献の発見、評価、整理、理解に必要な労力を減らすために設計された発見・分析システムである。 1)複数のソースからのオフラインおよびオンライン検索を統合するディスカバリパイプライン,多エージェントスコアリング,多様性対応ランキング,構造化アウトプット,2)個々の論文を概念,メソッド,数値などの型付きノードで構造化された知識グラフに変換する分析パイプライン,の2つの補完パイプラインで構成されている。
  論文  参考訳（メタデータ） (2026-04-07T17:59:58Z)
• Saving SWE-Bench: A Benchmark Mutation Approach for Realistic Agent Evaluation [5.332969177132911]
  SWE-Bench Verifiedのようなソフトウェアエンジニアリングエージェントを評価するための現在のベンチマークは、主にGitHubの問題に由来する。 既存のベンチマークを現実的なユーザクエリに変換する,新たなベンチマークフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-10-10T04:42:02Z)
• MetaEmbed: Scaling Multimodal Retrieval at Test-Time with Flexible Late Interaction [13.70527493534928]
  マルチモーダル検索のための新しいフレームワークであるMetaEmbedを紹介する。 トレーニング中は、入力シーケンスに一定の数の学習可能なメタトークンが付加される。 テスト時には、その最後のレイヤのコンテキスト化表現はコンパクトだが表現力のあるマルチベクトル埋め込みとして機能する。
  論文  参考訳（メタデータ） (2025-09-22T17:59:42Z)
• DesignBench: A Comprehensive Benchmark for MLLM-based Front-end Code Generation [31.237236649603123]
  MLLM(Multimodal Large Language Models)は、フロントエンドの自動化において顕著な機能を示す。 DesignBenchは、自動フロントエンドエンジニアリングにおけるMLLMの機能を評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2025-06-06T17:21:21Z)
• The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
  BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。 本稿では,Webエージェント研究のためのBrowserGymベースの拡張エコシステムを提案する。 大規模なマルチベンチマークWebエージェント実験を初めて実施し、6つのWebエージェントベンチマークで6つの最先端LCMの性能を比較した。
  論文  参考訳（メタデータ） (2024-12-06T23:43:59Z)
• VLMEvalKit: An Open-Source Toolkit for Evaluating Large Multi-Modality Models [116.34503234243202]
  PyTorchに基づく大規模マルチモーダリティモデルを評価するためのオープンソースツールキットを提案する。 VLMEvalKitは、研究者や開発者が既存のマルチモダリティモデルを評価するための包括的なフレームワークを提供することを目的としている。
  論文  参考訳（メタデータ） (2024-07-16T13:06:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。