論文の概要: ShowTellArena: Evaluating Business Workflow Understanding from Demonstrations

• arxiv url: http://arxiv.org/abs/2609.25467v1
• Date: Mon, 21 Sep 2026 22:47:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.137174
• Title: ShowTellArena: Evaluating Business Workflow Understanding from Demonstrations
• Title（参考訳）: ShowTellArena: デモからビジネスワークフローを理解することを評価する
• Abstract要約: ShowTellArenaは、ビジネスデモを行った後、理解するためのベンチマークプロトコルと公開データセットである。 v1.0リリースには50のビジネスワークフロータスクが含まれており、記録、スクリーンショット、ナレーション、フィクスチャシード、502の質問が含まれている。 39件のワークフローケースから選択したパイロットテスト218件を解析し,その内28件を評価システムで試みた。
• 参考スコア（独自算出の注目度）: 0.47998222538650537
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We often teach a colleague by showing the work and explaining the decisions as we go. How can we check what an agent understood from the same lesson? We introduce ShowTellArena, a benchmark protocol and public dataset for comprehension after narrated business demonstrations. The v1.0 release contains 50 business workflow tasks, with recordings, screenshots, narration, fixture seeds, and 502 questions. Tasks span finance, hiring, procurement, customer decisions, inventory, and logistics. The protocol holds the business scenario and quiz fixed while allowing each product to capture the lesson through its own teaching interface. Questions test operational rules, boundaries, exceptions, and errors in proposed automations. We analyze 218 selected pilot attempts across 39 workflow cases, including 28 cases attempted by all three evaluated systems. These exploratory results expose both answer errors and failures to complete the teaching experience. We describe the release's verification gaps and the pilot's uneven coverage, exclusions, and grading provenance. The contribution is an inspectable dataset and assessment workflow that others can extend; the selected pilot is not a controlled product ranking.
• Abstract（参考訳）: 私たちはよく同僚に仕事を見せ、意思決定を説明することで教えます。 エージェントが同じ教訓から何を理解したか、どうやって確認できますか? 本稿では,ShowTellArenaについて紹介する。ShowTellArenaは,ビジネスデモ後の理解のためのベンチマークプロトコルと公開データセットである。 v1.0リリースには50のビジネスワークフロータスクが含まれており、記録、スクリーンショット、ナレーション、フィクスチャシード、502の質問が含まれている。 タスクは財務、雇用、調達、顧客決定、在庫、物流にまたがる。 プロトコルはビジネスシナリオとクイズを固定し、各製品が独自の教育インターフェースを通じてレッスンをキャプチャできるようにする。 質問は、提案された自動化における運用ルール、バウンダリ、例外、エラーをテストする。 39件のワークフローケースから選択したパイロットテスト218件を解析し,その内28件を評価システムで試みた。 これらの探索結果は、学習経験を完成させるために、答えの誤りと失敗の両方を露呈する。 リリースの検証ギャップとパイロットの不均一なカバレッジ、除外、段階的な証明について説明する。 コントリビューションは、他者が拡張できる検査可能なデータセットとアセスメントワークフローである。

関連論文リスト

• How Far Can GPT-6-Astra Go? Evaluating Capabilities in Zero-Shot Vision-and-Language Navigation [20.65686859199639]
  連続環境におけるゼロショットビジョン・アンド・ランゲージナビゲーションにおけるGPT-6-Astraについて検討する。 指示を解釈し、その環境を評価し、行動を提案する。 Open-Nav が使用した100R2R-CE val-unseen エピソードの50件について,本システムの評価を行った。
  論文  参考訳（メタデータ） (2026-09-17T12:14:43Z)
• What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
  視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。 SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
  論文  参考訳（メタデータ） (2026-06-01T03:18:01Z)
• IndEgo: A Dataset of Industrial Scenarios and Collaborative Work for Egocentric Assistants [7.869752673792282]
  IndEgoは、一般的な産業タスクに対処するマルチモーダルなエゴセントリックでエクソセントリックなデータセットである。 データセットには3,460件のエゴセントリックな記録(約197時間)と1,092件のエゴセントリックな記録が含まれている。 データセットの重要な焦点は、協調作業であり、2人の労働者が共同で認知的および身体的に集中的なタスクを行う。
  論文  参考訳（メタデータ） (2025-11-24T20:45:17Z)
• About Time: Advances, Challenges, and Outlooks of Action Understanding [57.76390141287026]
  この調査は、様々なタスクにおけるユニモーダルおよびマルチモーダルな行動理解の進歩を包括的にレビューする。 我々は,現在普及している課題,広く採用されているデータセットの概要,そして最近の進歩を重視したセミナー作品の調査に焦点をあてる。
  論文  参考訳（メタデータ） (2024-11-22T18:09:27Z)
• Explained anomaly detection in text reviews: Can subjective scenarios be correctly evaluated? [0.27624021966289597]
  本稿では,オンラインプラットフォームにおける異常レビューの検出と説明を行うパイプラインを提案する。 パイプラインの異常検出タスクを解決する能力は、大規模なAmazonデータベースから生成されたさまざまなデータセットを使用して評価された。
  論文  参考訳（メタデータ） (2023-11-08T11:51:47Z)
• Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? [112.72413411257662]
  大規模言語モデル(LM)は、いくつかのインプットラベルペア(デモ)を条件付けして、新しいインプットの予測を行うことで、インコンテキストで学習することができる。 実演のラベルをランダムに置き換えることは、パフォーマンスをほとんど損なうものではない。 デモの他の側面が、エンドタスクのパフォーマンスの主要な要因であることに気付きました。
  論文  参考訳（メタデータ） (2022-02-25T17:25:19Z)
• Visual Transformer for Task-aware Active Learning [49.903358393660724]
  プールベースのアクティブラーニングのための新しいパイプラインを提案する。 提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。 ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
  論文  参考訳（メタデータ） (2021-06-07T17:13:59Z)
• Dealing with Missing Modalities in the Visual Question Answer-Difference Prediction Task through Knowledge Distillation [75.1682163844354]
  我々は,視覚的質問応答拡散予測タスクから生じる欠落モダリティの問題に対処する。 本稿では,イメージ/質問/回答トリプレットを入力として,ベースラインを上回る「大きな」教師モデルを紹介する。
  論文  参考訳（メタデータ） (2021-04-13T06:41:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。