論文の概要: Supporting Experts with a Multimodal Machine-Learning-Based Tool for Human Behavior Analysis of Conversational Videos

• arxiv url: http://arxiv.org/abs/2402.11145v1
• Date: Sat, 17 Feb 2024 00:27:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 22:59:14.680893
• Title: Supporting Experts with a Multimodal Machine-Learning-Based Tool for Human Behavior Analysis of Conversational Videos
• Title（参考訳）: 対話型ビデオの人間行動分析のためのマルチモーダル機械学習ツールによるエキスパート支援
• Authors: Riku Arakawa and Kiyosu Maeda and Hiromu Yakura
• Abstract要約: そこで我々は,プロビデンス(Providence)を開発した。プロビデンス(Providence)は,専門家による形式的な研究から得られた設計上の考察に基づくビジュアルプログラミングツールである。 これにより、専門家はさまざまな機械学習アルゴリズムを組み合わせることで、コードを書くことなく人間の行動の手がかりを捉えることができる。 本研究は,会話の場面検索タスクの達成に要する認知負荷が少なく,ユーザビリティと満足度の高いアウトプットを示した。
• 参考スコア（独自算出の注目度）: 40.30407535831779
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal scene search of conversations is essential for unlocking valuable insights into social dynamics and enhancing our communication. While experts in conversational analysis have their own knowledge and skills to find key scenes, a lack of comprehensive, user-friendly tools that streamline the processing of diverse multimodal queries impedes efficiency and objectivity. To solve it, we developed Providence, a visual-programming-based tool based on design considerations derived from a formative study with experts. It enables experts to combine various machine learning algorithms to capture human behavioral cues without writing code. Our study showed its preferable usability and satisfactory output with less cognitive load imposed in accomplishing scene search tasks of conversations, verifying the importance of its customizability and transparency. Furthermore, through the in-the-wild trial, we confirmed the objectivity and reusability of the tool transform experts' workflow, suggesting the advantage of expert-AI teaming in a highly human-contextual domain.
• Abstract（参考訳）: 会話のマルチモーダルなシーン検索は、社会的ダイナミクスの貴重な洞察を解き明かし、コミュニケーションを強化するために不可欠である。 会話分析の専門家は、重要なシーンを見つけるための独自の知識とスキルを持っているが、多様なマルチモーダルクエリの処理を合理化する包括的でユーザフレンドリーなツールの欠如は、効率と客観性を妨げる。 そこで我々は,専門家による形成的研究から得られた設計上の考察に基づくビジュアルプログラミングベースのツールであるprovidenceを開発した。 さまざまな機械学習アルゴリズムを組み合わせて、コードを書かずに人間の行動の手がかりを捉えることができる。 本研究は,会話のシーン探索タスクの遂行に要する認知負荷が少なく,ユーザビリティと満足度の高いアウトプットを示し,カスタマイズ可能性と透明性の重要性を検証した。 さらに、現在進行中の試行を通じて、ツールトランスフォーメーションの専門家のワークフローの客観性と再利用性を確認し、高度にヒューマンコンテキストのドメインにおけるエキスパートとAIのコラボレーションの利点を示唆した。

関連論文リスト

• PromptHive: Bringing Subject Matter Experts Back to the Forefront with Collaborative Prompt Engineering for Educational Content Creation [8.313693615194309]
  本稿では,プロンプトオーサリングのための協調インターフェースであるPromptHiveについて紹介する。 本研究は,数学の専門家10名を対象に評価研究を行い,358人の学習者を対象に,2つの共同筆記セッションと358人の学習者による学習成績研究を通じて設計を検証した。 本研究は,AIの専門家以外の専門家が,人為的な資料に匹敵するコンテンツを生成するプロンプトを作成できるように,プロンプトの反復プロセスを解明し,ツールのユーザビリティを検証した。
  論文  参考訳（メタデータ） (2024-10-21T22:18:24Z)
• Data Analysis in the Era of Generative AI [56.44807642944589]
  本稿では,AIを活用したデータ分析ツールの可能性について考察する。 我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。 次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
  論文  参考訳（メタデータ） (2024-09-27T06:31:03Z)
• Towards Detecting and Mitigating Cognitive Bias in Spoken Conversational Search [14.916529791823868]
  本稿では,情報探索,心理学,認知科学,ウェアラブルセンサの知見をもとに,地域社会における新たな会話を促す。 実験的な設計と設定のためのマルチモーダル機器と手法を含むフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-21T03:50:32Z)
• Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
  ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。 コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
  論文  参考訳（メタデータ） (2023-11-26T09:11:32Z)
• Re-mine, Learn and Reason: Exploring the Cross-modal Semantic Correlations for Language-guided HOI detection [57.13665112065285]
  ヒューマンオブジェクトインタラクション(HOI)検出は、コンピュータビジョンの課題である。 本稿では,構造化テキスト知識を組み込んだHOI検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-25T14:20:52Z)
• An Interdisciplinary Perspective on Evaluation and Experimental Design for Visual Text Analytics: Position Paper [24.586485898038312]
  本稿では,視覚的テキスト分析手法の評価に焦点をあてる。 視覚テキスト分析手法を評価する上で,課題の4つの主要なグループを同定する。
  論文  参考訳（メタデータ） (2022-09-23T11:47:37Z)
• Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A Survey [71.43956423427397]
  本研究の目的は,非言語的キューと計算手法を同定し,効果的な性能を実現することである。 この調査は、最も広い範囲の社会現象と相互作用設定を巻き込むことによって、相手と異なる。 もっともよく使われる非言語キュー、計算方法、相互作用環境、センシングアプローチは、それぞれマイクとカメラを備えた3,4人で構成される会話活動、ベクターマシンのサポート、ミーティングである。
  論文  参考訳（メタデータ） (2022-07-20T13:37:57Z)
• Estimating Presentation Competence using Multimodal Nonverbal Behavioral Cues [7.340483819263093]
  社会的相互作用の多くの領域において、公的な講演やプレゼンテーション能力が重要な役割を担っている。 プレゼンテーション能力の効率的な開発を促進する1つのアプローチは、スピーチ中の人間の行動の自動分析である。 本研究では, 表情, ポーズベース, 音声関連機能など, さまざまな非言語行動手がかりの提示能力評価への寄与について検討する。
  論文  参考訳（メタデータ） (2021-05-06T13:09:41Z)
• On Interactive Machine Learning and the Potential of Cognitive Feedback [2.320417845168326]
  対話型機械学習を導入し、その利点と限界を防衛的応用の文脈で説明する。 我々は、自己報告、暗黙的な認知フィードバック、モデル化された認知フィードバックの3つの手法を定義した。
  論文  参考訳（メタデータ） (2020-03-23T16:28:14Z)
• A Review on Intelligent Object Perception Methods Combining Knowledge-based Reasoning and Machine Learning [60.335974351919816]
  物体知覚はコンピュータビジョンの基本的なサブフィールドである。 最近の研究は、物体の視覚的解釈のインテリジェンスレベルを拡大するために、知識工学を統合する方法を模索している。
  論文  参考訳（メタデータ） (2019-12-26T13:26:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。