論文の概要: Supporting Experts with a Multimodal Machine-Learning-Based Tool for Human Behavior Analysis of Conversational Videos

• arxiv url: http://arxiv.org/abs/2402.11145v1
• Date: Sat, 17 Feb 2024 00:27:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 22:59:14.680893
• Title: Supporting Experts with a Multimodal Machine-Learning-Based Tool for Human Behavior Analysis of Conversational Videos
• Title（参考訳）: 対話型ビデオの人間行動分析のためのマルチモーダル機械学習ツールによるエキスパート支援
• Authors: Riku Arakawa and Kiyosu Maeda and Hiromu Yakura
• Abstract要約: そこで我々は,プロビデンス(Providence)を開発した。プロビデンス(Providence)は,専門家による形式的な研究から得られた設計上の考察に基づくビジュアルプログラミングツールである。 これにより、専門家はさまざまな機械学習アルゴリズムを組み合わせることで、コードを書くことなく人間の行動の手がかりを捉えることができる。 本研究は,会話の場面検索タスクの達成に要する認知負荷が少なく,ユーザビリティと満足度の高いアウトプットを示した。
• 参考スコア（独自算出の注目度）: 40.30407535831779
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal scene search of conversations is essential for unlocking valuable insights into social dynamics and enhancing our communication. While experts in conversational analysis have their own knowledge and skills to find key scenes, a lack of comprehensive, user-friendly tools that streamline the processing of diverse multimodal queries impedes efficiency and objectivity. To solve it, we developed Providence, a visual-programming-based tool based on design considerations derived from a formative study with experts. It enables experts to combine various machine learning algorithms to capture human behavioral cues without writing code. Our study showed its preferable usability and satisfactory output with less cognitive load imposed in accomplishing scene search tasks of conversations, verifying the importance of its customizability and transparency. Furthermore, through the in-the-wild trial, we confirmed the objectivity and reusability of the tool transform experts' workflow, suggesting the advantage of expert-AI teaming in a highly human-contextual domain.
• Abstract（参考訳）: 会話のマルチモーダルなシーン検索は、社会的ダイナミクスの貴重な洞察を解き明かし、コミュニケーションを強化するために不可欠である。 会話分析の専門家は、重要なシーンを見つけるための独自の知識とスキルを持っているが、多様なマルチモーダルクエリの処理を合理化する包括的でユーザフレンドリーなツールの欠如は、効率と客観性を妨げる。 そこで我々は,専門家による形成的研究から得られた設計上の考察に基づくビジュアルプログラミングベースのツールであるprovidenceを開発した。 さまざまな機械学習アルゴリズムを組み合わせて、コードを書かずに人間の行動の手がかりを捉えることができる。 本研究は,会話のシーン探索タスクの遂行に要する認知負荷が少なく,ユーザビリティと満足度の高いアウトプットを示し,カスタマイズ可能性と透明性の重要性を検証した。 さらに、現在進行中の試行を通じて、ツールトランスフォーメーションの専門家のワークフローの客観性と再利用性を確認し、高度にヒューマンコンテキストのドメインにおけるエキスパートとAIのコラボレーションの利点を示唆した。

関連論文リスト

• Interactive Multi-Objective Evolutionary Optimization of Software Architectures [0.0]
  人間をループに入れることで、検索ベースのソフトウェアエンジニアリング分野に新たな課題がもたらされる。 本稿では,人間の判断を探索プロセスに統合するための基礎として,インタラクティブな進化的計算がいかに役立つかを考察する。
  論文  参考訳（メタデータ） (2024-01-08T19:15:40Z)
• RLIF: Interactive Imitation Learning as Reinforcement Learning [61.14928315004026]
  オフ・ポリティクス強化学習は、インタラクティブな模倣学習よりも近いが、潜在的にさらに実践的な仮定の下で、パフォーマンスを向上させることができる。 提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。 このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
  論文  参考訳（メタデータ） (2023-11-21T21:05:21Z)
• Re-mine, Learn and Reason: Exploring the Cross-modal Semantic Correlations for Language-guided HOI detection [57.13665112065285]
  ヒューマンオブジェクトインタラクション(HOI)検出は、コンピュータビジョンの課題である。 本稿では,構造化テキスト知識を組み込んだHOI検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-25T14:20:52Z)
• Interactive Natural Language Processing [67.87925315773924]
  対話型自然言語処理(iNLP)は,NLP分野における新しいパラダイムとして登場した。 本稿では,iNLPの概念の統一的定義と枠組みを提案することから,iNLPに関する包括的調査を行う。
  論文  参考訳（メタデータ） (2023-05-22T17:18:29Z)
• An Interdisciplinary Perspective on Evaluation and Experimental Design for Visual Text Analytics: Position Paper [24.586485898038312]
  本稿では,視覚的テキスト分析手法の評価に焦点をあてる。 視覚テキスト分析手法を評価する上で,課題の4つの主要なグループを同定する。
  論文  参考訳（メタデータ） (2022-09-23T11:47:37Z)
• Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A Survey [71.43956423427397]
  本研究の目的は,非言語的キューと計算手法を同定し,効果的な性能を実現することである。 この調査は、最も広い範囲の社会現象と相互作用設定を巻き込むことによって、相手と異なる。 もっともよく使われる非言語キュー、計算方法、相互作用環境、センシングアプローチは、それぞれマイクとカメラを備えた3,4人で構成される会話活動、ベクターマシンのサポート、ミーティングである。
  論文  参考訳（メタデータ） (2022-07-20T13:37:57Z)
• SOCIOFILLMORE: A Tool for Discovering Perspectives [10.189255026322996]
  SOCIOFILLMOREは、テキストがイベントを描写する際に表現する視点をフォアに導くのに役立つツールである。 我々のツールは、人間の判断を大量に集めることで、理論的にはフレームのセマンティクスと認知言語学に基礎を置いています。
  論文  参考訳（メタデータ） (2022-03-07T14:42:22Z)
• Estimating Presentation Competence using Multimodal Nonverbal Behavioral Cues [7.340483819263093]
  社会的相互作用の多くの領域において、公的な講演やプレゼンテーション能力が重要な役割を担っている。 プレゼンテーション能力の効率的な開発を促進する1つのアプローチは、スピーチ中の人間の行動の自動分析である。 本研究では, 表情, ポーズベース, 音声関連機能など, さまざまな非言語行動手がかりの提示能力評価への寄与について検討する。
  論文  参考訳（メタデータ） (2021-05-06T13:09:41Z)
• On Interactive Machine Learning and the Potential of Cognitive Feedback [2.320417845168326]
  対話型機械学習を導入し、その利点と限界を防衛的応用の文脈で説明する。 我々は、自己報告、暗黙的な認知フィードバック、モデル化された認知フィードバックの3つの手法を定義した。
  論文  参考訳（メタデータ） (2020-03-23T16:28:14Z)
• A Review on Intelligent Object Perception Methods Combining Knowledge-based Reasoning and Machine Learning [60.335974351919816]
  物体知覚はコンピュータビジョンの基本的なサブフィールドである。 最近の研究は、物体の視覚的解釈のインテリジェンスレベルを拡大するために、知識工学を統合する方法を模索している。
  論文  参考訳（メタデータ） (2019-12-26T13:26:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。