論文の概要: The DeepSpeak-Agentic Dataset
- arxiv url: http://arxiv.org/abs/2606.03686v1
- Date: Tue, 02 Jun 2026 14:10:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:05.053862
- Title: The DeepSpeak-Agentic Dataset
- Title(参考訳): DeepSpeak-Agentic Dataset
- Authors: Sarah Barrington, Maty Bohacek, Hany Farid,
- Abstract要約: DeepSpeak-Agenticは、人間とAIエージェントとの37時間以上の半構造化された会話からなるビデオのデータセットである。
このデータセットを使用して、AIエージェントの自動法医学的識別を評価し、人間とエージェントの相互作用の性質を研究し、AIエージェントを具体化する言語モデルとAI生成音声および顔の将来の進歩のベンチマークを提供する。
- 参考スコア(独自算出の注目度): 11.151457846264185
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present DeepSpeak-Agentic, a dataset of videos comprising over 37 hours of semi-structured conversations between a human and an embodied AI agent. We use this dataset to evaluate the automatic forensic identification (audio, video, or text) of AI agents, study the nature of human-agent interactions, and provide a benchmark for future advances in the large-language models and AI-generated voices and faces that power embodied AI agents. We also contribute a scalable data-capture system that creates agents, automatically pairs them with human crowd workers, records audiovisual conversations across specified scenarios, and identifies and separates the human and agent in the combined stream.
- Abstract(参考訳): DeepSpeak-Agenticは、人間とAIエージェントとの37時間以上の半構造化された会話からなるビデオのデータセットである。
このデータセットを使用して、AIエージェントの自動法医学的識別(オーディオ、ビデオ、テキスト)を評価し、人間とエージェントの相互作用の性質を研究し、AIエージェントを具体化する言語モデルとAI生成音声および顔の将来の進歩のベンチマークを提供する。
我々はまた、エージェントを作成し、それを人間の群衆労働者と自動的にペアリングし、特定のシナリオ間でのオーディオ視覚的会話を記録し、人間とエージェントを結合ストリームで識別し分離するスケーラブルなデータキャプチャシステムにも貢献する。
関連論文リスト
- AgentDS Technical Report: Benchmarking the Future of Human-AI Collaboration in Domain-Specific Data Science [30.303936447998314]
大規模言語モデル(LLM)と人工知能(AI)エージェントの最近の進歩は、データサイエンスのワークフローを大幅に自動化している。
AIエージェントが、ドメイン固有のデータサイエンスタスクにおいて、人間の専門家のパフォーマンスにどの程度適合できるかは、まだ不明である。
我々は、AIエージェントと人間とAIのコラボレーションのパフォーマンスをドメイン固有のデータサイエンスで評価するために設計されたベンチマークとコンペティションであるAgentDSを紹介する。
論文 参考訳(メタデータ) (2026-03-19T15:11:13Z) - MA-EgoQA: Question Answering over Egocentric Videos from Multiple Embodied Agents [54.48066948369172]
エンボディモデルが強力になるにつれ、人間は将来、職場や自宅で複数のエンボディAIエージェントと協力するようになる。
既存の課題には、ビデオ形式で個々の感覚入力を効果的に圧縮し、伝達することが含まれる。
われわれはまず,複数のエンボディエージェントから同時に収集された複数のロングホライズン・エゴセントリックなビデオを理解するという,新しい問題を正式に定義する。
論文 参考訳(メタデータ) (2026-03-10T15:48:35Z) - Cloning a Conversational Voice AI Agent from Call\,Recording Datasets for Telesales [0.0]
通話記録のコーパスから会話音声AIエージェントをクローンする手法を提案する。
我々のシステムは電話で顧客に耳を傾け、合成音声で応答し、トップパフォーマンスの人間エージェントから学んだ構造化されたプレイブックに従う。
本発明のクローン化剤は、導入、製品コミュニケーション、販売ドライブ、異物処理、閉店を含む22の基準で、人為的エージェントに対して評価される。
論文 参考訳(メタデータ) (2025-09-05T07:36:12Z) - Perceiving and Acting in First-Person: A Dataset and Benchmark for Egocentric Human-Object-Human Interactions [110.43343503158306]
本稿では、手動支援タスクを視覚言語アクションフレームワークに組み込み、そのアシスタントは、自我中心のビジョンとコマンドに従ってインストラクターにサービスを提供する。
この設定の下で、我々は、マルチモーダルデータの11.4時間1.2Mフレームを持つ、最初の大規模人・物・人間のインタラクションデータセットであるInterVLAを達成した。
我々は,エゴセントリックな人の動き推定,相互作用合成,および包括的分析による相互作用予測に関する新しいベンチマークを構築した。
論文 参考訳(メタデータ) (2025-08-06T17:46:23Z) - Agentic Web: Weaving the Next Web with AI Agents [109.13815627467514]
大規模言語モデル(LLM)を活用したAIエージェントの出現は、エージェントWebに対する重要な転換点である。
このパラダイムでは、エージェントが直接対話して、ユーザに代わって複雑なタスクを計画、コーディネート、実行します。
本稿では,エージェントWebの理解と構築のための構造化フレームワークを提案する。
論文 参考訳(メタデータ) (2025-07-28T17:58:12Z) - A Desideratum for Conversational Agents: Capabilities, Challenges, and Future Directions [51.96890647837277]
大規模言語モデル(LLM)は、従来の対話システムから、自律的な行動、文脈認識、ユーザとのマルチターンインタラクションが可能な高度なエージェントへと、会話AIを推進してきた。
本調査では,人間レベルの知性にアプローチするよりスケーラブルなシステムにおいて,何が達成されたのか,どのような課題が持続するのか,何を行う必要があるのか,といった,次世代の会話エージェントのデシラトゥムを提示する。
論文 参考訳(メタデータ) (2025-04-07T21:01:25Z) - ConvoGen: Enhancing Conversational AI with Synthetic Data: A Multi-Agent Approach [0.0]
マルチエージェントシステムを用いて合成会話データを生成するための革新的なフレームワークであるConvoGenを提案する。
生成されたデータには、対話型AIモデルのトレーニングや評価など、多数のアプリケーションがある。
論文 参考訳(メタデータ) (2025-03-21T18:14:12Z) - IDAT: A Multi-Modal Dataset and Toolkit for Building and Evaluating Interactive Task-Solving Agents [20.460482488872145]
本稿では,接地型自然言語命令の理解と実行が可能な対話型エージェントを開発する上での課題について述べる。
本研究では,Minecraftのような環境下で対話型接地言語命令を収集するためのスケーラブルなデータ収集ツールを提案する。
定性解析とエージェント性能比較のためのヒューマン・イン・ザ・ループ対話型評価プラットフォームを提案する。
論文 参考訳(メタデータ) (2024-07-12T00:07:43Z) - Training Conversational Agents with Generative Conversational Networks [74.9941330874663]
我々は、生成会話ネットワークを使用して、自動的にデータを生成し、社会的会話エージェントを訓練する。
自動メトリクスと人的評価器を用いてTopicalChatのアプローチを評価し、10%のシードデータで100%のデータを使用するベースラインに近いパフォーマンスを示す。
論文 参考訳(メタデータ) (2021-10-15T21:46:39Z) - A Study on AI-FML Robotic Agent for Student Learning Behavior Ontology
Construction [1.0183055506531897]
提案するAI-FMLロボットエージェントは、英会話および聴取領域に適用される。
AI-FMLロボットエージェントには、知覚エージェント、計算エージェント、認知エージェントを含む3つのインテリジェントエージェントがある。
実験の結果, エージェントは人間と機械の協調学習モデルに利用でき, 今後の教育に活用できることが示唆された。
論文 参考訳(メタデータ) (2020-06-18T01:45:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。