論文の概要: ECHO: An Open Research Platform for Evaluation of Chat, Human Behavior, and Outcomes
- arxiv url: http://arxiv.org/abs/2602.10295v1
- Date: Tue, 10 Feb 2026 21:10:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-12 21:44:01.279938
- Title: ECHO: An Open Research Platform for Evaluation of Chat, Human Behavior, and Outcomes
- Title（参考訳）: ECHO: チャット、ヒューマンビヘイビア、アウトカムの評価のためのオープンリサーチプラットフォーム
- Authors: Jiqun Liu, Nischal Dinesh, Ran Yu,
- Abstract要約: ECHOはオープンな研究プラットフォームであり、対話型AIシステムとWeb検索エンジンの両方とのインタラクションの混合研究をサポートするように設計されている。
さまざまな分野の研究者が、同意とバックグラウンド調査、チャットベースの検索ベースの情報検索セッション、書き込みや判断タスク、そして、統合されたローコーディング・ロード・フレームワーク内での事前タスク評価を統合する、エンドツーエンドの実験を編成することが可能になる。
- 参考スコア（独自算出の注目度）: 6.989051035721272
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: ECHO (Evaluation of Chat, Human behavior, and Outcomes) is an open research platform designed to support reproducible, mixed-method studies of human interaction with both conversational AI systems and Web search engines. It enables researchers from varying disciplines to orchestrate end-to-end experimental workflows that integrate consent and background surveys, chat-based and search-based information-seeking sessions, writing or judgment tasks, and pre- and post-task evaluations within a unified, low-coding-load framework. ECHO logs fine-grained interaction traces and participant responses, and exports structured datasets for downstream analysis. By supporting both chat and search alongside flexible evaluation instruments, ECHO lowers technical barriers for studying learning, decision making, and user experience across different information access paradigms, empowering researchers from information retrieval, HCI, and the social sciences to conduct scalable and reproducible human-centered AI evaluations.
- Abstract（参考訳）: ECHO(Evaluation of Chat, Human Behavior, and Outcomes)は、対話型AIシステムとWeb検索エンジンの両方との人間のインタラクションに関する再現可能な、混合的な研究を支援するために設計されたオープンな研究プラットフォームである。
さまざまな分野の研究者が、同意とバックグラウンド調査、チャットベースの検索ベースの情報検索セッション、書き込みや判断タスク、統合された低コーディング負荷フレームワーク内でのタスク前と後の評価を統合する、エンドツーエンドの実験ワークフローを編成することが可能になる。
ECHOは詳細なインタラクショントレースと参加者応答を記録し、下流分析のために構造化データセットをエクスポートする。
フレキシブルな評価手段とともにチャットと検索の両方をサポートすることで、ECHOは、学習、意思決定、ユーザエクスペリエンスをさまざまな情報アクセスパラダイムにわたって研究する技術的障壁を低くし、情報検索、HCI、社会科学から研究者に、スケーラブルで再現可能な人間中心のAI評価を実行する権限を与える。
関連論文リスト
- LISP -- A Rich Interaction Dataset and Loggable Interactive Search Platform [10.637323019551035]
対話型情報検索(IIR)における人間の探索行動研究のための再利用可能なデータセットと関連インフラを提案する。
このデータセットは、61人の参加者からの詳細なインタラクションログと、知覚速度、トピック固有の関心、検索専門知識、人口統計情報など、ユーザ特性を組み合わせたものだ。
論文 参考訳（メタデータ） (2026-01-14T10:49:13Z) - "My Boyfriend is AI": A Computational Analysis of Human-AI Companionship in Reddit's AI Community [28.482163389070646]
Redditの主要なAIコンパニオンコミュニティであるr/MyBoyfriendIsAIの大規模解析を行った。
この結果から,コミュニティメンバのAIコンパニオンシップが意図せず,機能的利用によって意図せず出現することが明らかとなった。
論文 参考訳（メタデータ） (2025-09-14T19:00:40Z) - User-centric evaluation of explainability of AI with and for humans: a comprehensive empirical study [5.775094401949666]
この研究はHuman-Centered Artificial Intelligence (HCAI)にある。
一般的に使用されるeXplainable Artificial Intelligence (XAI)アルゴリズムのユーザ中心評価の結果に焦点を当てている。
論文 参考訳（メタデータ） (2024-10-21T12:32:39Z) - Data Analysis in the Era of Generative AI [56.44807642944589]
本稿では,AIを活用したデータ分析ツールの可能性について考察する。
我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。
次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
論文 参考訳（メタデータ） (2024-09-27T06:31:03Z) - Can AI Serve as a Substitute for Human Subjects in Software Engineering
Research? [24.39463126056733]
本稿では,人工知能(AI)の能力を活用したソフトウェア工学研究における定性データ収集手法を提案する。
定性的データの代替源としてAI生成合成テキストの可能性を探る。
観察研究とユーザ評価における人間の行動のエミュレートを目的とした新しい基礎モデルの開発について論じる。
論文 参考訳（メタデータ） (2023-11-18T14:05:52Z) - Interactive Natural Language Processing [67.87925315773924]
対話型自然言語処理(iNLP)は,NLP分野における新しいパラダイムとして登場した。
本稿では,iNLPの概念の統一的定義と枠組みを提案することから,iNLPに関する包括的調査を行う。
論文 参考訳（メタデータ） (2023-05-22T17:18:29Z) - Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A
Survey [71.43956423427397]
本研究の目的は,非言語的キューと計算手法を同定し,効果的な性能を実現することである。
この調査は、最も広い範囲の社会現象と相互作用設定を巻き込むことによって、相手と異なる。
もっともよく使われる非言語キュー、計算方法、相互作用環境、センシングアプローチは、それぞれマイクとカメラを備えた3,4人で構成される会話活動、ベクターマシンのサポート、ミーティングである。
論文 参考訳（メタデータ） (2022-07-20T13:37:57Z) - Human-Robot Collaboration and Machine Learning: A Systematic Review of
Recent Research [69.48907856390834]
人間ロボットコラボレーション(Human-robot collaboration、HRC)とは、人間とロボットの相互作用を探索する手法である。
本稿では,HRCの文脈における機械学習技術の利用に関する詳細な文献レビューを提案する。
論文 参考訳（メタデータ） (2021-10-14T15:14:33Z) - Partner Matters! An Empirical Study on Fusing Personas for Personalized
Response Selection in Retrieval-Based Chatbots [51.091235903442715]
本稿では,自己とパートナーの話者が応答選択の課題に与える影響について検討する。
4つのペルソナ融合戦略が設計されており、異なる方法でペルソナがコンテキストや応答と相互作用することを前提としている。
Persona-Chatデータセットに関する実証研究は、パートナーペルソナが応答選択の精度を向上させることができることを示している。
論文 参考訳（メタデータ） (2021-05-19T10:32:30Z) - Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy
Evaluation Approach [84.02388020258141]
強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。
ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。
実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
論文 参考訳（メタデータ） (2021-02-20T03:29:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。