論文の概要: "Can You Tell Me?": Designing Copilots to Support Human Judgement in Online Information Seeking
- arxiv url: http://arxiv.org/abs/2601.11284v1
- Date: Fri, 16 Jan 2026 13:33:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-19 20:21:50.505183
- Title: "Can You Tell Me?": Designing Copilots to Support Human Judgement in Online Information Seeking
- Title(参考訳): 「Can You Tell Me?」:オンライン情報検索における人的判断を支援するコパイロットの設計
- Authors: Markus Bink, Marten Risius, Udo Kruschwitz, David Elsweiler,
- Abstract要約: 本稿では,足場情報評価を目的としたLLMに基づく会話コーパスを提案する。
我々の混合メソドス分析は、ユーザーが副操縦士と深く関わり、メタ認知的反射を示すことを示している。
副操縦士は「タイム・オン・チャット対探索」のトレードオフのため、回答の正しさや検索のエンゲージメントを著しく改善しなかった。
- 参考スコア(独自算出の注目度): 2.901725877154321
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative AI (GenAI) tools are transforming information seeking, but their fluent, authoritative responses risk overreliance and discourage independent verification and reasoning. Rather than replacing the cognitive work of users, GenAI systems should be designed to support and scaffold it. Therefore, this paper introduces an LLM-based conversational copilot designed to scaffold information evaluation rather than provide answers and foster digital literacy skills. In a pre-registered, randomised controlled trial (N=261) examining three interface conditions including a chat-based copilot, our mixed-methods analysis reveals that users engaged deeply with the copilot, demonstrating metacognitive reflection. However, the copilot did not significantly improve answer correctness or search engagement, largely due to a "time-on-chat vs. exploration" trade-off and users' bias toward positive information. Qualitative findings reveal tension between the copilot's Socratic approach and users' desire for efficiency. These results highlight both the promise and pitfalls of pedagogical copilots, and we outline design pathways to reconcile literacy goals with efficiency demands.
- Abstract(参考訳): ジェネレーティブAI(GenAI)ツールは情報検索を変革していますが、その流動的で権威的な応答は、信頼性の過大さと、独立した検証と推論の妨げになります。
ユーザの認知作業を置き換えるのではなく、GenAIシステムはそれをサポートし、足場を構築するように設計されるべきである。
そこで本稿では,LLMを用いた対話型コーパスについて,回答の提供やデジタルリテラシースキルの育成よりも,情報評価の足場として設計した。
チャットベースのコピロを含む3つのインターフェース条件を事前に登録したランダム化比較試験(N=261)において、混合メソッド分析により、ユーザーがコピロと深く関わり、メタ認知的反射を示すことが明らかとなった。
しかし、この副操縦士は「タイム・オン・チャット対探索」のトレードオフとポジティブな情報に対するユーザの偏見のために、回答の正しさや検索エンゲージメントを著しく改善しなかった。
質的な発見は、コピロットのソクラテス的アプローチとユーザの効率性への欲求の間の緊張関係を明らかにしている。
これらの結果は,教育的コピロの約束と落とし穴の両方を浮き彫りにしたものであり,我々はリテラシー目標を効率性の要求と整合させる設計経路を概説する。
関連論文リスト
- That's Deprecated! Understanding, Detecting, and Steering Knowledge Conflicts in Language Models for Code Generation [55.78914774437411]
大規模言語モデル(LLM)は、パラメトリック知識とプロンプトに含まれる矛盾する情報との相違に直面して振る舞う。
このような対立を構築・解釈するためのドメインに依存しないフレームワークを提案する。
本研究では, アクティベーションレベルのステアリングが, ランダムベースライン上でのステアリング成功率を最大12.6%向上させることができることを示す。
論文 参考訳(メタデータ) (2025-10-21T22:27:56Z) - CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。
また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
論文 参考訳(メタデータ) (2025-08-28T06:03:11Z) - A Human Centric Requirements Engineering Framework for Assessing Github Copilot Output [0.0]
GitHub Copilotは、これらのソフトウェアツールがヒューマンニーズにどう対処するかという、新たな課題を紹介している。
チャットインターフェースを通じて、GitHub Copilotのユーザとのインタラクションを分析しました。
これらの品質を評価するための明確なメトリクスを備えた、人間中心の要件フレームワークを確立しました。
論文 参考訳(メタデータ) (2025-08-05T21:33:23Z) - Code with Me or for Me? How Increasing AI Automation Transforms Developer Workflows [60.04362496037186]
本研究は,コーディングエージェントと開発者インタラクションを制御した最初の研究である。
我々は,2つの主要な協調型およびエージェント型符号化アシスタントの評価を行った。
結果から,エージェントはコピロトを超える方法で開発者を支援することができることがわかった。
論文 参考訳(メタデータ) (2025-07-10T20:12:54Z) - Collaborative Instance Object Navigation: Leveraging Uncertainty-Awareness to Minimize Human-Agent Dialogues [54.81155589931697]
協調インスタンスオブジェクトナビゲーション(CoIN)は、エージェントがターゲットインスタンスに関する不確実性を積極的に解決する新しいタスク設定である。
未認識者に対するエージェント・ユーザインタラクション(AIUTA)の新たな学習自由化手法を提案する。
まず、オブジェクト検出時に、セルフクエチオナーモデルがエージェント内で自己対話を開始し、完全かつ正確な観察記述を得る。
インタラクショントリガーモジュールは、人間に質問するか、継続するか、ナビゲーションを停止するかを決定する。
論文 参考訳(メタデータ) (2024-12-02T08:16:38Z) - Design and evaluation of AI copilots -- case studies of retail copilot templates [2.7274834772504954]
AIのコパイロを成功させるには、体系的なアプローチが必要だ。
本稿では,コピロの設計と評価を2つのセクションに分けた。
論文 参考訳(メタデータ) (2024-06-17T17:31:33Z) - Generative AI for Pull Request Descriptions: Adoption, Impact, and
Developer Interventions [11.620351603683496]
GitHubのCopilot for Pull Requests (PR)は、PRに関連するさまざまな開発者タスクを自動化することを目的とした有望なサービスである。
本研究では,生成AIによって記述の一部が作成された18,256個のPRについて検討した。
われわれは、Copilot for PRは幼少期ではあるが、採用が著しく増加していることを示唆している。
論文 参考訳(メタデータ) (2024-02-14T06:20:57Z) - A User-centered Security Evaluation of Copilot [12.350130201627186]
私たちはGitHubのCopilotを評価し、コードのセキュリティに関する長所と短所をよりよく理解しています。
Copilotへのアクセスは,難しい問題に対処する上で,よりセキュアなソリューションであることに気付きました。
論文 参考訳(メタデータ) (2023-08-12T14:49:46Z) - IART: Intent-aware Response Ranking with Transformers in
Information-seeking Conversation Systems [80.0781718687327]
我々は、情報探索会話におけるユーザ意図パターンを分析し、意図認識型ニューラルレスポンスランキングモデル「IART」を提案する。
IARTは、ユーザ意図モデリングと言語表現学習とTransformerアーキテクチャの統合の上に構築されている。
論文 参考訳(メタデータ) (2020-02-03T05:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。