論文の概要: Beyond "ChatGPT Can Make Mistakes": Designing Interventions to Support Metacognitive Monitoring in AI-Assisted Work
- arxiv url: http://arxiv.org/abs/2609.17065v1
- Date: Tue, 15 Sep 2026 12:09:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.49882
- Title: Beyond "ChatGPT Can Make Mistakes": Designing Interventions to Support Metacognitive Monitoring in AI-Assisted Work
- Title（参考訳）: ChatGPT Can Make Mistakes"を超えて:AI支援作業におけるメタ認知モニタリングを支援するインターベンションの設計
- Abstract要約: AIアシストは、自身の能力とシステムの能力を判断しなければならないユーザに対して、メタ認知的要求を課す。
私たちは11人の専門家から30の介入を募り、それらを設計空間にまとめました。
我々は、共有語彙、設計空間、計測された監視とタスクパフォーマンスが分離可能な設計目標であることの証明に貢献する。
- 参考スコア（独自算出の注目度）: 21.306270561292454
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: AI assistance places a metacognitive demand on users, who must judge their own competence and the system's. Yet designers lack comparative evidence on which interventions to choose, where to place them, and how to tell whether they worked. We elicited 30 interventions from 11 experts and, with prior work, organized them into a design space of time (when an intervention acts), level (whose competence is judged), and source (who supplies the monitoring cue). A between-subjects experiment (N = 917; 12 planning-and-organizing problems) compared a per-task reliability card, contrasting replies, pause points, and post-problem reflection against a baseline LLM assistant. Reliability cards and contrasting replies reduced estimation error and overconfidence and increased aggregate confidence discrimination. No task-performance improvement or average within-item discrimination gain was established. We contribute a shared vocabulary, a design space, and evidence that measured monitoring and task performance are separable design targets.
- Abstract（参考訳）: AIアシストは、自身の能力とシステムの能力を判断しなければならないユーザに対して、メタ認知的要求を課す。
しかしデザイナは、どの介入を選ぶか、どこに配置するか、どのように機能するかを比較できる証拠を欠いている。
我々は、11人の専門家から30の介入を誘致し、事前の作業により、それらを時間(介入行為の時)、レベル(能力が判断される時)、ソース(監視キューを提供する時)の設計空間に編成しました。
対象間の実験(N = 917; 12の計画・編成問題)では、タスク毎の信頼性カードを比較し、応答、停止点、およびベースラインのLCMアシスタントに対するポストプロブレム反射を比較した。
信頼性カードとコントラスト応答は、推定誤差と過信を低減し、集合信頼度を増大させた。
タスクパフォーマンスの改善や、平均的なイテム内差別ゲインは確立されなかった。
我々は、共有語彙、設計空間、計測された監視とタスクパフォーマンスが分離可能な設計目標であることの証明に貢献する。
関連論文リスト
- Factors Impacting Developer Efficiency: Results from an Adaptive Longitudinal Study [0.8373057326694192]
本研究では,コンサルティング・プロフェッショナル開発における開発者の認識効率を阻害する要因について検討した。
そこで我々は,Adaptive Developer Efficiency Monitoring Method (ADEMM) を27名の外部ソフトウェア開発者に適用した混合手法のケーススタディを行った。
論文 参考訳（メタデータ） (2026-08-17T13:53:03Z) - ADEMM: A Longitudinal Method for Monitoring Developer Efficiency in Industry [0.8373057326694192]
本研究では, ADEMM (Adaptive Developer Efficiency Monitoring Method) を提案し, 評価する。
ADEMMは、監視組織が開発者を直接採用していない場合に、開発者の効率を監視するための適応的な縦方向の手法である。
論文 参考訳（メタデータ） (2026-08-17T13:42:30Z) - Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。
この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。
各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
論文 参考訳（メタデータ） (2026-05-17T10:26:37Z) - Beyond Individual Intelligence: Surveying Collaboration, Failure Attribution, and Self-Evolution in LLM-based Multi-Agent Systems [65.90791804095561]
マルチエージェントシステムは、特殊エージェント間の構造化された協調を通じてこの問題に対処するが、より厳密な調整は、あまり検討されていないリスクを増幅する。
既存の調査では、個々のエージェント能力、マルチエージェントのコラボレーション、エージェントの自己進化を別々にカバーしている。
この調査は4つの因果関係のあるステージを中心にまとめられた統一されたレビューを提供する。これはLIFEの進展(Lay the capabilities foundation)、協力によるエージェントの統合、帰属による障害の発見、自律的な自己改善によるEvolveである。
論文 参考訳（メタデータ） (2026-05-14T14:36:13Z) - Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs [51.56484100374058]
ガードレールの設計には、敵の堅牢性、良質なタスクのユーザビリティ、応答レイテンシの明確なトレードオフが伴う。
決定論的パターンフィルタ,構造検証,コンテキストサンドボックス,セッションレベルの動作チェックを組み合わせた,ドメイン固有のマルチレイヤセーフガードパイプラインの評価を行った。
NeMoは16.22パーセントのFPRと1.5パーセントのレイテンシで0パーセントのバイパスに達し、Prompt Guardは38.48パーセントのFPRと3.60パーセントのバイパスを実現している。
論文 参考訳（メタデータ） (2026-03-29T18:52:01Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - Bridging Expertise Gaps: The Role of LLMs in Human-AI Collaboration for Cybersecurity [17.780795900414716]
本研究では,大規模言語モデル(LLM)が知的協力者として機能し,サイバーセキュリティ意思決定における専門的ギャップを埋めることができるかを検討する。
我々は,人間とAIのコラボレーションによって作業性能が向上し,フィッシング検出における偽陽性と侵入検出における偽陰性が低減されることを見出した。
論文 参考訳（メタデータ） (2025-05-06T04:47:52Z) - Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。
不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。
対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
論文 参考訳（メタデータ） (2025-02-18T17:12:26Z) - AI for human assessment: What do professional assessors need? [33.88509725285237]
このケーススタディは、専門家が人的アセスメントにおける意思決定を支援することを目的としており、アセスメント担当者とのインタビューを行い、特定の職種に対する適性を評価する。
評価の非言語的手がかりを抽出できる計算システムは、意思決定を支援するという点で評価者にとって有益である。
本研究では,顔のキーポイント,ポーズ,頭部ポーズ,視線といったマルチモーダルな行動特徴を用いた教師なし異常検出アルゴリズムに基づくシステムを開発した。
論文 参考訳（メタデータ） (2022-04-18T03:35:37Z) - Assessing the Fairness of AI Systems: AI Practitioners' Processes,
Challenges, and Needs for Support [18.148737010217953]
私たちは、実践者のプロセス、課題、サポートの必要性を特定するために、AI実践者とのインタビューとワークショップを行っています。
パフォーマンス指標を選択し、最も関連する直接的な利害関係者や人口統計グループを特定する際に、実践者が課題に直面していることに気付きました。
私たちは、直接利害関係者との関わりの欠如、疎外されたグループよりも顧客を優先するビジネスインペラティブ、大規模にAIシステムをデプロイする動機から生じる公正な作業への影響を特定します。
論文 参考訳（メタデータ） (2021-12-10T17:14:34Z) - Robust Learning Through Cross-Task Consistency [92.42534246652062]
クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。
クロスタスク一貫性による学習は,より正確な予測と,アウト・オブ・ディストリビューション・インプットの一般化につながることを観察する。
論文 参考訳（メタデータ） (2020-06-07T09:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。