論文の概要: Designing a Dashboard for Transparency and Control of Conversational AI

• arxiv url: http://arxiv.org/abs/2406.07882v2
• Date: Sat, 15 Jun 2024 05:06:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 01:41:06.368105
• Title: Designing a Dashboard for Transparency and Control of Conversational AI
• Title（参考訳）: 対話型AIの透明性と制御のためのダッシュボードの設計
• Authors: Yida Chen, Aoyu Wu, Trevor DePodesta, Catherine Yeh, Kenneth Li, Nicholas Castillo Marin, Oam Patel, Jan Riecke, Shivam Raval, Olivia Seow, Martin Wattenberg, Fernanda Viégas,
• Abstract要約: エンド・ツー・エンドのプロトタイプ・トゥ・エンド・プロトタイプ・コネクテッド・インタプリタビリティ技術とユーザ・エクスペリエンス・デザインを提案する。 以上の結果から,利用者は内的状態の認識に感謝し,偏りのある行動に曝露し,コントロール意識を高めたことが示唆された。
• 参考スコア（独自算出の注目度）: 39.01999161106776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conversational LLMs function as black box systems, leaving users guessing about why they see the output they do. This lack of transparency is potentially problematic, especially given concerns around bias and truthfulness. To address this issue, we present an end-to-end prototype-connecting interpretability techniques with user experience design-that seeks to make chatbots more transparent. We begin by showing evidence that a prominent open-source LLM has a "user model": examining the internal state of the system, we can extract data related to a user's age, gender, educational level, and socioeconomic status. Next, we describe the design of a dashboard that accompanies the chatbot interface, displaying this user model in real time. The dashboard can also be used to control the user model and the system's behavior. Finally, we discuss a study in which users conversed with the instrumented system. Our results suggest that users appreciate seeing internal states, which helped them expose biased behavior and increased their sense of control. Participants also made valuable suggestions that point to future directions for both design and machine learning research. The project page and video demo of our TalkTuner system are available at https://bit.ly/talktuner-project-page
• Abstract（参考訳）: 会話型LLMはブラックボックスシステムとして機能し、ユーザがなぜ出力を見るのかを推測する。 この透明性の欠如は、特に偏見と真実性に関する懸念から、潜在的に問題となる可能性がある。 この問題に対処するため,チャットボットをより透明なものにしようと試みるユーザエクスペリエンス設計を伴う,エンドツーエンドのプロトタイプ・ツー・エンドの解釈可能性技術を提案する。 システムの内部状態を調べることで、ユーザの年齢、性別、教育水準、社会経済状態に関するデータを抽出することができる。 次に、チャットボットインタフェースに付随するダッシュボードの設計について述べ、このユーザモデルをリアルタイムで表示する。 ダッシュボードは、ユーザモデルとシステムの振る舞いを制御するためにも使用できる。 最後に、ユーザが計測システムと会話する研究について述べる。 以上の結果から,利用者は内的状態の認識に感謝し,偏りのある行動に曝露し,コントロール意識を高めたことが示唆された。 参加者はまた、デザインと機械学習の両方の研究の今後の方向性を示す貴重な提案を行った。 TalkTunerシステムのプロジェクトページとビデオデモはhttps://bit.ly/talktuner-project-pageで公開されている。

関連論文リスト

• Large Language Models for User Interest Journeys [14.219969535206861]
  大規模言語モデル(LLM)は、自然言語の理解と生成において印象的な能力を示している。 本稿は,LLMがユーザ活動を通じて理屈を定め,その興味を,人間と同じようなニュアンスで興味深い方法で表現することができることを論じる。 本稿では,まず関心旅行の個別抽出を行い,抽出した旅をLLMで要約する枠組みを提案する。
  論文  参考訳（メタデータ） (2023-05-24T18:40:43Z)
• Revealing User Familiarity Bias in Task-Oriented Dialogue via Interactive Evaluation [17.41434948048325]
  我々は,現実的なシナリオに対して,TODシステムがいかに脆弱であるかを明らかにするために,インタラクティブなユーザスタディを実施している。 我々の研究は、オープンゴール設定での会話がシステムの破滅的な失敗につながることを明らかにした。 我々は,システムの能力を超えても,システムがユーザの要求を処理するふりをする,新たな“予測”行動を発見した。
  論文  参考訳（メタデータ） (2023-05-23T09:24:53Z)
• The System Model and the User Model: Exploring AI Dashboard Design [79.81291473899591]
  高度なAIシステムは、他の複雑なデバイスと同じようにダッシュボードを持つべきだ、と私たちは主張する。 多くのシステムにおいて、最も重要な2つのモデルはユーザーとシステム自体のものであると推測する。 これら2つのモデルを識別し、解釈し、表示する方法を見つけることは、AIのためのインターフェース研究のコア部分であるべきです。
  論文  参考訳（メタデータ） (2023-05-04T00:22:49Z)
• First Contact: Unsupervised Human-Machine Co-Adaptation via Mutual Information Maximization [112.40598205054994]
  我々はこのアイデアを、インターフェースを最適化するための完全に教師なしの目的として定式化する。 タイピング,シミュレートされたロボットの制御,ゲームプレイなど,様々なキーボードとアイアイのインタフェースを運用しているユーザの540K例について,観察的研究を行った。 以上の結果から,我々の相互情報スコアは,様々な領域における真真正タスク完了メトリクスの予測値であることが示唆された。
  論文  参考訳（メタデータ） (2022-05-24T21:57:18Z)
• X2T: Training an X-to-Text Typing Interface with Online Learning from User Feedback [83.95599156217945]
  ユーザがキーボードを操作できないが、他の入力を供給できる、補助型タイピングアプリケーションに焦点を当てる。 標準メソッドは、ユーザ入力の固定データセット上でモデルをトレーニングし、そのミスから学ばない静的インターフェースをデプロイする。 このようなインターフェースが時間の経過とともに改善されるようなシンプルなアイデアを,ユーザによる最小限の努力で検討する。
  論文  参考訳（メタデータ） (2022-03-04T00:07:20Z)
• GANSlider: How Users Control Generative Models for Images using Multiple Sliders with and without Feedforward Information [33.28541180149195]
  フィードフォワード・ビジュアライゼーションのない複数のスライダが、ユーザが生成モデルの制御にどのように影響するかを検討する。 より多くのコントロールディメンション(スライダ)がタスクの難易度とユーザアクションを著しく増加させることがわかった。 可視化だけでは、ユーザが個々のコントロールディメンションを理解するのに十分とは限らない。
  論文  参考訳（メタデータ） (2022-02-02T11:25:07Z)
• GenNI: Human-AI Collaboration for Data-Backed Text Generation [102.08127062293111]
  Table2Textシステムは、機械学習を利用した構造化データに基づいてテキスト出力を生成する。 GenNI (Generation Negotiation Interface) は、対話型ビジュアルシステムである。
  論文  参考訳（メタデータ） (2021-10-19T18:07:07Z)
• Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning [69.42679922160684]
  本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。 当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
  論文  参考訳（メタデータ） (2020-11-01T19:50:34Z)
• NUANCED: Natural Utterance Annotation for Nuanced Conversation with Estimated Distributions [36.00476428803116]
  本研究では,ユーザ中心の対話システムの構築を試みる。 まず,ユーザの好みをシステムオントロジー上の推定分布としてモデル化し,ユーザの発話をそのような分布にマッピングする。 我々は、会話レコメンデーションのための現実的な設定に焦点を当てたNUANCEDという新しいデータセットを構築した。
  論文  参考訳（メタデータ） (2020-10-24T03:23:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。