論文の概要: Interpretable Directed Diversity: Leveraging Model Explanations for Iterative Crowd Ideation

• arxiv url: http://arxiv.org/abs/2109.10149v1
• Date: Tue, 21 Sep 2021 13:01:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-22 18:22:42.370681
• Title: Interpretable Directed Diversity: Leveraging Model Explanations for Iterative Crowd Ideation
• Title（参考訳）: 解釈可能な方向性の多様性: 反復的集団観念のためのモデル説明の活用
• Authors: Yunlong Wang, Priyadarshini Venkatesh, Brian Y. Lim
• Abstract要約: 本稿では,アイデアの質と多様性のスコアを自動的に予測するために,解釈可能な方向性の多様性を提案する。 これらの説明は、ユーザがアイデアを反復的に改善するときに、多面的なフィードバックを提供する。 ユーザーは、説明のフィードバックが努力に集中し、改善の道筋を提供するのに役立ったことに感謝した。
• 参考スコア（独自算出の注目度）: 7.341493082311333
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feedback can help crowdworkers to improve their ideations. However, current feedback methods require human assessment from facilitators or peers. This is not scalable to large crowds. We propose Interpretable Directed Diversity to automatically predict ideation quality and diversity scores, and provide AI explanations - Attribution, Contrastive Attribution, and Counterfactual Suggestions - for deeper feedback on why ideations were scored (low), and how to get higher scores. These explanations provide multi-faceted feedback as users iteratively improve their ideation. We conducted think aloud and controlled user studies to understand how various explanations are used, and evaluated whether explanations improve ideation diversity and quality. Users appreciated that explanation feedback helped focus their efforts and provided directions for improvement. This resulted in explanations improving diversity compared to no feedback or feedback with predictions only. Hence, our approach opens opportunities for explainable AI towards scalable and rich feedback for iterative crowd ideation.
• Abstract（参考訳）: フィードバックは、クラウドワーカーがアイデアを改善するのに役立つ。 しかし、現在のフィードバック手法はファシリテーターや仲間からの人間の評価を必要とする。 これは大観衆にはスケーラブルではない。 我々は、アイデアの質と多様性のスコアを自動的に予測するための解釈可能な方向性の多様性を提案し、なぜアイデアが得点されたのか(下)、より高いスコアを得る方法についてより深いフィードバックを得るために、AIの説明を提供する。 これらの説明は、ユーザがアイデアを反復的に改善するときに、多面的なフィードバックを提供する。 多様な説明がいかに使われているかを理解するために,思考学習と制御されたユーザスタディを行い,説明が思考の多様性と品質を改善するかを検討した。 ユーザーは説明フィードバックが努力に集中し、改善のための指示を与えるのに役立ったことを感謝した。 その結果、予測のみによるフィードバックやフィードバックよりも多様性が向上した。 したがって、私たちのアプローチは、反復的な群衆の考えに対するスケーラブルでリッチなフィードバックに向けて、説明可能なAIの機会を開放します。

関連論文リスト

• Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation [67.88747330066049]
  きめ細かいフィードバックは、画像の品質と迅速な調整におけるニュアンスドの区別を捉えます。 粗いフィードバックに対する優位性を示すことは、自動ではないことを示す。 きめ細かいフィードバックを抽出し活用する上で重要な課題を特定します。
  論文  参考訳（メタデータ） (2024-06-24T17:19:34Z)
• Aligning Large Language Models from Self-Reference AI Feedback with one General Principle [61.105703857868775]
  13B Llama2-Chatで高品質なフィードバックを提供できる自己参照型AIフィードバックフレームワークを提案する。 具体的には、まずAIがユーザーの指示に反応し、それに基づいて他の回答に対する批判を参照として生成する。 最後に、批判に応じて、どの回答が人間の好みに合うかを判断する。
  論文  参考訳（メタデータ） (2024-06-17T03:51:46Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Counterfactuals of Counterfactuals: a back-translation-inspired approach to analyse counterfactual editors [3.4253416336476246]
  我々は、反事実的、対照的な説明の分析に焦点をあてる。 本稿では,新しい逆翻訳に基づく評価手法を提案する。 本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-05-26T16:04:28Z)
• Continually Improving Extractive QA via Human Feedback [59.49549491725224]
  本研究では,人間のフィードバックによる抽出質問応答(QA)システムの改善を継続的に進める。 多様な設定の下で何千ものユーザインタラクションを含む実験を行い、時間とともにフィードバックからの学習の理解を広げます。
  論文  参考訳（メタデータ） (2023-05-21T14:35:32Z)
• Helpful, Misleading or Confusing: How Humans Perceive Fundamental Building Blocks of Artificial Intelligence Explanations [11.667611038005552]
  我々は、洗練された予測アルゴリズムから一歩引いて、単純な意思決定モデルの説明可能性について検討する。 我々は、人々がそれぞれの表現の理解性をどう感じているかを評価することを目的とする。 これにより、さまざまな利害関係者が、より精巧な人工知能の説明が構築される基本的な概念の無知性を判断することができる。
  論文  参考訳（メタデータ） (2023-03-02T03:15:35Z)
• Selective Explanations: Leveraging Human Input to Align Explainable AI [40.33998268146951]
  人間の入力を小さなサンプルに利用して選択的な説明を生成するための一般的なフレームワークを提案する。 事例として,意思決定支援タスクを用いて,意思決定者が決定タスクにどう関係するかに基づいて,選択的な説明を探索する。 我々の実験は、AIへの過度な依存を減らすための選択的な説明の可能性を実証している。
  論文  参考訳（メタデータ） (2023-01-23T19:00:02Z)
• Human Evaluation of Spoken vs. Visual Explanations for Open-Domain QA [22.76153284711981]
  本研究は,ODQAシステムの回答をいつ受理するか,拒否するかをユーザが正確に判断するのに役立つかを検討する。 その結果,得られたエビデンスパスから得られた説明は,モダリティ間で強いベースライン(校正信頼度)を上回る可能性が示唆された。 我々は,現在の説明に共通する障害事例を示し,説明のエンドツーエンド評価を強調し,デプロイと異なるプロキシモダリティで評価することを警告する。
  論文  参考訳（メタデータ） (2020-12-30T08:19:02Z)
• Evaluating Explanations: How much do explanations from the teacher aid students? [103.05037537415811]
  本研究では,説明が生徒の学習モデルを改善する程度を測る学生-教師パラダイムを用いて,説明の価値を定式化する。 説明を評価するための従来の提案とは異なり、我々のアプローチは容易にゲーム化できず、原則付き、スケーラブルで、属性の自動評価を可能にします。
  論文  参考訳（メタデータ） (2020-12-01T23:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。