論文の概要: Perspectives on Incorporating Expert Feedback into Model Updates

• arxiv url: http://arxiv.org/abs/2205.06905v1
• Date: Fri, 13 May 2022 21:46:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-19 08:47:00.017037
• Title: Perspectives on Incorporating Expert Feedback into Model Updates
• Title（参考訳）: モデル更新におけるエキスパートフィードバック導入の展望
• Authors: Valerie Chen, Umang Bhatt, Hoda Heidari, Adrian Weller, Ameet Talwalkar
• Abstract要約: 専門家のフィードバックタイプと実践者の更新とを一致させる分類法を考案する。 実践者は、観察レベルまたはドメインレベルの専門家からフィードバックを受けることができる。 我々は、このフィードバック更新分類について、MLと人間とコンピュータの相互作用による既存の研究を概観する。
• 参考スコア（独自算出の注目度）: 46.99664744930785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning (ML) practitioners are increasingly tasked with developing models that are aligned with non-technical experts' values and goals. However, there has been insufficient consideration on how practitioners should translate domain expertise into ML updates. In this paper, we consider how to capture interactions between practitioners and experts systematically. We devise a taxonomy to match expert feedback types with practitioner updates. A practitioner may receive feedback from an expert at the observation- or domain-level, and convert this feedback into updates to the dataset, loss function, or parameter space. We review existing work from ML and human-computer interaction to describe this feedback-update taxonomy, and highlight the insufficient consideration given to incorporating feedback from non-technical experts. We end with a set of open questions that naturally arise from our proposed taxonomy and subsequent survey.
• Abstract（参考訳）: 機械学習(ML)実践者は、非技術専門家の価値観と目標に沿ったモデルの開発にますます取り組まれている。 しかし、実践者がドメインの専門知識をML更新に変換する方法については、十分に考慮されていない。 本稿では,実践者と専門家のインタラクションを体系的に捉える方法について考察する。 専門家のフィードバックタイプと実践者の更新を一致させる分類法を考案する。 実践者は、観察レベルまたはドメインレベルの専門家からフィードバックを受け取り、このフィードバックをデータセット、損失関数、パラメータ空間のアップデートに変換することができる。 我々は、このフィードバック更新分類を説明するため、MLおよび人間とコンピュータの相互作用による既存の研究をレビューし、非技術専門家からのフィードバックを取り入れるための不十分な考慮点を強調した。 提案された分類学とその後の調査から自然に生じる一連のオープンな質問に終わる。

関連論文リスト

• The Future of Open Human Feedback [65.2188596695235]
  私たちは学際的な専門家を集めて、AIのための人間のフィードバックのオープンなエコシステムを実現するための機会と課題を評価します。 私たちはまず、ピアプロダクション、オープンソース、市民科学コミュニティで成功したプラクティスを探します。 最終的には、持続可能なオープンな人間のフィードバックエコシステムを支えるために必要なコンポーネントを想定します。
  論文  参考訳（メタデータ） (2024-08-15T17:59:14Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• Multi-Level Feedback Generation with Large Language Models for Empowering Novice Peer Counselors [43.42054421125617]
  フィードバックを提供する既存のメカニズムは、主に人間の監督に依存している。 我々の研究は、大規模言語モデルを活用し、コンテキスト化されたマルチレベルフィードバックを提供し、ピアカウンセラーに力を与えることを目的としている。
  論文  参考訳（メタデータ） (2024-03-21T04:23:56Z)
• Eliciting Model Steering Interactions from Users via Data and Visual Design Probes [8.45602005745865]
  ドメインの専門家は、機械学習(ML)モデルを作業に組み込むために、自動化データサイエンスツールをますます活用しています。 これらの専門家にとって、セマンティックなインタラクションは、技術的な詳細を掘り下げることなく、MLモデルをガイドし、洗練するためのアクセス可能な道を提供することができる。 本研究では,MLの専門知識を持つ専門家が意味的相互作用を用いて,単純な分類モデルを更新する方法について検討する。
  論文  参考訳（メタデータ） (2023-10-12T20:34:02Z)
• Continually Improving Extractive QA via Human Feedback [59.49549491725224]
  本研究では,人間のフィードバックによる抽出質問応答(QA)システムの改善を継続的に進める。 多様な設定の下で何千ものユーザインタラクションを含む実験を行い、時間とともにフィードバックからの学習の理解を広げます。
  論文  参考訳（メタデータ） (2023-05-21T14:35:32Z)
• Interpretability, Then What? Editing Machine Learning Models to Reflect Human Knowledge and Values [27.333641578187887]
  データサイエンティストとドメインエキスパートがGAM(Generalized Additive Models)を編集するのを支援する最初の対話型システムであるGAM Changerを開発した。 新たなインタラクション技術により,我々のツールは,ユーザに対して,モデル行動と知識と価値を分析,検証,整合させるためのアクションに解釈可能性を持たせる。
  論文  参考訳（メタデータ） (2022-06-30T17:57:12Z)
• An Exploratory Analysis of Feedback Types Used in Online Coding Exercises [0.0]
  本研究の目的は,CodingBat,Scratch,Blocklyが適用したフィードバックタイプを特定することである。 この研究は、フィードバックタイプ間の明確な境界を特定することの難しさを明らかにした。
  論文  参考訳（メタデータ） (2022-06-07T07:52:17Z)
• Are Metrics Enough? Guidelines for Communicating and Visualizing Predictive Models to Subject Matter Experts [7.768301998812552]
  本稿では,コミュニケーションのギャップを理解するために,課題の専門家とデータ科学者の双方による反復的研究について述べる。 モデルの強みと弱みを伝達するための共通媒体として可視化を利用する一連のコミュニケーションガイドラインを導出する。
  論文  参考訳（メタデータ） (2022-05-11T19:40:24Z)
• The Need for Interpretable Features: Motivation and Taxonomy [69.07189753428553]
  我々は、「解釈可能な特徴」という用語は、機械学習の説明の有用性に影響を与える機能の全範囲を捉えるのに十分な具体的あるいは詳細ではないと主張している。 本稿では,(1)解釈可能な機能空間と呼ぶもの,あるいはドメインの専門家が現実の行動を取る上で有用な機能の現状に,より注意を払わなければならない,という3つの重要な教訓を論じる。
  論文  参考訳（メタデータ） (2022-02-23T19:19:14Z)
• Expertise Style Transfer: A New Task Towards Better Communication between Experts and Laymen [88.30492014778943]
  そこで我々は,手動で注釈付きデータセットを手動で提供し,専門的なスタイルの転送を行う新しいタスクを提案する。 このタスクの解決は、プロの言語を単純化するだけでなく、レイメンの記述の正確さと専門性の向上にも寄与する。 スタイル転送とテキスト単純化のための5つの最先端モデルのベンチマーク性能を確立する。
  論文  参考訳（メタデータ） (2020-05-02T04:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。