論文の概要: FeedbackLogs: Recording and Incorporating Stakeholder Feedback into Machine Learning Pipelines

• arxiv url: http://arxiv.org/abs/2307.15475v1
• Date: Fri, 28 Jul 2023 11:00:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-31 12:53:51.947610
• Title: FeedbackLogs: Recording and Incorporating Stakeholder Feedback into Machine Learning Pipelines
• Title（参考訳）: feedbacklogs: ステークホルダのフィードバックをマシンラーニングパイプラインに記録および組み込む
• Authors: Matthew Barker, Emma Kallina, Dhananjay Ashok, Katherine M. Collins, Ashley Casovan, Adrian Weller, Ameet Talwalkar, Valerie Chen and Umang Bhatt
• Abstract要約: 我々は、複数の利害関係者の入力を追跡するために、FeedbackLogsを提案する。 各ログには、フィードバック収集プロセス、フィードバック自体、マシンラーニングパイプラインの更新にフィードバックがどのように使用されるか、といった重要な詳細が記録されている。
• 参考スコア（独自算出の注目度）: 35.18171954762188
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Even though machine learning (ML) pipelines affect an increasing array of stakeholders, there is little work on how input from stakeholders is recorded and incorporated. We propose FeedbackLogs, addenda to existing documentation of ML pipelines, to track the input of multiple stakeholders. Each log records important details about the feedback collection process, the feedback itself, and how the feedback is used to update the ML pipeline. In this paper, we introduce and formalise a process for collecting a FeedbackLog. We also provide concrete use cases where FeedbackLogs can be employed as evidence for algorithmic auditing and as a tool to record updates based on stakeholder feedback.
• Abstract（参考訳）: 機械学習(ML)パイプラインは利害関係者の増加に影響を及ぼすが、利害関係者からのインプットが記録され、組み込まれているかはほとんどわかっていない。 我々は、複数の利害関係者の入力を追跡するために、既存のMLパイプラインのドキュメントへの追加であるFeedbackLogsを提案する。 各ログには、フィードバック収集プロセス、フィードバックそのもの、mlパイプラインの更新にフィードバックがどのように使用されるかに関する重要な詳細が記録されている。 本稿では,フィードバックログを収集するプロセスを紹介し,形式化する。 また、フィードバックログをアルゴリズムによる監査の証拠として、またステークホルダーのフィードバックに基づいて更新を記録するツールとして使用できる具体的なユースケースも提供します。

関連論文リスト

• ChainBuddy: An AI Agent System for Generating LLM Pipelines [2.7624021966289605]
  ChainBuddyは、ChainForgeプラットフォームに組み込まれた評価パイプラインを生成するためのAIアシスタントである。 本稿では,ChainBuddyをベースラインインタフェースと比較した内的ユーザスタディを報告する。 AIアシスタントを使用する場合、参加者は要求の少ない作業負荷を報告した。
  論文  参考訳（メタデータ） (2024-09-20T15:42:33Z)
• Instrumentation and Analysis of Native ML Pipelines via Logical Query Plans [3.2362171533623054]
  私たちは、データサイエンティストが機械学習パイプラインを開発し、検証し、監視し、分析するのを支援するために、高度に自動化されたソフトウェアプラットフォームを構想しています。 一般的なライブラリに依存したMLパイプラインコードから"論理クエリプラン"を抽出する。 これらの計画に基づいて、パイプラインのセマンティクスとインスツルメンタを自動で推論し、MLパイプラインを書き換えて、データサイエンティストが手動でアノテートしたり、コードを書き換えたりすることなく、さまざまなユースケースを可能にします。
  論文  参考訳（メタデータ） (2024-07-10T11:35:02Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• Trusted Provenance of Automated, Collaborative and Adaptive Data Processing Pipelines [2.186901738997927]
  ソリューションアーキテクチャと、Provenance Holderと呼ばれるサービスのコンセプト実装の証明を提供しています。 Provenance Holderは、コラボレーティブで適応的なデータ処理パイプラインを信頼できる方法で実現可能にする。
  論文  参考訳（メタデータ） (2023-10-17T17:52:27Z)
• System-Level Natural Language Feedback [83.24259100437965]
  システムレベルの設計決定を人為的なループプロセスで形式化する上で,フィードバックの活用方法を示す。 検索クエリと対話応答生成を改善するために,本手法のケーススタディを2つ実施する。 システムレベルのフィードバックとインスタンスレベルのフィードバックの組み合わせは、さらなる利益をもたらします。
  論文  参考訳（メタデータ） (2023-06-23T16:21:40Z)
• Deep Pipeline Embeddings for AutoML [11.168121941015015]
  AutoMLは、最小限の人間の専門知識で機械学習システムを自動デプロイすることで、AIを民主化するための有望な方向である。 既存のパイプライン最適化テクニックでは、パイプラインステージ/コンポーネント間の深いインタラクションを探索できない。 本稿では,機械学習パイプラインのコンポーネント間のディープインタラクションをキャプチャするニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-05-23T12:40:38Z)
• Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking [56.80065604034095]
  我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。 異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
  論文  参考訳（メタデータ） (2022-10-19T16:19:37Z)
• Simulating Bandit Learning from User Feedback for Extractive Question Answering [51.97943858898579]
  教師付きデータを用いたフィードバックのシミュレーションにより,ユーザフィードバックからの学習を抽出的質問応答に適用する。 当初は少数の例でトレーニングしたシステムが,モデル予測された回答に対するユーザからのフィードバックを劇的に改善できることが示される。
  論文  参考訳（メタデータ） (2022-03-18T17:47:58Z)
• Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning [69.42679922160684]
  本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。 当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
  論文  参考訳（メタデータ） (2020-11-01T19:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。