論文の概要: What Makes An Expert? Reviewing How ML Researchers Define "Expert"

• arxiv url: http://arxiv.org/abs/2411.00179v1
• Date: Thu, 31 Oct 2024 19:51:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:50:48.591383
• Title: What Makes An Expert? Reviewing How ML Researchers Define "Expert"
• Title（参考訳）: 専門家になるものは何か? ML研究者が「専門家」をどう定義するかをレビュー
• Authors: Mark Díaz, Angela DR Smith,
• Abstract要約: 専門」と「専門」を明示的に参照する学術出版物112件をレビューする。 専門知識はしばしば未定義であり、正式な教育以外の知識の形式はめったに求められない。 我々は、専門家が機械学習開発に関わった方法、専門知識の社会的構築、そして責任あるAI開発への意味について論じる。
• 参考スコア（独自算出の注目度）: 4.6346970187885885
• License:
• Abstract: Human experts are often engaged in the development of machine learning systems to collect and validate data, consult on algorithm development, and evaluate system performance. At the same time, who counts as an 'expert' and what constitutes 'expertise' is not always explicitly defined. In this work, we review 112 academic publications that explicitly reference 'expert' and 'expertise' and that describe the development of machine learning (ML) systems to survey how expertise is characterized and the role experts play. We find that expertise is often undefined and forms of knowledge outside of formal education and professional certification are rarely sought, which has implications for the kinds of knowledge that are recognized and legitimized in ML development. Moreover, we find that expert knowledge tends to be utilized in ways focused on mining textbook knowledge, such as through data annotation. We discuss the ways experts are engaged in ML development in relation to deskilling, the social construction of expertise, and implications for responsible AI development. We point to a need for reflection and specificity in justifications of domain expert engagement, both as a matter of documentation and reproducibility, as well as a matter of broadening the range of recognized expertise.
• Abstract（参考訳）: 人間の専門家は、しばしばデータを収集し、検証し、アルゴリズム開発について相談し、システムパフォーマンスを評価する機械学習システムの開発に従事している。 同時に、誰が「専門家」であり、「専門家」を構成するかは必ずしも明確に定義されていない。 本研究では,「専門」と「専門」を明確に参照する学術出版物112件をレビューし,専門知識がどう評価され,専門家が果たす役割について調査する機械学習(ML)システムの開発について述べる。 専門知識は、しばしば未定義であり、形式的教育や専門認定以外の知識の形式はまれであり、ML開発において認識され、合法化される知識の種類に影響を及ぼす。 さらに、専門家の知識は、データアノテーションなど、教科書の知識のマイニングに焦点を絞った方法で利用されがちである。 我々は、専門家が機械学習開発に関わった方法、専門知識の社会的構築、そして責任あるAI開発への意味について論じる。 ドキュメントや再現性の問題だけでなく、認定された専門知識の範囲を広げる問題として、ドメイン専門家の関与を正当化する上で、リフレクションと特異性の必要性を指摘する。

関連論文リスト

• The FIX Benchmark: Extracting Features Interpretable to eXperts [9.688218822056823]
  FIX(Features Interpretable to eXperts)は、機能の集合が専門家の知識とどの程度うまく一致しているかを測定するベンチマークである。 FIXScoreは、宇宙論、心理学、医学領域にまたがる多様な現実世界の設定に適用可能な、統一された専門家アライメント尺度である。
  論文  参考訳（メタデータ） (2024-09-20T17:53:03Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• Expert-sourcing Domain-specific Knowledge: The Case of Synonym Validation [14.51095331294056]
  私たちは、専門家からドメイン固有の知識をソースとして採用し、拡張したツールサポートを説明します。 我々は、専門家にラベル付けタスクの実行に時間を割くよう動機付けることを目的とした、設計上の決定に関する洞察を提供する。 我々は、エキスパートソーシングのアプローチが、ソフトウェア工学におけるあらゆるデータラベリングタスクに適用可能であることを予測している。
  論文  参考訳（メタデータ） (2023-09-28T19:02:33Z)
• Causal Discovery with Language Models as Imperfect Experts [119.22928856942292]
  専門知識を用いて因果グラフの同定を改善する方法について検討する。 整合性に基づく専門家の知識を改良するための戦略を提案する。 本稿では,不完全な専門家として大規模言語モデルを用いる実データを用いたケーススタディについて報告する。
  論文  参考訳（メタデータ） (2023-07-05T16:01:38Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• (Re)Defining Expertise in Machine Learning Development [3.096615629099617]
  我々は,1)専門知識が定義され,認識される基盤,2)専門家がML開発で果たす役割を理解するために,機械学習研究の体系的な文献レビューを行う。 私たちのゴールは、専門家の識別とML研究への関与の限界と機会を強調するために、高いレベルの分類を作ることです。
  論文  参考訳（メタデータ） (2023-02-08T21:10:20Z)
• The Expertise Problem: Learning from Specialized Feedback [7.858296711223292]
  ヒューマンフィードバックからの強化学習(RLHF)は、エージェントが困難なタスクを実行するための強力な技術である。 専門知識のレベルは教師によって異なり、与えられた教師はタスクの異なるコンポーネントに関する専門知識のレベルが異なるかもしれない。 既存のRLHFアルゴリズムは、全ての評価が同じ分布から来ていると仮定し、人間間と人間の分散を隠蔽する。
  論文  参考訳（メタデータ） (2022-11-12T00:07:35Z)
• The Expertise Level [0.0]
  本稿では,専門知識の性質を考察し,専門知識の抽象的知識レベルと技能レベルを解説する。 エキスパートレベル(Expertise Level)と呼ばれる知識レベルの上に、専門家のスキルを記述するために、必要な知識の詳細を気にすることなく、新たなレベルが導入される。 モデル・オブ・エキスパートズ(Model of Expertise)は、知識レベルと専門レベルの説明を組み合わせて導入された。
  論文  参考訳（メタデータ） (2022-11-11T20:55:11Z)
• Towards Human Cognition Level-based Experiment Design for Counterfactual Explanations (XAI) [68.8204255655161]
  XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。 認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。 本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T19:20:22Z)
• Decision Rule Elicitation for Domain Adaptation [93.02675868486932]
  ヒトインザループ機械学習は、専門家からラベルを引き出すために人工知能(AI)で広く使用されています。 この作業では、専門家が意思決定を説明する決定ルールを作成できるようにします。 決定規則の適用はアルゴリズムのドメイン適応を改善し、専門家の知識をAIモデルに広めるのに役立つことを示す。
  論文  参考訳（メタデータ） (2021-02-23T08:07:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。