論文の概要: Toward a Perspectivist Turn in Ground Truthing for Predictive Computing

• arxiv url: http://arxiv.org/abs/2109.04270v1
• Date: Thu, 9 Sep 2021 13:42:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-10 21:53:13.819387
• Title: Toward a Perspectivist Turn in Ground Truthing for Predictive Computing
• Title（参考訳）: 予測計算のための地盤真理のパースペクティビスト的転換に向けて
• Authors: Valerio Basile, Federico Cabitza, Andrea Campagner, Michael Fell
• Abstract要約: 我々は、従来の金の標準データセットから離れて、機械学習プロセスの知識表現ステップに関わる人的対象の意見と視点を統合する手法を採用するよう、データパースペクティビズム(Data perspectivism)と呼ぶ。 本稿では,MLにおけるパースペクティビズム的スタンスを採用することの主な利点と,そのデメリットと,そのようなスタンスを実際に実施できる様々な方法を提案する。
• 参考スコア（独自算出の注目度）: 2.2036191027307517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most Artificial Intelligence applications are based on supervised machine learning (ML), which ultimately grounds on manually annotated data. The annotation process is often performed in terms of a majority vote and this has been proved to be often problematic, as highlighted by recent studies on the evaluation of ML models. In this article we describe and advocate for a different paradigm, which we call data perspectivism, which moves away from traditional gold standard datasets, towards the adoption of methods that integrate the opinions and perspectives of the human subjects involved in the knowledge representation step of ML processes. Drawing on previous works which inspired our proposal we describe the potential of our proposal for not only the more subjective tasks (e.g. those related to human language) but also to tasks commonly understood as objective (e.g. medical decision making), and present the main advantages of adopting a perspectivist stance in ML, as well as possible disadvantages, and various ways in which such a stance can be implemented in practice. Finally, we share a set of recommendations and outline a research agenda to advance the perspectivist stance in ML.
• Abstract（参考訳）: ほとんどの人工知能アプリケーションは教師付き機械学習(ML)に基づいており、最終的には手動で注釈付けされたデータに基づいている。 アノテーションのプロセスは多数決で行われ、MLモデルの評価に関する最近の研究で強調されているように、しばしば問題となることが証明されている。 本稿では,MLプロセスの知識表現ステップに関わる人的対象の意見と視点を統合する手法の採用に向けて,従来の金標準データセットから遠ざかるデータパースペクティビズム(Data perspectivism)と呼ばれる,異なるパラダイムを記述し,提唱する。 提案にインスピレーションを与えた過去の著作を引用し、より主観的なタスク(例えば、)だけでなく、提案の可能性について述べる。 人間の言語に関連するもの)だけでなく、目的(例えば、)として一般的に理解されるタスクにも関係している。 医学的な意思決定)、そして、MLにおけるパースペクティビズム的スタンスを採用する主な利点と、可能なデメリット、そしてそのようなスタンスを実際に実施できる様々な方法を示す。 最後に、一連の勧告を共有し、MLにおけるパースペクティビズムのスタンスを進めるための研究課題を概説する。

関連論文リスト

• MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
  MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。 開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。 この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
  論文  参考訳（メタデータ） (2024-11-22T18:59:54Z)
• Prompt and Prejudice [29.35618753825668]
  本稿では,Large Language Models (LLMs) とVision Language Models (VLMs) におけるファーストネームの使用が与える影響について検討する。 本稿では、倫理的に注釈付けされたテキストシナリオにファーストネームを付加して、モデル出力における人口統計バイアスを明らかにするアプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-07T14:11:33Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• A Survey on Human Preference Learning for Large Language Models [81.41868485811625]
  近年の多目的大言語モデル(LLM)の急激な増加は、より有能な基礎モデルと人間の意図を優先学習によって整合させることに大きく依存している。 本調査では、選好フィードバックのソースとフォーマット、選好信号のモデリングと使用、および、整列 LLM の評価について述べる。
  論文  参考訳（メタデータ） (2024-06-17T03:52:51Z)
• Look Before You Decide: Prompting Active Deduction of MLLMs for Assumptive Reasoning [68.83624133567213]
  そこで本研究では,MLLMの最も普及している手法が,その問題に先入観を導入することで,容易に騙せることを示す。 また, モデルに対して, 合成推論を積極的に行うための, 単純かつ効果的な手法であるアクティブ推論(AD)を提案する。
  論文  参考訳（メタデータ） (2024-04-19T15:53:27Z)
• From Understanding to Utilization: A Survey on Explainability for Large Language Models [27.295767173801426]
  この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。 主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。 説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
  論文  参考訳（メタデータ） (2024-01-23T16:09:53Z)
• InfiMM-Eval: Complex Open-Ended Reasoning Evaluation For Multi-Modal Large Language Models [50.03163753638256]
  MLLM(Multi-modal Large Language Models)は人工知能の分野で注目されている。 本ベンチマークは, 帰納的, 帰納的, 類推的推論の3つの主要な推論カテゴリから構成される。 我々は,この厳密に開発されたオープンエンド多段階精巧な推論ベンチマークを用いて,代表MLLMの選択を評価する。
  論文  参考訳（メタデータ） (2023-11-20T07:06:31Z)
• Toward Operationalizing Pipeline-aware ML Fairness: A Research Agenda for Developing Practical Guidelines and Tools [18.513353100744823]
  最近の研究はMLコミュニティに対して、公平な問題に取り組むためにより包括的なアプローチを取るように呼びかけている。 まず、明確なガイドラインやツールキットがなければ、特殊なML知識を持つ個人でさえ、さまざまな設計選択がモデル行動にどのように影響するかを仮説化することは困難である。 次に、パイプライン対応アプローチの運用に向けた現在の進捗を理解するために、フェアMLの文献を参考にします。
  論文  参考訳（メタデータ） (2023-09-29T15:48:26Z)
• Towards Fair and Explainable AI using a Human-Centered AI Approach [5.888646114353372]
  分類システムと単語埋め込みにおける説明可能性と公平性の向上を目的とした5つの研究プロジェクトについて述べる。 最初のプロジェクトは、ローカルモデル説明を機械教師のインタフェースとして導入するユーティリティ/ダウンサイドについて検討する。 第二のプロジェクトは、因果性に基づくヒューマン・イン・ザ・ループ視覚ツールであるD-BIASを紹介し、データセットの社会的バイアスを特定し緩和する。 第3のプロジェクトは、グループに対するバイアスに対するトレーニング済みの静的単語埋め込みの監査を支援する、ビジュアルインタラクティブツールであるWordBiasを提示する。 4番目のプロジェクトは、ソーシャルを識別するビジュアル分析ツールDramatVis Personae
  論文  参考訳（メタデータ） (2023-06-12T21:08:55Z)
• Forecast Evaluation for Data Scientists: Common Pitfalls and Best Practices [4.2951168699706646]
  本稿では,全体予測プロセスにおける最も重要なステップの1つ,すなわち評価について,チュートリアルライクにまとめる。 非正規性や非定常性といった時系列の異なる問題特性について詳述する。 予測評価のベストプラクティスは、データのパーティショニング、エラー計算、統計的テストなど、さまざまなステップについて概説されている。
  論文  参考訳（メタデータ） (2022-03-21T03:24:46Z)
• The Benchmark Lottery [114.43978017484893]
  ベンチマーク宝くじ」は、機械学習ベンチマークプロセスの全体的な脆弱さを記述している。 アルゴリズムの相対的性能は、異なるベンチマークタスクを選択するだけで大幅に変化する可能性がある。
  論文  参考訳（メタデータ） (2021-07-14T21:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。