論文の概要: Toward a Perspectivist Turn in Ground Truthing for Predictive Computing
- arxiv url: http://arxiv.org/abs/2109.04270v1
- Date: Thu, 9 Sep 2021 13:42:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-10 21:53:13.819387
- Title: Toward a Perspectivist Turn in Ground Truthing for Predictive Computing
- Title(参考訳): 予測計算のための地盤真理のパースペクティビスト的転換に向けて
- Authors: Valerio Basile, Federico Cabitza, Andrea Campagner, Michael Fell
- Abstract要約: 我々は、従来の金の標準データセットから離れて、機械学習プロセスの知識表現ステップに関わる人的対象の意見と視点を統合する手法を採用するよう、データパースペクティビズム(Data perspectivism)と呼ぶ。
本稿では,MLにおけるパースペクティビズム的スタンスを採用することの主な利点と,そのデメリットと,そのようなスタンスを実際に実施できる様々な方法を提案する。
- 参考スコア(独自算出の注目度): 2.2036191027307517
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most Artificial Intelligence applications are based on supervised machine
learning (ML), which ultimately grounds on manually annotated data. The
annotation process is often performed in terms of a majority vote and this has
been proved to be often problematic, as highlighted by recent studies on the
evaluation of ML models. In this article we describe and advocate for a
different paradigm, which we call data perspectivism, which moves away from
traditional gold standard datasets, towards the adoption of methods that
integrate the opinions and perspectives of the human subjects involved in the
knowledge representation step of ML processes. Drawing on previous works which
inspired our proposal we describe the potential of our proposal for not only
the more subjective tasks (e.g. those related to human language) but also to
tasks commonly understood as objective (e.g. medical decision making), and
present the main advantages of adopting a perspectivist stance in ML, as well
as possible disadvantages, and various ways in which such a stance can be
implemented in practice. Finally, we share a set of recommendations and outline
a research agenda to advance the perspectivist stance in ML.
- Abstract(参考訳): ほとんどの人工知能アプリケーションは教師付き機械学習(ML)に基づいており、最終的には手動で注釈付けされたデータに基づいている。
アノテーションのプロセスは多数決で行われ、MLモデルの評価に関する最近の研究で強調されているように、しばしば問題となることが証明されている。
本稿では,MLプロセスの知識表現ステップに関わる人的対象の意見と視点を統合する手法の採用に向けて,従来の金標準データセットから遠ざかるデータパースペクティビズム(Data perspectivism)と呼ばれる,異なるパラダイムを記述し,提唱する。
提案にインスピレーションを与えた過去の著作を引用し、より主観的なタスク(例えば、)だけでなく、提案の可能性について述べる。
人間の言語に関連するもの)だけでなく、目的(例えば、)として一般的に理解されるタスクにも関係している。
医学的な意思決定)、そして、MLにおけるパースペクティビズム的スタンスを採用する主な利点と、可能なデメリット、そしてそのようなスタンスを実際に実施できる様々な方法を示す。
最後に、一連の勧告を共有し、MLにおけるパースペクティビズムのスタンスを進めるための研究課題を概説する。
関連論文リスト
- From Understanding to Utilization: A Survey on Explainability for Large
Language Models [27.295767173801426]
この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。
主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。
説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
論文 参考訳(メタデータ) (2024-01-23T16:09:53Z) - LALM: Long-Term Action Anticipation with Language Models [74.10147822693791]
言語モデル(LALM)を用いた長期的行動予測のための新しいアプローチを提案する。
本手法は,従来の行動系列を追跡する行動認識モデルと,関連する環境の詳細を記述するための視覚言語モデルを含む。
実験の結果、LALMは長期的な行動予測のタスクにおいて最先端の手法を超越していることが示された。
論文 参考訳(メタデータ) (2023-11-29T02:17:27Z) - InfiMM-Eval: Complex Open-Ended Reasoning Evaluation For Multi-Modal
Large Language Models [50.03163753638256]
MLLM(Multi-modal Large Language Models)は人工知能の分野で注目されている。
本ベンチマークは, 帰納的, 帰納的, 類推的推論の3つの主要な推論カテゴリから構成される。
我々は,この厳密に開発されたオープンエンド多段階精巧な推論ベンチマークを用いて,代表MLLMの選択を評価する。
論文 参考訳(メタデータ) (2023-11-20T07:06:31Z) - On the steerability of large language models toward data-driven personas [103.17413190093366]
協調フィルタリングに基づくデータ駆動型ペルソナ定義手法を提案する。
ユーザの連続表現を仮想トークンのシーケンスにマッピングするために,ソフトプロンプトモデルを学ぶ。
以上の結果から,本アルゴリズムはベースラインの収集よりも性能が優れていることがわかった。
論文 参考訳(メタデータ) (2023-11-08T19:01:13Z) - Toward Operationalizing Pipeline-aware ML Fairness: A Research Agenda
for Developing Practical Guidelines and Tools [18.513353100744823]
最近の研究はMLコミュニティに対して、公平な問題に取り組むためにより包括的なアプローチを取るように呼びかけている。
まず、明確なガイドラインやツールキットがなければ、特殊なML知識を持つ個人でさえ、さまざまな設計選択がモデル行動にどのように影響するかを仮説化することは困難である。
次に、パイプライン対応アプローチの運用に向けた現在の進捗を理解するために、フェアMLの文献を参考にします。
論文 参考訳(メタデータ) (2023-09-29T15:48:26Z) - Bias and Fairness in Large Language Models: A Survey [76.65471160523444]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - Towards Fair and Explainable AI using a Human-Centered AI Approach [5.888646114353372]
分類システムと単語埋め込みにおける説明可能性と公平性の向上を目的とした5つの研究プロジェクトについて述べる。
最初のプロジェクトは、ローカルモデル説明を機械教師のインタフェースとして導入するユーティリティ/ダウンサイドについて検討する。
第二のプロジェクトは、因果性に基づくヒューマン・イン・ザ・ループ視覚ツールであるD-BIASを紹介し、データセットの社会的バイアスを特定し緩和する。
第3のプロジェクトは、グループに対するバイアスに対するトレーニング済みの静的単語埋め込みの監査を支援する、ビジュアルインタラクティブツールであるWordBiasを提示する。
4番目のプロジェクトは、ソーシャルを識別するビジュアル分析ツールDramatVis Personae
論文 参考訳(メタデータ) (2023-06-12T21:08:55Z) - Perspectives on Large Language Models for Relevance Judgment [56.935731584323996]
大型言語モデル(LLM)は、関連判断を支援することができると主張している。
自動判定が検索システムの評価に確実に利用できるかどうかは不明である。
論文 参考訳(メタデータ) (2023-04-13T13:08:38Z) - Towards Reasoning in Large Language Models: A Survey [11.35055307348939]
大規模な言語モデル(LLM)がどの程度推論できるのかは、まだ明らかになっていない。
本稿では,LLMにおける推論に関する知識の現状を概観する。
論文 参考訳(メタデータ) (2022-12-20T16:29:03Z) - Forecast Evaluation for Data Scientists: Common Pitfalls and Best
Practices [4.2951168699706646]
本稿では,全体予測プロセスにおける最も重要なステップの1つ,すなわち評価について,チュートリアルライクにまとめる。
非正規性や非定常性といった時系列の異なる問題特性について詳述する。
予測評価のベストプラクティスは、データのパーティショニング、エラー計算、統計的テストなど、さまざまなステップについて概説されている。
論文 参考訳(メタデータ) (2022-03-21T03:24:46Z) - The Benchmark Lottery [114.43978017484893]
ベンチマーク宝くじ」は、機械学習ベンチマークプロセスの全体的な脆弱さを記述している。
アルゴリズムの相対的性能は、異なるベンチマークタスクを選択するだけで大幅に変化する可能性がある。
論文 参考訳(メタデータ) (2021-07-14T21:08:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。