論文の概要: iLab at SemEval-2023 Task 11 Le-Wi-Di: Modelling Disagreement or Modelling Perspectives?

• arxiv url: http://arxiv.org/abs/2305.06074v1
• Date: Wed, 10 May 2023 11:55:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-11 13:31:59.769435
• Title: iLab at SemEval-2023 Task 11 Le-Wi-Di: Modelling Disagreement or Modelling Perspectives?
• Title（参考訳）: iLab at SemEval-2023 Task 11 Le-Wi-Di: Modelling Disagreement or Modelling Perspectives?
• Authors: Nikolas Vitsakis, Amit Parekh, Tanvi Dinkar, Gavin Abercrombie, Ioannis Konstas, Verena Rieser
• Abstract要約: 我々は、SEMEVAL Task 11上での性能を評価するためにマルチタスクアーキテクチャを適用した。 その結果、異なるアノテータの意見を含むデータセットではマルチタスクのアプローチが不十分であることが判明した。 偏見主義的アプローチが望ましいのは、意思決定者が少数派の見解を増幅できるからだ、と我々は主張する。
• 参考スコア（独自算出の注目度）: 17.310208612897814
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There are two competing approaches for modelling annotator disagreement: distributional soft-labelling approaches (which aim to capture the level of disagreement) or modelling perspectives of individual annotators or groups thereof. We adapt a multi-task architecture -- which has previously shown success in modelling perspectives -- to evaluate its performance on the SEMEVAL Task 11. We do so by combining both approaches, i.e. predicting individual annotator perspectives as an interim step towards predicting annotator disagreement. Despite its previous success, we found that a multi-task approach performed poorly on datasets which contained distinct annotator opinions, suggesting that this approach may not always be suitable when modelling perspectives. Furthermore, our results explain that while strongly perspectivist approaches might not achieve state-of-the-art performance according to evaluation metrics used by distributional approaches, our approach allows for a more nuanced understanding of individual perspectives present in the data. We argue that perspectivist approaches are preferable because they enable decision makers to amplify minority views, and that it is important to re-evaluate metrics to reflect this goal.
• Abstract（参考訳）: 分散的ソフトラベルアプローチ(このアプローチは、不一致のレベルを捉えることを目的としている)や、個々の注釈家やそのグループのモデリング視点である。 我々は、SEMEVAL Task 11の性能を評価するために、以前モデリングの観点から成功したマルチタスクアーキテクチャを適用します。 両者のアプローチ、すなわち個々の注釈者視点の予測を、注釈者不一致の予測のための暫定的なステップとして組み合わせて行う。 前回の成功にもかかわらず、マルチタスクアプローチは、異なる注釈の意見を含むデータセット上ではうまく動作せず、このアプローチが必ずしもモデリングの観点に適合するとは限らないことを示唆した。 さらに, 分散手法の評価指標では, 強いパースペクティビスト的アプローチは最先端のパフォーマンスを達成できないが, 本手法はデータの個々の視点をより微妙な理解を可能にする。 偏見主義的アプローチが望ましいのは、意思決定者が少数派の見解を増幅できるためであり、この目標を反映するためにメトリクスを再評価することが重要であるからである。

関連論文リスト

• Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
  そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
  論文  参考訳（メタデータ） (2024-08-24T18:28:19Z)
• Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
  一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。 以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
  論文  参考訳（メタデータ） (2024-04-02T22:27:24Z)
• Robust Training of Federated Models with Extremely Label Deficiency [84.00832527512148]
  フェデレーション半教師付き学習(FSSL)は、ラベル不足を伴う分散データを用いて機械学習モデルを協調訓練するための強力なパラダイムとして登場した。 我々は,ラベル付きおよびラベルなしデータの異なる視点から洞察を提供することにより相互指導を強化するために,ツインサイトと呼ばれる新しいツインモデルパラダイムを提案する。 4つのベンチマークデータセットに関する包括的な実験は、Twin-sightが様々な実験環境において最先端の手法を著しく上回っていることを示す重要な証拠となる。
  論文  参考訳（メタデータ） (2024-02-22T10:19:34Z)
• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• An Operational Perspective to Fairness Interventions: Where and How to Intervene [9.833760837977222]
  フェアネス介入の評価と文脈化のための包括的枠組みを提案する。 予測パリティに関するケーススタディで、我々のフレームワークを実証する。 グループデータを使わずに予測パリティを実現することは困難である。
  論文  参考訳（メタデータ） (2023-02-03T07:04:33Z)
• Improving Narrative Relationship Embeddings by Training with Additional Inverse-Relationship Constraints [0.0]
  本稿では,物語の意味空間の縮小から,人物関係を埋め込むという課題について考察する。 この仮定を解析し,人為的なラベルを用いた下流クラスタリングタスクの有効性をシミュレートするユニークな評価法を用いて,ベースライン・オブ・ザ・アートモデルに対するアプローチを比較する。
  論文  参考訳（メタデータ） (2022-12-21T17:59:11Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• Parameter Decoupling Strategy for Semi-supervised 3D Left Atrium Segmentation [0.0]
  本稿では,パラメータ分離戦略に基づく半教師付きセグメンテーションモデルを提案する。 提案手法は,Atrial Challengeデータセット上での最先端の半教師付き手法と競合する結果を得た。
  論文  参考訳（メタデータ） (2021-09-20T14:51:42Z)
• Attentional Prototype Inference for Few-Shot Segmentation [128.45753577331422]
  数発のセグメンテーションのための確率的潜在変数フレームワークである注意型プロトタイプ推論(API)を提案する。 我々は各オブジェクトカテゴリのプロトタイプを表現するためにグローバル潜在変数を定義し、確率分布としてモデル化する。 我々は4つのベンチマークで広範な実験を行い、提案手法は最先端のプロトタイプベースの手法よりも、少なくとも競争力があり、しばしば優れた性能が得られる。
  論文  参考訳（メタデータ） (2021-05-14T06:58:44Z)
• A Brief Introduction to Generative Models [8.031257560764336]
  我々は、機械学習の中心課題として生成モデリングを導入し、動機づける。 KL-発散の最小化としてどのように解釈できるかを概説する。 本稿では,推定分布と実データ分布の差異を考察する代替逆アプローチを検討する。
  論文  参考訳（メタデータ） (2021-02-27T16:49:41Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。