論文の概要: Designing NLP Systems That Adapt to Diverse Worldviews

• arxiv url: http://arxiv.org/abs/2405.11197v1
• Date: Sat, 18 May 2024 06:48:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 18:57:45.870230
• Title: Designing NLP Systems That Adapt to Diverse Worldviews
• Title（参考訳）: 異種世界観に適応したNLPシステムの設計
• Authors: Claudiu Creanga, Liviu P. Dinu,
• Abstract要約: 既存のNLPデータセットは、ラベルを集約したり、不一致をフィルタリングすることで、これを曖昧にすることが多い、と私たちは主張する。 我々は、アノテータの人口統計、値、ラベルの正当化をキャプチャするデータセットを構築するという、パースペクティブなアプローチを提案する。
• 参考スコア（独自算出の注目度）: 4.915541242112533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural Language Inference (NLI) is foundational for evaluating language understanding in AI. However, progress has plateaued, with models failing on ambiguous examples and exhibiting poor generalization. We argue that this stems from disregarding the subjective nature of meaning, which is intrinsically tied to an individual's \textit{weltanschauung} (which roughly translates to worldview). Existing NLP datasets often obscure this by aggregating labels or filtering out disagreement. We propose a perspectivist approach: building datasets that capture annotator demographics, values, and justifications for their labels. Such datasets would explicitly model diverse worldviews. Our initial experiments with a subset of the SBIC dataset demonstrate that even limited annotator metadata can improve model performance.
• Abstract（参考訳）: 自然言語推論(英: Natural Language Inference, NLI)は、AIにおける言語理解を評価する基盤である。 しかしながら、モデルがあいまいな例で失敗し、一般化が不十分なことから、進歩は停滞している。 これは、本質的に個人の「textit{weltanschauung"」(大まかに世界観に翻訳される)と結びついている意味の主観的性質を無視することに由来すると我々は主張する。 既存のNLPデータセットは、ラベルを集約したり、不一致をフィルタリングすることで、これを曖昧にすることが多い。 我々は、アノテータの人口統計、値、ラベルの正当化をキャプチャするデータセットを構築するという、パースペクティブなアプローチを提案する。 このようなデータセットは、多種多様な世界観を明示的にモデル化する。 SBICデータセットのサブセットを用いた最初の実験では、制限されたアノテータメタデータでさえモデル性能を向上させることができることを示した。

関連論文リスト

• Mitigating Biases to Embrace Diversity: A Comprehensive Annotation Benchmark for Toxic Language [0.0]
  本研究では、人文科学研究に基礎を置く規範的ベンチマークを導入し、攻撃的言語の一貫性のないラベル付けを確実にする。 我々は、人間と言語モデル(LLM)アノテーションのアノテーション間のより高いアノテータ合意を達成するために、2つの新しいアノテートデータセットをコントリビュートする。
  論文  参考訳（メタデータ） (2024-10-17T08:10:24Z)
• Visualizing Linguistic Diversity of Text Datasets Synthesized by Large Language Models [9.808214545408541]
  LinguisticLensは,データセットの構文的多様性を理解し解析するための,新たなインタラクティブな可視化ツールである。 テキストデータセットの階層的な可視化をサポートしており、ユーザーは概要を素早くスキャンし、個々の例を検査することができる。
  論文  参考訳（メタデータ） (2023-05-19T00:53:45Z)
• Multi-resolution Interpretation and Diagnostics Tool for Natural Language Classifiers [0.0]
  本稿では,意味論的に相互に関連のある単語のセグメントやクラスタによって,よりフレキシブルなモデル説明可能性要約を作成することを目的とする。 さらに,NLPモデルの根本原因分析手法を提案し,各セグメントのFalse PositiveとFalse Negativeを解析した。
  論文  参考訳（メタデータ） (2023-03-06T22:59:02Z)
• Neural Label Search for Zero-Shot Multi-Lingual Extractive Summarization [80.94424037751243]
  ゼロショット多言語抽出テキスト要約では、通常、モデルは英語のデータセットに基づいて訓練され、他の言語の要約データセットに適用される。 本研究では,NLS(Neural Label Search for Summarization)を提案する。 我々はMLSUMとWikiLinguaのデータセット上で多言語ゼロショット要約実験を行い、人間と自動両方の評価を用いて最先端の結果を得る。
  論文  参考訳（メタデータ） (2022-04-28T14:02:16Z)
• Automatically Identifying Semantic Bias in Crowdsourced Natural Language Inference Datasets [78.6856732729301]
  NLIデータセットに仮説を組み込んだ学習空間に"バイアスクラスタ"を見つけるために,モデル駆動で教師なしの手法を導入する。 データセットの仮説分布のセマンティックバイアスを改善するために、介入と追加のラベリングを行うことができる。
  論文  参考訳（メタデータ） (2021-12-16T22:49:01Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Learning to Model and Ignore Dataset Bias with Mixed Capacity Ensembles [66.15398165275926]
  本稿では,データセット固有のパターンを自動的に検出・無視する手法を提案する。 我々の方法は、より高い容量モデルでアンサンブルで低容量モデルを訓練する。 視覚的質問応答データセットの10ポイントゲインを含む,すべての設定の改善を示す。
  論文  参考訳（メタデータ） (2020-11-07T22:20:03Z)
• Geometry matters: Exploring language examples at the decision boundary [2.7249290070320034]
  BERT、CNN、fasttextは、高い難易度例において単語置換の影響を受けやすい。 YelpReviewPolarityでは、レジリエンスと摂動の相関係数-0.4と難易度との相関係数を観測する。 我々のアプローチは単純でアーキテクチャに依存しないものであり、テキスト分類モデルの華やかさの研究に利用できる。
  論文  参考訳（メタデータ） (2020-10-14T16:26:13Z)
• Towards Understanding Sample Variance in Visually Grounded Language Generation: Evaluations and Observations [67.4375210552593]
  視覚的基盤言語生成において,重要だがしばしば無視される問題を理解するために実験を設計する。 人間にはさまざまなユーティリティと視覚的注意があるので、マルチ参照データセットのサンプルのばらつきはモデルの性能にどのように影響しますか? 人為的な参照は、異なるデータセットやタスクで大きく変化する可能性があり、それぞれのタスクの性質が明らかになる。
  論文  参考訳（メタデータ） (2020-10-07T20:45:14Z)
• Evaluating Models' Local Decision Boundaries via Contrast Sets [119.38387782979474]
  テストデータの体系的なギャップを埋めるのに役立つNLPのための新しいアノテーションパラダイムを提案する。 10種類のNLPデータセットに対してコントラストセットを作成することで,コントラストセットの有効性を示す。 我々のコントラストセットは明示的には逆ではないが、モデルの性能は元のテストセットよりも大幅に低い。
  論文  参考訳（メタデータ） (2020-04-06T14:47:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。