論文の概要: Stance Detection Benchmark: How Robust Is Your Stance Detection?

• arxiv url: http://arxiv.org/abs/2001.01565v1
• Date: Mon, 6 Jan 2020 13:37:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 02:27:59.789691
• Title: Stance Detection Benchmark: How Robust Is Your Stance Detection?
• Title（参考訳）: 姿勢検出ベンチマーク: 姿勢検出はどの程度堅牢か?
• Authors: Benjamin Schiller, Johannes Daxenberger, Iryna Gurevych
• Abstract要約: Stance Detection (StD) は、あるトピックやクレームに対する著者の姿勢を検出することを目的としている。 マルチデータセット学習環境において、さまざまなドメインの10のStDデータセットから学習するStDベンチマークを導入する。 このベンチマーク設定では、5つのデータセットに新しい最先端結果を表示することができます。
• 参考スコア（独自算出の注目度）: 65.91772010586605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stance Detection (StD) aims to detect an author's stance towards a certain topic or claim and has become a key component in applications like fake news detection, claim validation, and argument search. However, while stance is easily detected by humans, machine learning models are clearly falling short of this task. Given the major differences in dataset sizes and framing of StD (e.g. number of classes and inputs), we introduce a StD benchmark that learns from ten StD datasets of various domains in a multi-dataset learning (MDL) setting, as well as from related tasks via transfer learning. Within this benchmark setup, we are able to present new state-of-the-art results on five of the datasets. Yet, the models still perform well below human capabilities and even simple adversarial attacks severely hurt the performance of MDL models. Deeper investigation into this phenomenon suggests the existence of biases inherited from multiple datasets by design. Our analysis emphasizes the need of focus on robustness and de-biasing strategies in multi-task learning approaches. The benchmark dataset and code is made available.
• Abstract（参考訳）: Stance Detection(StD)は、あるトピックやクレームに対する著者の姿勢を検出することを目的としており、フェイクニュース検出、クレーム検証、引数検索といったアプリケーションにおいて重要なコンポーネントとなっている。 しかし、人間の姿勢は容易に検出できるが、機械学習モデルは明らかにこの作業に欠落している。 データセットのサイズやStDのフレーミング(クラス数や入力数など)に大きな違いがあるため、私たちは、マルチデータセット学習(MDL)設定において、さまざまなドメインの10のStDデータセットから学習するStDベンチマークを導入します。 このベンチマーク設定では、5つのデータセットに新しい最先端結果を表示することができます。 しかし、これらのモデルは人間の能力よりはるかに低い性能を保ち、単純な敵攻撃さえもMDLモデルの性能を著しく損なう。 この現象のより深い調査は、設計によって複数のデータセットから受け継がれたバイアスの存在を示唆している。 分析では,マルチタスク学習におけるロバスト性と脱バイアス戦略への注力の必要性を強調する。 ベンチマークデータセットとコードは利用可能だ。

関連論文リスト

• MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
  ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。 事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。 SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。 我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
  論文  参考訳（メタデータ） (2024-03-20T09:17:22Z)
• Innovative Horizons in Aerial Imagery: LSKNet Meets DiffusionDet for Advanced Object Detection [55.2480439325792]
  本稿では,LSKNetのバックボーンをDiffusionDetヘッドに統合したオブジェクト検出モデルの詳細な評価を行う。 提案手法は平均精度(MAP)を約45.7%向上させる。 この進歩は、提案された修正の有効性を強調し、航空画像解析の新しいベンチマークを設定する。
  論文  参考訳（メタデータ） (2023-11-21T19:49:13Z)
• DiffusionEngine: Diffusion Model is Scalable Data Engine for Object Detection [41.436817746749384]
  Diffusion Modelはオブジェクト検出のためのスケーラブルなデータエンジンである。 DiffusionEngine(DE)は、高品質な検出指向のトレーニングペアを単一のステージで提供する。
  論文  参考訳（メタデータ） (2023-09-07T17:55:01Z)
• Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
  この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。 視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。 人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
  論文  参考訳（メタデータ） (2023-03-16T00:06:28Z)
• Uni3D: A Unified Baseline for Multi-dataset 3D Object Detection [34.2238222373818]
  現在の3Dオブジェクト検出モデルは、単一のデータセット固有のトレーニングとテストのパラダイムに従っている。 本稿では,複数のデータセットから統合された3次元検出器を訓練する作業について検討する。 単純なデータレベルの修正操作と設計された意味レベルの結合・再結合モジュールを利用するUni3Dを提案する。
  論文  参考訳（メタデータ） (2023-03-13T05:54:13Z)
• Reinforcement Guided Multi-Task Learning Framework for Low-Resource Stereotype Detection [3.7223111129285096]
  ステレオタイプ検出」データセットは主に、大規模な事前学習言語モデルに対する診断アプローチを採用している。 信頼できるデータセットに注釈をつけるには、テキストでステレオタイプがどのように現れるかという微妙なニュアンスを正確に理解する必要がある。 我々は「ステレオタイプ検出」における経験的性能を改善するために、データ豊富な隣接タスクの多元性を活用するマルチタスクモデルを提案する。
  論文  参考訳（メタデータ） (2022-03-27T17:16:11Z)
• Dynamic Relevance Learning for Few-Shot Object Detection [6.550840743803705]
  動的グラフ畳み込みネットワーク(GCN)を構築するために,すべてのサポート画像とクエリ画像上の関心領域(RoI)の関係を利用した動的関連学習モデルを提案する。 提案モデルでは,より一般化された特徴の学習の有効性を示す総合的な性能が得られた。
  論文  参考訳（メタデータ） (2021-08-04T18:29:42Z)
• Salient Objects in Clutter [130.63976772770368]
  本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。 この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。 我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
  論文  参考訳（メタデータ） (2021-05-07T03:49:26Z)
• The Surprising Performance of Simple Baselines for Misinformation Detection [4.060731229044571]
  我々は、現代のトランスフォーマーベースの言語モデルの広いセットのパフォーマンスを調べます。 誤情報検出の新たな手法の創出と評価のベースラインとして,本フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-14T16:25:22Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。