論文の概要: Using novel data and ensemble models to improve automated labeling of Sustainable Development Goals

• arxiv url: http://arxiv.org/abs/2301.11353v1
• Date: Wed, 25 Jan 2023 07:44:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-30 17:35:51.088835
• Title: Using novel data and ensemble models to improve automated labeling of Sustainable Development Goals
• Title（参考訳）: 持続可能な開発目標の自動ラベリング改善のための新しいデータとアンサンブルモデル
• Authors: Dirk U. Wulff, Dominik S. Meier, Rui Mata
• Abstract要約: 国連(UN)の持続可能な開発目標の作業を監視するために、テキストに基づくラベル付けシステムが提案されている。 系はその特異性(真正レート)と感度(真負レート)で大きく異なることを示す。 次に、ラベリングシステムをプールするアンサンブルモデルにより、これらの制限を緩和し、現在利用可能な全システムのラベリング性能を上回ることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: A number of labeling systems based on text have been proposed to help monitor work on the United Nations (UN) Sustainable Development Goals (SDGs). Here, we present a systematic comparison of systems using a variety of text sources and show that systems differ considerably in their specificity (i.e., true-positive rate) and sensitivity (i.e., true-negative rate), have systematic biases (e.g., are more sensitive to specific SDGs relative to others), and are susceptible to the type and amount of text analyzed. We then show that an ensemble model that pools labeling systems alleviates some of these limitations, exceeding the labeling performance of all currently available systems. We conclude that researchers and policymakers should care about the choice of labeling system and that ensemble methods should be favored when drawing conclusions about the absolute and relative prevalence of work on the SDGs based on automated methods.
• Abstract（参考訳）: 国連 (UN) 持続可能な開発目標 (SDG) の作業を監視するために、テキストに基づくラベル付けシステムが提案されている。 本稿では,様々なテキストソースを用いたシステムの系統的比較を行い,その特異性(真正レート)と感度(真負レート)に違いがあり,系統的バイアス(例えば,他と比較して特定のSDGに対してより敏感である)があり,解析されたテキストの種類や量に敏感であることを示す。 次に、ラベリングシステムをプールするアンサンブルモデルにより、これらの制限を緩和し、現在利用可能な全システムのラベリング性能を上回ることを示す。 研究者や政策立案者はラベリングシステムの選択に気を配り、自動的な手法に基づいてsdgsにおける作業の絶対的かつ相対的な有意性について結論を出す際にアンサンブル手法を好むべきであると結論づけた。

関連論文リスト

• VERA: Validation and Evaluation of Retrieval-Augmented Systems [5.709401805125129]
  VERAは、大規模言語モデル(LLM)からの出力の透明性と信頼性を高めるために設計されたフレームワークである。 VERAが意思決定プロセスを強化し、AIアプリケーションへの信頼を高める方法を示す。
  論文  参考訳（メタデータ） (2024-08-16T21:59:59Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Interactive System-wise Anomaly Detection [66.3766756452743]
  異常検出は様々なアプリケーションにおいて基本的な役割を果たす。 既存のメソッドでは、インスタンスがデータとして容易に観察できないシステムであるシナリオを扱うのが難しい。 システム埋め込みを学習するエンコーダデコーダモジュールを含むエンドツーエンドアプローチを開発する。
  論文  参考訳（メタデータ） (2023-04-21T02:20:24Z)
• Stable Bias: Analyzing Societal Representations in Diffusion Models [72.27121528451528]
  本稿では,テキスト・ツー・イメージ(TTI)システムにおける社会的バイアスを探索する新しい手法を提案する。 我々のアプローチは、プロンプト内の性別や民族のマーカーを列挙して生成された画像の変動を特徴づけることに依存している。 我々はこの手法を利用して3つのTTIシステムによって生成された画像を分析し、そのアウトプットが米国の労働人口層と相関しているのに対して、彼らは常に異なる範囲において、限界化されたアイデンティティを低く表現している。
  論文  参考訳（メタデータ） (2023-03-20T19:32:49Z)
• Label-Efficient Interactive Time-Series Anomaly Detection [17.799924009674694]
  ラベル効率の良い対話型時系列異常検出システム(LEIAD)を提案する。 この目標を達成するために、システムは弱い監督と活発な学習を協調的に統合する。 本稿では,3つの時系列異常検出データセットについて実験を行い,提案手法が既存手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-30T10:16:15Z)
• Quality-Based Conditional Processing in Multi-Biometrics: Application to Sensor Interoperability [63.05238390013457]
  2007年のバイオセキュリティ・マルチモーダル・アセスメント・キャンペーンにおいて,ATVS-UAM融合手法を品質ベースで評価し,評価を行った。 我々のアプローチは線形ロジスティック回帰に基づいており、融合したスコアはログライクな比率になる傾向にある。 その結果,提案手法はルールベースの核融合方式よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-11-24T12:11:22Z)
• What are the best systems? New perspectives on NLP Benchmarking [10.27421161397197]
  そこで本研究では,各タスクのパフォーマンスに基づいて,システムにランク付けする新しい手法を提案する。 社会的選択理論によって動機付けられ、各タスクによって誘導されるランクを集約することで最終システム順序付けが得られる。 本手法は, 平均集約法とは異なる, 最先端システム上での結論を導出することを示す。
  論文  参考訳（メタデータ） (2022-02-08T11:44:20Z)
• Anomaly Detection Based on Selection and Weighting in Latent Space [73.01328671569759]
  SWADと呼ばれる新しい選択および重み付けに基づく異常検出フレームワークを提案する。 ベンチマークと実世界のデータセットによる実験は、SWADの有効性と優位性を示している。
  論文  参考訳（メタデータ） (2021-03-08T10:56:38Z)
• Semi-Supervised Learning with GANs for Device-Free Fingerprinting Indoor Localization [6.939464860621602]
  デバイスフリーワイヤレス屋内位置決めはIoT(Internet of Things)の鍵となる技術である 本稿では,GANをベースとしたデバイスフリーフィンガープリント屋内位置推定システムを提案する。
  論文  参考訳（メタデータ） (2020-08-17T06:32:13Z)
• Foreseeing the Benefits of Incidental Supervision [83.08441990812636]
  本稿では,実験を行なわずに,特定の目標タスクに対して,様々な種類の偶発信号の利点を定量化できるかどうかを考察する。 本稿では,PABI(PAC-Bayesian motivated informativeness measure)を提案する。
  論文  参考訳（メタデータ） (2020-06-09T20:59:42Z)
• A Human Evaluation of AMR-to-English Generation Systems [13.10463139842285]
  本報告では, 流速と精度のスコアを収集し, 誤りの分類を行う新しい評価結果について述べる。 本稿では,これらのシステムの相対的品質と,自動測定値との比較について論じる。
  論文  参考訳（メタデータ） (2020-04-14T21:41:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。