Fugu-MT 論文翻訳(概要): Crowdsourcing Relative Rankings of Multi-Word Expressions: Experts versus Non-Experts

論文の概要: Crowdsourcing Relative Rankings of Multi-Word Expressions: Experts versus Non-Experts

arxiv url: http://arxiv.org/abs/2206.08724v1
Date: Fri, 17 Jun 2022 12:23:55 GMT
ステータス: 処理完了
システム内更新日: 2022-06-20 21:25:12.723356
Title: Crowdsourcing Relative Rankings of Multi-Word Expressions: Experts versus Non-Experts
Title（参考訳）: 多語表現の相対ランク付けをクラウドソーシングする:エキスパート対非専門家
Authors: David Alfter, Therese Lindstr\"om Tiedemann, Elena Volodina
Abstract要約: 我々は,非専門家(スウェーデン語の第2言語学習者)と2つの専門家グループ(スウェーデン語を第2/外部言語として教える教師とCEFRの専門家)に,クラウドソーシング実験における多語表現のランク付けを依頼する。これらの結果から, 比較条件による判断はスウェーデン語を第2言語とする専門的な洞察の影響を受けないことが示唆された。
参考スコア（独自算出の注目度）: 0.17188280334580194
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this study we investigate to which degree experts and non-experts agree on questions of difficulty in a crowdsourcing experiment. We ask non-experts (second language learners of Swedish) and two groups of experts (teachers of Swedish as a second/foreign language and CEFR experts) to rank multi-word expressions in a crowdsourcing experiment. We find that the resulting rankings by all the three tested groups correlate to a very high degree, which suggests that judgments produced in a comparative setting are not influenced by professional insights into Swedish as a second language.
Abstract（参考訳）: 本研究では,クラウドソーシング実験における難問について,専門家と非専門家がどの程度一致しているかを検討する。クラウドソーシング実験では,非専門家(スウェーデン語2番目の言語学習者)と2つの専門家グループ(スウェーデン語2番目の言語とcefrの専門家)に,多語表現のランク付けを依頼する。その結果,3つのテストグループで得られたランキングは非常に高い水準に相関することが明らかとなり,比較で得られた判断はスウェーデン語を第二言語とする専門的洞察に影響されないことが示唆された。

関連論文リスト

Investigating Bias in Political Search Query Suggestions by Relative Comparison with LLMs [1.5356574175312299]
検索クエリの提案のバイアスは、バイアスされた検索結果に露出し、意見の形成に影響を与える可能性がある。我々は、英語の検索クエリー提案において、バイアスを特定し定量化するために、多段階のアプローチを用いる。われわれのアプローチを米国の政治ニュース分野に適用し、GoogleとBingの偏見を比較する。
論文参考訳（メタデータ） (2024-10-31T12:40:38Z)
Multi-EuP: The Multilingual European Parliament Dataset for Analysis of Bias in Information Retrieval [62.82448161570428]
このデータセットは、多言語情報検索コンテキストにおける公平性を調べるために設計されている。真正な多言語コーパスを持ち、24言語すべてに翻訳されたトピックを特徴としている。文書に関連する豊富な人口統計情報を提供し、人口統計バイアスの研究を容易にする。
論文参考訳（メタデータ） (2023-11-03T12:29:11Z)
ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
論文参考訳（メタデータ） (2023-09-14T16:54:34Z)
Leveraging Human Feedback to Scale Educational Datasets: Combining Crowdworkers and Comparative Judgement [0.0]
本稿では,非専門的なクラウドワーカーを用いた2つの実験と,学生データ評価のための比較判断について報告する。比較判定を用いることで,両タスク間の信頼性が大幅に向上することが判明した。
論文参考訳（メタデータ） (2023-05-22T10:22:14Z)
Building High-accuracy Multilingual ASR with Gated Language Experts and Curriculum Training [45.48362355283723]
本稿では,多言語トランスデューサモデルを強化するために,ゲート言語の専門家とカリキュラムトレーニングを提案する。本手法はゲーティング機構とLID損失を組み込んで,トランスフォーマーの専門家が言語固有の情報を学ぶことを可能にする。
論文参考訳（メタデータ） (2023-03-01T19:20:01Z)
On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
論文参考訳（メタデータ） (2021-12-21T08:10:27Z)
AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文参考訳（メタデータ） (2021-04-17T20:23:45Z)
SuperSim: a test set for word similarity and relatedness in Swedish [3.319978067919917]
SuperSimは、熟練した人間の判断で構築されたスウェーデンの大規模な類似性と関連性テストセットです。テストセットは5つのアノテータによって関連性と類似性の両方について独立に判断される1,360ワードペアで構成されている。
論文参考訳（メタデータ） (2021-04-12T06:47:27Z)
Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval [51.60862829942932]
本稿では,言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性に着目した体系的実証研究を行う。文レベルのCLIRでは、最先端のパフォーマンスが達成できることを実証する。しかし、ピーク性能は、汎用の多言語テキストエンコーダをオフ・ザ・シェルフで使うのではなく、文の理解タスクにさらに特化したバリエーションに依存している。
論文参考訳（メタデータ） (2021-01-21T00:15:38Z)
Knowledge Distillation for Multilingual Unsupervised Neural Machine Translation [61.88012735215636]
unsupervised neural machine translation (UNMT) は、最近、いくつかの言語対に対して顕著な結果を得た。 UNMTは単一の言語ペア間でのみ翻訳することができ、同時に複数の言語ペアに対して翻訳結果を生成することはできない。本稿では,1つのエンコーダと1つのデコーダを用いて13言語間を翻訳する簡単な手法を実証的に紹介する。
論文参考訳（メタデータ） (2020-04-21T17:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。