Fugu-MT 論文翻訳(概要): Methods for the Design and Evaluation of HCI+NLP Systems

論文の概要: Methods for the Design and Evaluation of HCI+NLP Systems

arxiv url: http://arxiv.org/abs/2102.13461v1
Date: Fri, 26 Feb 2021 13:37:10 GMT
ステータス: 処理完了
システム内更新日: 2021-03-01 13:50:47.325728
Title: Methods for the Design and Evaluation of HCI+NLP Systems
Title（参考訳）: HCI+NLPシステムの設計と評価方法
Authors: Hendrik Heuer, Daniel Buschek
Abstract要約: HCIとNLPの交差点で5つの方法論を提案します。私たちの目標は、それぞれの分野が互いに学べることを強調し、学際的な協力と両分野の進歩を促進することです。
参考スコア（独自算出の注目度）: 17.999531595843678
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: HCI and NLP traditionally focus on different evaluation methods. While HCI involves a small number of people directly and deeply, NLP traditionally relies on standardized benchmark evaluations that involve a larger number of people indirectly. We present five methodological proposals at the intersection of HCI and NLP and situate them in the context of ML-based NLP models. Our goal is to foster interdisciplinary collaboration and progress in both fields by emphasizing what the fields can learn from each other.
Abstract（参考訳）: HCIとNLPは伝統的に異なる評価方法に焦点を当てている。 HCIは少数の人々を直接深く巻き込むが、NLPは伝統的に標準化されたベンチマーク評価に頼っている。 HCIとNLPの交差点で5つの方法論提案を行い、MLベースのNLPモデルという文脈で提示する。私たちの目標は、それぞれの分野が互いに学べることを強調し、学際的な協力と両分野の進歩を促進することです。

関連論文リスト

How to Enable Effective Cooperation Between Humans and NLP Models: A Survey of Principles, Formalizations, and Beyond [73.5546464126465]
我々は、その原則、形式化、オープンな課題を探求し、人間-モデル協力の徹底的なレビューを行う。既存のアプローチを要約する統一的な視点を提供する新しい分類法を導入する。また、潜在的なフロンティア領域とその対応課題についても論じる。
論文参考訳（メタデータ） (2025-01-10T05:15:14Z)
Evaluating Saliency Explanations in NLP by Crowdsourcing [25.763227978763908]
クラウドソーシングによるNLPのサリエンシ評価手法を提案する。我々は,800名のクラウドワーカーを募集し,提案手法を用いて2つのデータセット上で7つのサリエンシ手法を実証的に評価した。本研究では,サリエンシ法の性能を解析し,既存の自動評価法と比較し,サリエンシ法を用いた場合のNLPとコンピュータビジョン(CV)フィールドの顕著な差異を明らかにした。
論文参考訳（メタデータ） (2024-05-17T13:27:45Z)
Leveraging Large Language Models for NLG Evaluation: Advances and Challenges [57.88520765782177]
大規模言語モデル(LLM)は、コヒーレンス、クリエイティビティ、コンテキスト関連など、生成されたコンテンツ品質を評価するための新たな道を開いた。既存のLCMに基づく評価指標を整理し、これらの手法を理解し比較するための構造化された枠組みを提供する。本稿では, 偏見, 堅牢性, ドメイン固有性, 統一評価などの未解決課題を議論することによって, 研究者に洞察を提供し, より公平で高度なNLG評価手法を提唱することを目的とする。
論文参考訳（メタデータ） (2024-01-13T15:59:09Z)
Hierarchical Evaluation Framework: Best Practices for Human Evaluation [17.91641890651225]
NLPハマーにおける広く受け入れられている評価基準の欠如は、異なるシステム間での公正な比較と、普遍的な評価基準の確立である。我々は,NLPシステムの性能をより包括的に表現するための,独自の階層的評価フレームワークを開発した。今後の課題として,NLPシステムの評価を行う上で,提案するフレームワークの時間節約効果について検討する。
論文参考訳（メタデータ） (2023-10-03T09:46:02Z)
Towards a Holistic Approach: Understanding Sociodemographic Biases in NLP Models using an Interdisciplinary Lens [1.3778851745408134]
自然言語処理の利用と応用の急速な成長は、バイアスの包括的理解の必要性を強調している。 NLPにおけるバイアスの研究は拡大しているが、注意を要するいくつかの課題が続いている。本稿では,これらの課題に対処し,NLPにおけるバイアスを理解するための学際的アプローチを提案する。
論文参考訳（メタデータ） (2023-08-24T21:19:48Z)
Meta Learning for Natural Language Processing: A Survey [88.58260839196019]
ディープラーニングは自然言語処理(NLP)分野において主要な技術である。ディープラーニングには多くのラベル付きデータが必要です。メタ学習は、より良いアルゴリズムを学ぶためのアプローチを研究する機械学習の分野である。
論文参考訳（メタデータ） (2022-05-03T13:58:38Z)
FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural Language Understanding [89.92513889132825]
本稿では,従来の評価手順を,テスト性能,開発-テスト相関,安定性の3つの重要な側面で改善する評価フレームワークを提案する。評価フレームワークを実装したツールキットFewNLUと、最先端のメソッドをオープンソースとして公開しています。
論文参考訳（メタデータ） (2021-09-27T00:57:30Z)
Towards Quantifiable Dialogue Coherence Evaluation [126.55560816209756]
量的対話コヒーレンス評価(QuantiDCE)は,量的対話コヒーレンス尺度の学習を目的とした新しいフレームワークである。 QuantiDCEには、Multi-Level Ranking (MLR) pre-training (KD) fine-tuning (Multi-Level Ranking)とKD (KD) fine-tuning (KD) という2つの訓練段階が含まれている。実験結果から,QuantiDCEによりトレーニングされたモデルは,他の最先端の指標に比べて,人間の判断と強い相関関係を示すことが示された。
論文参考訳（メタデータ） (2021-06-01T14:11:17Z)
FedNLP: A Research Platform for Federated Learning in Natural Language Processing [55.01246123092445]
NLPのフェデレーションラーニングのための研究プラットフォームであるFedNLPを紹介します。 FedNLPは、テキスト分類、シーケンスタグ付け、質問応答、Seq2seq生成、言語モデリングなど、NLPで一般的なタスクの定式化をサポートしている。 FedNLPによる予備実験では、分散型データセットと集中型データセットの学習には大きなパフォーマンスギャップが存在することが明らかになった。
論文参考訳（メタデータ） (2021-04-18T11:04:49Z)
Putting Humans in the Natural Language Processing Loop: A Survey [13.53277201606357]
人間のフィードバックから学ぶ自然言語処理(NLP)システムをどのように設計できますか? Human-in-the-loop (HITL) NLPフレームワークは、モデル自体を改善するために、人間のフィードバックを継続的に統合する研究団体が増えている。機械学習(ML)とHCI(Human-Computer Interaction)の両コミュニティのHITL NLPに関する調査を実施した。
論文参考訳（メタデータ） (2021-03-06T06:26:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。