論文の概要: Methods for the Design and Evaluation of HCI+NLP Systems
- arxiv url: http://arxiv.org/abs/2102.13461v1
- Date: Fri, 26 Feb 2021 13:37:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-01 13:50:47.325728
- Title: Methods for the Design and Evaluation of HCI+NLP Systems
- Title(参考訳): HCI+NLPシステムの設計と評価方法
- Authors: Hendrik Heuer, Daniel Buschek
- Abstract要約: HCIとNLPの交差点で5つの方法論を提案します。
私たちの目標は、それぞれの分野が互いに学べることを強調し、学際的な協力と両分野の進歩を促進することです。
- 参考スコア(独自算出の注目度): 17.999531595843678
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: HCI and NLP traditionally focus on different evaluation methods. While HCI
involves a small number of people directly and deeply, NLP traditionally relies
on standardized benchmark evaluations that involve a larger number of people
indirectly. We present five methodological proposals at the intersection of HCI
and NLP and situate them in the context of ML-based NLP models. Our goal is to
foster interdisciplinary collaboration and progress in both fields by
emphasizing what the fields can learn from each other.
- Abstract(参考訳): HCIとNLPは伝統的に異なる評価方法に焦点を当てている。
HCIは少数の人々を直接深く巻き込むが、NLPは伝統的に標準化されたベンチマーク評価に頼っている。
HCIとNLPの交差点で5つの方法論提案を行い、MLベースのNLPモデルという文脈で提示する。
私たちの目標は、それぞれの分野が互いに学べることを強調し、学際的な協力と両分野の進歩を促進することです。
関連論文リスト
- Leveraging Large Language Models for NLG Evaluation: A Survey [56.21534358429998]
LLM(Large Language Models)の導入は、生成されたコンテンツ品質を評価するための新たな道を開いた。
既存のLCMに基づく評価指標を整理するためのコヒーレントな分類法を提案する。
この調査は、研究者に洞察を提供し、より公平で高度なNLG評価手法を提唱することを目的としている。
論文 参考訳(メタデータ) (2024-01-13T15:59:09Z) - Aligning Language Models with Human Preferences via a Bayesian Approach [11.984246334043673]
人間中心の自然言語生成(NLG)システムを推し進めるためには、NLGモデルと人間の嗜好の整合性を確保することが不可欠である。
本稿では,人選好における不一致の分布を選好モデルのトレーニングとして考慮するために,ベイズ的枠組みを用いた新しいアプローチを提案する。
自動評価と人的評価の両方において,従来のSOTAモデルよりずっと上回っている。
論文 参考訳(メタデータ) (2023-10-09T15:15:05Z) - Hierarchical Evaluation Framework: Best Practices for Human Evaluation [17.91641890651225]
NLPハマーにおける広く受け入れられている評価基準の欠如は、異なるシステム間での公正な比較と、普遍的な評価基準の確立である。
我々は,NLPシステムの性能をより包括的に表現するための,独自の階層的評価フレームワークを開発した。
今後の課題として,NLPシステムの評価を行う上で,提案するフレームワークの時間節約効果について検討する。
論文 参考訳(メタデータ) (2023-10-03T09:46:02Z) - Towards a Holistic Approach: Understanding Sociodemographic Biases in
NLP Models using an Interdisciplinary Lens [1.3778851745408134]
自然言語処理の利用と応用の急速な成長は、バイアスの包括的理解の必要性を強調している。
NLPにおけるバイアスの研究は拡大しているが、注意を要するいくつかの課題が続いている。
本稿では,これらの課題に対処し,NLPにおけるバイアスを理解するための学際的アプローチを提案する。
論文 参考訳(メタデータ) (2023-08-24T21:19:48Z) - LLM Comparative Assessment: Zero-shot NLG Evaluation through Pairwise
Comparisons using Large Language Models [55.60306377044225]
大規模言語モデル(LLM)は、様々な自然言語タスクで印象的なゼロショット機能を実現している。
本稿では,ゼロショットNLG評価におけるLCMの創発的能力を活用するための2つの選択肢について検討する。
FlanT5 や Llama2-chat のような中規模のオープンソース LLM では、スコアリングよりも比較評価が優れている。
論文 参考訳(メタデータ) (2023-07-15T22:02:12Z) - Meta Learning for Natural Language Processing: A Survey [88.58260839196019]
ディープラーニングは自然言語処理(NLP)分野において主要な技術である。
ディープラーニングには多くのラベル付きデータが必要です。
メタ学習は、より良いアルゴリズムを学ぶためのアプローチを研究する機械学習の分野である。
論文 参考訳(メタデータ) (2022-05-03T13:58:38Z) - FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural
Language Understanding [89.92513889132825]
本稿では,従来の評価手順を,テスト性能,開発-テスト相関,安定性の3つの重要な側面で改善する評価フレームワークを提案する。
評価フレームワークを実装したツールキットFewNLUと、最先端のメソッドをオープンソースとして公開しています。
論文 参考訳(メタデータ) (2021-09-27T00:57:30Z) - Towards Quantifiable Dialogue Coherence Evaluation [126.55560816209756]
量的対話コヒーレンス評価(QuantiDCE)は,量的対話コヒーレンス尺度の学習を目的とした新しいフレームワークである。
QuantiDCEには、Multi-Level Ranking (MLR) pre-training (KD) fine-tuning (Multi-Level Ranking)とKD (KD) fine-tuning (KD) という2つの訓練段階が含まれている。
実験結果から,QuantiDCEによりトレーニングされたモデルは,他の最先端の指標に比べて,人間の判断と強い相関関係を示すことが示された。
論文 参考訳(メタデータ) (2021-06-01T14:11:17Z) - FedNLP: A Research Platform for Federated Learning in Natural Language
Processing [55.01246123092445]
NLPのフェデレーションラーニングのための研究プラットフォームであるFedNLPを紹介します。
FedNLPは、テキスト分類、シーケンスタグ付け、質問応答、Seq2seq生成、言語モデリングなど、NLPで一般的なタスクの定式化をサポートしている。
FedNLPによる予備実験では、分散型データセットと集中型データセットの学習には大きなパフォーマンスギャップが存在することが明らかになった。
論文 参考訳(メタデータ) (2021-04-18T11:04:49Z) - Putting Humans in the Natural Language Processing Loop: A Survey [13.53277201606357]
人間のフィードバックから学ぶ自然言語処理(NLP)システムをどのように設計できますか?
Human-in-the-loop (HITL) NLPフレームワークは、モデル自体を改善するために、人間のフィードバックを継続的に統合する研究団体が増えている。
機械学習(ML)とHCI(Human-Computer Interaction)の両コミュニティのHITL NLPに関する調査を実施した。
論文 参考訳(メタデータ) (2021-03-06T06:26:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。