論文の概要: Can Humans Identify Domains?
- arxiv url: http://arxiv.org/abs/2404.01785v1
- Date: Tue, 2 Apr 2024 09:49:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 17:09:01.453470
- Title: Can Humans Identify Domains?
- Title（参考訳）: 人間はドメインを識別できるのか?
- Authors: Maria Barrett, Max Müller-Eberstein, Elisa Bassignana, Amalie Brogaard Pauli, Mike Zhang, Rob van der Goot,
- Abstract要約: テキストドメインは、下流モデルのパフォーマンスに影響を及ぼすため、自然言語処理(NLP)コミュニティにおいて重要な特性である。
本研究は,本質的なテクスト特性の同定において,人間の習熟度によるドメインの中核的概念について考察する。
NLPにおけるドメインの多様さにもかかわらず、それらの定義方法に関する人間のコンセンサスはほとんどない。
- 参考スコア（独自算出の注目度）: 17.579694463517363
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Textual domain is a crucial property within the Natural Language Processing (NLP) community due to its effects on downstream model performance. The concept itself is, however, loosely defined and, in practice, refers to any non-typological property, such as genre, topic, medium or style of a document. We investigate the core notion of domains via human proficiency in identifying related intrinsic textual properties, specifically the concepts of genre (communicative purpose) and topic (subject matter). We publish our annotations in *TGeGUM*: A collection of 9.1k sentences from the GUM dataset (Zeldes, 2017) with single sentence and larger context (i.e., prose) annotations for one of 11 genres (source type), and its topic/subtopic as per the Dewey Decimal library classification system (Dewey, 1979), consisting of 10/100 hierarchical topics of increased granularity. Each instance is annotated by three annotators, for a total of 32.7k annotations, allowing us to examine the level of human disagreement and the relative difficulty of each annotation task. With a Fleiss' kappa of at most 0.53 on the sentence level and 0.66 at the prose level, it is evident that despite the ubiquity of domains in NLP, there is little human consensus on how to define them. By training classifiers to perform the same task, we find that this uncertainty also extends to NLP models.
- Abstract（参考訳）: テキストドメインは、下流モデルのパフォーマンスに影響を及ぼすため、自然言語処理(NLP)コミュニティにおいて重要な特性である。
しかし、概念そのものは緩やかに定義されており、実際には、ジャンル、話題、媒体、文書のスタイルなど、あらゆる非タイムロジカルな性質を指している。
本研究は,本質的なテクスト特性,特にジャンル(コミュニケーション目的)と話題(対象物)の概念を識別する上で,人間の習熟によるドメインの中核的概念について考察する。
我々は、GUMデータセット(Zeldes, 2017)の9.1k文の1文と、11のジャンル(ソースタイプ)の1つに対するより大きな文脈(散文)アノテーションと、Dwey Decimalライブラリ分類システム(Dewey, 1979)によるトピック/サブトピック(トピック/サブトピック)のコレクションを、粒度が増大する10/100の階層的なトピックで構成されている。
各インスタンスには3つのアノテーションがアノテートされ、合計32.7kのアノテーションにより、人間の不一致のレベルと各アノテーションタスクの相対的困難度を調べることができる。
文レベルでは少なくとも0.53カッパ、散文レベルでは0.66カッパであり、NLPのドメインが多用されているにもかかわらず、それらを定義する方法に関する人間のコンセンサスはほとんどない。
同じタスクを実行するために分類器を訓練することにより、この不確実性はNLPモデルにも及ぶことが分かる。
関連論文リスト
- A Benchmark for Cross-Domain Argumentative Stance Classification on Social Media [12.479554210753664]
論証的姿勢分類は、特定のトピックに対する著者の視点を特定する上で重要な役割を担っている。
既存のベンチマークは、単一のドメインからのものや、限られたトピックにフォーカスすることが多い。
我々は,人的アノテーションの必要性を回避するために,プラットフォームルール,手軽に利用可能な専門家によるコンテンツ,および大規模言語モデルを活用することを提案する。
論文 参考訳（メタデータ） (2024-10-11T15:20:11Z) - Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。
より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。
これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文 参考訳（メタデータ） (2024-03-26T12:47:39Z) - Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。
我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。
提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
論文 参考訳（メタデータ） (2023-05-24T06:19:14Z) - Topics in the Haystack: Extracting and Evaluating Topics beyond
Coherence [0.0]
本稿では,文と文書のテーマを深く理解する手法を提案する。
これにより、一般的な単語やネオロジズムを含む潜在トピックを検出することができる。
本稿では, 侵入者の単語の人間識別と相関係数を示し, 単語侵入作業において, ほぼ人間レベルの結果を得る。
論文 参考訳（メタデータ） (2023-03-30T12:24:25Z) - Enabling Classifiers to Make Judgements Explicitly Aligned with Human
Values [73.82043713141142]
性差別/人種差別の検出や毒性検出などの多くのNLP分類タスクは、人間の値に基づいている。
本稿では,コマンド内で明示的に記述された人間の値に基づいて予測を行う,値整合型分類のためのフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-14T09:10:49Z) - WikiAsp: A Dataset for Multi-domain Aspect-based Summarization [69.13865812754058]
マルチドメインアスペクトベースの要約のための大規模データセットであるWikiAspを提案する。
具体的には、アスペクトアノテーションのプロキシとして、各記事のセクションタイトルとバウンダリを使用して、20の異なるドメインからウィキペディア記事を使用してデータセットを構築します。
その結果,既存の要約モデルがこの設定で直面する重要な課題,例えば引用されたソースの適切な代名詞処理,時間に敏感なイベントの一貫した説明などが浮き彫りになった。
論文 参考訳（メタデータ） (2020-11-16T10:02:52Z) - Weakly-Supervised Aspect-Based Sentiment Analysis via Joint
Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。
We learn sentiment, aspects> joint topic embeddeds in the word embedding space。
次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文 参考訳（メタデータ） (2020-10-13T21:33:24Z) - Legal Document Classification: An Application to Law Area Prediction of
Petitions to Public Prosecution Service [6.696983725360808]
本稿では,NLPを用いたテキスト分類手法を提案する。
我々の主な目標は、各分野の法律に請願書を割り当てるプロセスを自動化することです。
最高の結果は、ドメイン固有のコーパスとリカレントニューラルネットワークアーキテクチャに基づいてトレーニングされたWord2Vecの組み合わせで得られる。
論文 参考訳（メタデータ） (2020-10-13T18:05:37Z) - Detecting and Classifying Malevolent Dialogue Responses: Taxonomy, Data
and Methodology [68.8836704199096]
コーパスベースの会話インタフェースは、テンプレートベースのエージェントや検索ベースのエージェントよりも多様な自然なレスポンスを生成することができる。
コーパスベースの会話エージェントの生成能力が増大すると、マレヴォレントな反応を分類し、フィルタリングする必要性が生じる。
不適切な内容の認識と分類に関するこれまでの研究は、主にある種のマレヴォレンスに焦点を絞っている。
論文 参考訳（メタデータ） (2020-08-21T22:43:27Z) - Automatic Discovery of Novel Intents & Domains from Text Utterances [18.39942131996558]
本稿では,ラベルのない大量のデータから新しいドメインや意図を自動的に発見する新しいフレームワークADVINを提案する。
ADVINは3つのベンチマークデータセットのベースラインと、商用音声処理エージェントからの実際のユーザ発話を大きく上回る。
論文 参考訳（メタデータ） (2020-05-22T00:47:10Z) - Fine-Grained Named Entity Typing over Distantly Supervised Data Based on
Refined Representations [16.30478830298353]
Fine-Grained Named Entity Typing (FG-NET) は自然言語処理(NLP)の鍵となるコンポーネントである
本稿では,コーパスレベルの文脈的手がかりをエンド分類に先立ち,ノイズの多い参照表現を洗練させるエッジ重み付き注意グラフ畳み込みネットワークを提案する。
実験により,提案モデルではマクロf1とマイクロf1の相対スコアが10.2%,マクロf1が8.3%であった。
論文 参考訳（メタデータ） (2020-04-07T17:26:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。