論文の概要: A Unified Evaluation Framework for Novelty Detection and Accommodation
in NLP with an Instantiation in Authorship Attribution
- arxiv url: http://arxiv.org/abs/2305.05079v1
- Date: Mon, 8 May 2023 22:37:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 14:23:07.778553
- Title: A Unified Evaluation Framework for Novelty Detection and Accommodation
in NLP with an Instantiation in Authorship Attribution
- Title(参考訳): オーサシップ属性の確立によるNLPの新規性検出・調整のための統一評価フレームワーク
- Authors: Neeraj Varshney, Himanshu Gupta, Eric Robertson, Bing Liu, Chitta
Baral
- Abstract要約: 本稿では,パイプライン化された新規性「検出」タスクと「調節」タスクにおいて,システムの性能を評価するマルチステージタスクである「NoveltyTask」を紹介する。
我々はAmazonのレビューコーパスを使用して、NovetyTaskのために大規模なデータセット(200人の著者/ラベルで250万インスタンスで構成されています)をコンパイルします。
- 参考スコア(独自算出の注目度): 25.52598351435189
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State-of-the-art natural language processing models have been shown to
achieve remarkable performance in 'closed-world' settings where all the labels
in the evaluation set are known at training time. However, in real-world
settings, 'novel' instances that do not belong to any known class are often
observed. This renders the ability to deal with novelties crucial. To initiate
a systematic research in this important area of 'dealing with novelties', we
introduce 'NoveltyTask', a multi-stage task to evaluate a system's performance
on pipelined novelty 'detection' and 'accommodation' tasks. We provide
mathematical formulation of NoveltyTask and instantiate it with the authorship
attribution task that pertains to identifying the correct author of a given
text. We use Amazon reviews corpus and compile a large dataset (consisting of
250k instances across 200 authors/labels) for NoveltyTask. We conduct
comprehensive experiments and explore several baseline methods for the task.
Our results show that the methods achieve considerably low performance making
the task challenging and leaving sufficient room for improvement. Finally, we
believe our work will encourage research in this underexplored area of dealing
with novelties, an important step en route to developing robust systems.
- Abstract(参考訳): 最先端の自然言語処理モデルは、評価セットのラベルが訓練時に認識される「クローズドワールド」設定で顕著な性能を発揮することが示されている。
しかし、現実世界の設定では、既知のクラスに属さない'novel'インスタンスがしばしば観察される。
これにより、新規性に対処する能力が重要となる。
そこで,本研究では,この重要分野の「新規化」の体系的な研究を開始するために,パイプライン化された新規性「検出」と「宿泊」タスクにおいて,システムの性能を評価するマルチステージタスク「NoveltyTask」を紹介する。
本稿では,NovetyTaskの数学的定式化と,テキストの正しい著者を特定することに関連する著者帰属タスクのインスタンス化を行う。
我々はamazon reviewsコーパスを使用して、novelltytaskのために大規模なデータセット(200人の著者/ラベルにまたがる250万のインスタンス)をコンパイルします。
包括的実験を行い,タスクのベースライン手法を探究する。
提案手法は,タスクを困難にし,改善の余地を十分に残していることを示す。
最後に、我々の研究は、ロバストなシステムを開発するための重要なステップである、ノベルティを扱うこの未熟な領域の研究を促進すると確信しています。
関連論文リスト
- Little Giants: Exploring the Potential of Small LLMs as Evaluation
Metrics in Summarization in the Eval4NLP 2023 Shared Task [53.163534619649866]
本稿では,大規模言語モデルに品質評価の課題を扱えるように,プロンプトベースの手法の有効性を評価することに焦点を当てる。
我々は,標準的なプロンプト,アノテータ命令によって通知されるプロンプト,イノベーティブなチェーン・オブ・シークレットプロンプトなど,様々なプロンプト技術を用いて,系統的な実験を行った。
我々の研究は、これらのアプローチを"小さな"オープンソースモデル(orca_mini_v3_7B)を使って組み合わせることで、競争結果が得られることを示した。
論文 参考訳(メタデータ) (2023-11-01T17:44:35Z) - NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision
Research [96.53307645791179]
我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。
分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。
NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
論文 参考訳(メタデータ) (2022-11-15T18:57:46Z) - Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。
自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
論文 参考訳(メタデータ) (2022-10-13T17:59:16Z) - Grad2Task: Improved Few-shot Text Classification Using Gradients for
Task Representation [24.488427641442694]
本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。
私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。
我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
論文 参考訳(メタデータ) (2022-01-27T15:29:30Z) - Evaluating Document Coherence Modelling [37.287725949616934]
英語文侵入検出タスクにおけるプリトレーニング済みLMの広い範囲の性能を検討する。
実験の結果,事前学習したLMはドメイン内評価において顕著に機能するが,クロスドメイン設定の大幅な低下を経験することがわかった。
論文 参考訳(メタデータ) (2021-03-18T10:05:06Z) - Curriculum-Meta Learning for Order-Robust Continual Relation Extraction [12.494209368988253]
連続的な関係抽出の課題に取り組むための新しいカリキュラムメタ学習方法を提案する。
メタ学習とカリキュラム学習を組み合わせて、モデルパラメータを新しいタスクに迅速に適応させる。
与えられたモデルの順序感度の程度を定量的に測定する難易度に基づく新しい指標を提案する。
論文 参考訳(メタデータ) (2021-01-06T08:52:34Z) - Learning from Task Descriptions [24.588252048132862]
本稿では,NLPシステム構築のためのフレームワークについて紹介する。
タスク指向評価のために構築された、新しい英語データセットであるZESTを用いて、このフレームワークをインスタンス化する。
現状のT5モデルはZESTで12%のスコアを獲得し、NLP研究者にとって大きな課題を残している。
論文 参考訳(メタデータ) (2020-11-16T17:25:24Z) - Towards Improved Model Design for Authorship Identification: A Survey on
Writing Style Understanding [30.642840676899734]
著者識別タスクは言語スタイルに大きく依存している。
手作りの機能セットに基づく従来の機械学習手法は、すでにパフォーマンスの限界に近づいている。
スタイル関連タスクにおける卓越した手法を概説し、それらの組み合わせがトップパフォーマンスモデルでどのように使われているかを分析する。
論文 参考訳(メタデータ) (2020-09-30T05:17:42Z) - Text Recognition in Real Scenarios with a Few Labeled Samples [55.07859517380136]
Scene Text Recognition (STR) はコンピュータビジョン分野におけるホットな研究テーマである。
本稿では,数ショットの逆数列領域適応 (FASDA) を用いて構築シーケンスを適応する手法を提案する。
我々のアプローチは、ソースドメインとターゲットドメインの間の文字レベルの混乱を最大化することができる。
論文 参考訳(メタデータ) (2020-06-22T13:03:01Z) - Exploring Bottom-up and Top-down Cues with Attentive Learning for Webly
Supervised Object Detection [76.9756607002489]
本稿では,新しいクラスを対象としたWebSOD法を提案する。
提案手法はボトムアップとトップダウンを組み合わせた新しいクラス検出手法である。
提案手法は,3種類の新規/ベース分割を持つPASCAL VOCデータセット上で実証した。
論文 参考訳(メタデータ) (2020-03-22T03:11:24Z) - ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine
Reading Comprehension [53.037401638264235]
我々は,7種類の読解データセットの性能を報告する評価サーバORBを提案する。
評価サーバは、モデルのトレーニング方法に制限を課さないため、トレーニングパラダイムや表現学習の探索に適したテストベッドである。
論文 参考訳(メタデータ) (2019-12-29T07:27:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。