論文の概要: A Unified Evaluation Framework for Novelty Detection and Accommodation
in NLP with an Instantiation in Authorship Attribution
- arxiv url: http://arxiv.org/abs/2305.05079v1
- Date: Mon, 8 May 2023 22:37:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 14:23:07.778553
- Title: A Unified Evaluation Framework for Novelty Detection and Accommodation
in NLP with an Instantiation in Authorship Attribution
- Title（参考訳）: オーサシップ属性の確立によるNLPの新規性検出・調整のための統一評価フレームワーク
- Authors: Neeraj Varshney, Himanshu Gupta, Eric Robertson, Bing Liu, Chitta
Baral
- Abstract要約: 本稿では,パイプライン化された新規性「検出」タスクと「調節」タスクにおいて,システムの性能を評価するマルチステージタスクである「NoveltyTask」を紹介する。
我々はAmazonのレビューコーパスを使用して、NovetyTaskのために大規模なデータセット(200人の著者/ラベルで250万インスタンスで構成されています)をコンパイルします。
- 参考スコア（独自算出の注目度）: 25.52598351435189
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State-of-the-art natural language processing models have been shown to
achieve remarkable performance in 'closed-world' settings where all the labels
in the evaluation set are known at training time. However, in real-world
settings, 'novel' instances that do not belong to any known class are often
observed. This renders the ability to deal with novelties crucial. To initiate
a systematic research in this important area of 'dealing with novelties', we
introduce 'NoveltyTask', a multi-stage task to evaluate a system's performance
on pipelined novelty 'detection' and 'accommodation' tasks. We provide
mathematical formulation of NoveltyTask and instantiate it with the authorship
attribution task that pertains to identifying the correct author of a given
text. We use Amazon reviews corpus and compile a large dataset (consisting of
250k instances across 200 authors/labels) for NoveltyTask. We conduct
comprehensive experiments and explore several baseline methods for the task.
Our results show that the methods achieve considerably low performance making
the task challenging and leaving sufficient room for improvement. Finally, we
believe our work will encourage research in this underexplored area of dealing
with novelties, an important step en route to developing robust systems.
- Abstract（参考訳）: 最先端の自然言語処理モデルは、評価セットのラベルが訓練時に認識される「クローズドワールド」設定で顕著な性能を発揮することが示されている。
しかし、現実世界の設定では、既知のクラスに属さない'novel'インスタンスがしばしば観察される。
これにより、新規性に対処する能力が重要となる。
そこで,本研究では,この重要分野の「新規化」の体系的な研究を開始するために,パイプライン化された新規性「検出」と「宿泊」タスクにおいて,システムの性能を評価するマルチステージタスク「NoveltyTask」を紹介する。
本稿では,NovetyTaskの数学的定式化と,テキストの正しい著者を特定することに関連する著者帰属タスクのインスタンス化を行う。
我々はamazon reviewsコーパスを使用して、novelltytaskのために大規模なデータセット(200人の著者/ラベルにまたがる250万のインスタンス)をコンパイルします。
包括的実験を行い,タスクのベースライン手法を探究する。
提案手法は,タスクを困難にし,改善の余地を十分に残していることを示す。
最後に、我々の研究は、ロバストなシステムを開発するための重要なステップである、ノベルティを扱うこの未熟な領域の研究を促進すると確信しています。
関連論文リスト
- Artificial Intuition: Efficient Classification of Scientific Abstracts [42.299140272218274]
短い科学的テキストは、解釈を助けるための豊富な知識を持つ専門家に、密集した情報を効率的に伝達する。
このギャップに対処するために、我々は、粗いドメイン固有のラベルを生成し、適切に割り当てる新しいアプローチを開発した。
本稿では,大規模言語モデル(LLM)が,補足的知識の強化に類似したプロセスにおいて,タスクに不可欠なメタデータを提供することを示す。
論文 参考訳（メタデータ） (2024-07-08T16:34:47Z) - Systematic Task Exploration with LLMs: A Study in Citation Text Generation [63.50597360948099]
大規模言語モデル(LLM)は、複雑な創造的自然言語生成(NLG)タスクの定義と実行において、前例のない柔軟性をもたらす。
本稿では,系統的な入力操作,参照データ,出力測定からなる3成分研究フレームワークを提案する。
我々はこのフレームワークを用いて引用テキスト生成を探索する。これは一般的なNLPタスクであり、タスク定義と評価基準に関するコンセンサスを欠いている。
論文 参考訳（メタデータ） (2024-07-04T16:41:08Z) - Graded Relevance Scoring of Written Essays with Dense Retrieval [4.021352247826289]
本稿では,高密度検索エンコーダを用いたエッセイの妥当性評価手法を提案する。
コントラスト学習で事前学習されたContrieverを活用し,教師付き高密度検索モデルに匹敵する性能を示した。
本手法はタスク固有のシナリオにおいて新しい最先端性能を確立し,クロスタスクシナリオに対する拡張は,そのシナリオに対する最先端モデルに匹敵する性能を示した。
論文 参考訳（メタデータ） (2024-05-08T16:37:58Z) - Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。
このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文 参考訳（メタデータ） (2024-02-16T13:53:26Z) - Little Giants: Exploring the Potential of Small LLMs as Evaluation
Metrics in Summarization in the Eval4NLP 2023 Shared Task [53.163534619649866]
本稿では,大規模言語モデルに品質評価の課題を扱えるように,プロンプトベースの手法の有効性を評価することに焦点を当てる。
我々は,標準的なプロンプト,アノテータ命令によって通知されるプロンプト,イノベーティブなチェーン・オブ・シークレットプロンプトなど,様々なプロンプト技術を用いて,系統的な実験を行った。
我々の研究は、これらのアプローチを"小さな"オープンソースモデル(orca_mini_v3_7B)を使って組み合わせることで、競争結果が得られることを示した。
論文 参考訳（メタデータ） (2023-11-01T17:44:35Z) - NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision
Research [96.53307645791179]
我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。
分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。
NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
論文 参考訳（メタデータ） (2022-11-15T18:57:46Z) - Grad2Task: Improved Few-shot Text Classification Using Gradients for
Task Representation [24.488427641442694]
本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。
私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。
我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
論文 参考訳（メタデータ） (2022-01-27T15:29:30Z) - Evaluating Document Coherence Modelling [37.287725949616934]
英語文侵入検出タスクにおけるプリトレーニング済みLMの広い範囲の性能を検討する。
実験の結果,事前学習したLMはドメイン内評価において顕著に機能するが,クロスドメイン設定の大幅な低下を経験することがわかった。
論文 参考訳（メタデータ） (2021-03-18T10:05:06Z) - Curriculum-Meta Learning for Order-Robust Continual Relation Extraction [12.494209368988253]
連続的な関係抽出の課題に取り組むための新しいカリキュラムメタ学習方法を提案する。
メタ学習とカリキュラム学習を組み合わせて、モデルパラメータを新しいタスクに迅速に適応させる。
与えられたモデルの順序感度の程度を定量的に測定する難易度に基づく新しい指標を提案する。
論文 参考訳（メタデータ） (2021-01-06T08:52:34Z) - Text Recognition in Real Scenarios with a Few Labeled Samples [55.07859517380136]
Scene Text Recognition (STR) はコンピュータビジョン分野におけるホットな研究テーマである。
本稿では,数ショットの逆数列領域適応 (FASDA) を用いて構築シーケンスを適応する手法を提案する。
我々のアプローチは、ソースドメインとターゲットドメインの間の文字レベルの混乱を最大化することができる。
論文 参考訳（メタデータ） (2020-06-22T13:03:01Z) - Exploring Bottom-up and Top-down Cues with Attentive Learning for Webly
Supervised Object Detection [76.9756607002489]
本稿では,新しいクラスを対象としたWebSOD法を提案する。
提案手法はボトムアップとトップダウンを組み合わせた新しいクラス検出手法である。
提案手法は,3種類の新規/ベース分割を持つPASCAL VOCデータセット上で実証した。
論文 参考訳（メタデータ） (2020-03-22T03:11:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。