論文の概要: Quantifying the Task-Specific Information in Text-Based Classifications
- arxiv url: http://arxiv.org/abs/2110.08931v1
- Date: Sun, 17 Oct 2021 21:54:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 16:42:37.922701
- Title: Quantifying the Task-Specific Information in Text-Based Classifications
- Title（参考訳）: テキスト分類におけるタスク特化情報の定量化
- Authors: Zining Zhu, Aparna Balagopalan, Marzyeh Ghassemi, Frank Rudzicz
- Abstract要約: データセットのショートカットは、分類タスクの*task-specific information*(TSI)に寄与しない。
本稿では,データセットの分類にタスク固有の情報がどの程度必要かを検討する。
このフレームワークはデータセット間の比較を可能にし、"一連のショートカット機能"とは別に、Multi-NLIタスクの各サンプルの分類には、Quora Question Pairよりも約0.4ナットのTSIが含まれている、と述べている。
- 参考スコア（独自算出の注目度）: 20.148222318025528
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, neural natural language models have attained state-of-the-art
performance on a wide variety of tasks, but the high performance can result
from superficial, surface-level cues (Bender and Koller, 2020; Niven and Kao,
2020). These surface cues, as the ``shortcuts'' inherent in the datasets, do
not contribute to the *task-specific information* (TSI) of the classification
tasks. While it is essential to look at the model performance, it is also
important to understand the datasets. In this paper, we consider this question:
Apart from the information introduced by the shortcut features, how much
task-specific information is required to classify a dataset? We formulate this
quantity in an information-theoretic framework. While this quantity is hard to
compute, we approximate it with a fast and stable method. TSI quantifies the
amount of linguistic knowledge modulo a set of predefined shortcuts -- that
contributes to classifying a sample from each dataset. This framework allows us
to compare across datasets, saying that, apart from a set of ``shortcut
features'', classifying each sample in the Multi-NLI task involves around 0.4
nats more TSI than in the Quora Question Pair.
- Abstract（参考訳）: 近年,ニューラル自然言語モデルが様々なタスクで最先端のパフォーマンスを達成しているが,そのハイパフォーマンスは表面的かつ表面的な手がかり(bender, koller, 2020, niven and kao, 2020)から生じる可能性がある。
これらのサーフェスキューは、データセットに固有の `shortcuts' のように、分類タスクの *task-specific information* (TSI) に寄与しない。
モデルのパフォーマンスを見ることは不可欠ですが、データセットを理解することも重要です。
ショートカット機能によって導入された情報とは別に、データセットを分類するのにどれだけのタスク固有の情報が必要か?
この量を情報理論の枠組みで定式化する。
この量は計算が難しいが、高速で安定した方法で近似する。
TSIは、事前に定義されたショートカットのセットを修飾する言語知識の量を定量化し、各データセットからサンプルを分類するのに寄与する。
このフレームワークはデータセット間の比較を可能にし、‘shortcut features’のセットとは別に、Multi-NLIタスクの各サンプルの分類には、Quora Question Pairよりも約0.4NatのTSIが含まれている、と述べている。
関連論文リスト
- Improve Meta-learning for Few-Shot Text Classification with All You Can Acquire from the Tasks [10.556477506959888]
既存の手法は、しばしばサポートセットのサンプルから正確なクラスプロトタイプを描くのに困難に遭遇する。
近年のアプローチでは、外部知識や事前訓練された言語モデルを組み込んでデータを拡張しようとするが、追加のリソースが必要になる。
本稿では,タスク自体の情報を適切に活用した新しいソリューションを提案する。
論文 参考訳（メタデータ） (2024-10-14T12:47:11Z) - Wiki-TabNER:Advancing Table Interpretation Through Named Entity
Recognition [19.423556742293762]
TIタスクの評価に広く用いられているベンチマークデータセットを分析した。
この欠点を克服するため、我々はより困難なデータセットを構築し、注釈付けします。
本稿では,新たに開発された大規模言語モデルを評価するためのプロンプトフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-07T15:22:07Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Exploiting Contextual Target Attributes for Target Sentiment
Classification [53.30511968323911]
TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。
我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
論文 参考訳（メタデータ） (2023-12-21T11:45:28Z) - XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented
Languages [105.54207724678767]
データ不足は、多言語NLPシステムの開発において重要な問題である。
我々はXTREME-UPを提案する。XTREME-UPはゼロショットではなく、希少なデータシナリオに焦点を当てたベンチマークである。
XTREME-UPは、88言語にまたがる言語モデルが、9つのキーとなるユーザー中心技術上で機能する能力を評価する。
論文 参考訳（メタデータ） (2023-05-19T18:00:03Z) - SLUE Phase-2: A Benchmark Suite of Diverse Spoken Language Understanding
Tasks [88.4408774253634]
音声言語理解(SLU)タスクは、音声研究コミュニティで何十年にもわたって研究されてきた。
SLUタスクベンチマークはそれほど多くはなく、既存のベンチマークの多くは、すべての研究者が自由に利用できないデータを使っている。
最近の研究は、いくつかのタスクにそのようなベンチマークを導入し始めている。
論文 参考訳（メタデータ） (2022-12-20T18:39:59Z) - Association Graph Learning for Multi-Task Classification with Category
Shifts [68.58829338426712]
関連する分類タスクが同じラベル空間を共有し、同時に学習されるマルチタスク分類に焦点を当てる。
我々は、不足クラスのためのタスク間で知識を伝達する関連グラフを学習する。
我々の手法は代表的基準よりも一貫して性能が良い。
論文 参考訳（メタデータ） (2022-10-10T12:37:41Z) - Deep Sequence Models for Text Classification Tasks [0.007329200485567826]
自然言語処理(NLP)は、人間の多様で複雑な言語を理解するために機械を装備している。
一般的なテキスト分類アプリケーションには、情報検索、ニューストピックのモデリング、テーマ抽出、感情分析、スパム検出が含まれる。
RNN、GRU、LSTMといったシーケンスモデルは、長距離依存性を持つタスクのブレークスルーである。
その結果、ほとんどのモデルでは80%と94%の範囲で性能が向上した。
論文 参考訳（メタデータ） (2022-07-18T18:47:18Z) - SLUE: New Benchmark Tasks for Spoken Language Understanding Evaluation
on Natural Speech [44.68649535280397]
音声言語理解評価(SLUE)のための一連のベンチマークタスクを提案する。
SLUEは限定的なラベル付きトレーニングセットとそれに対応する評価セットで構成されている。
本稿では,SLUEベンチマークスイートの第1フェーズについて述べる。
本稿では,VoxCelebデータセットとVoxPopuliデータセットのサブセットに対する新たな書き起こしとアノテーション,ベースラインモデルの評価指標と結果,ベースラインを再現し,新しいモデルを評価するためのオープンソースツールキットを提供する。
論文 参考訳（メタデータ） (2021-11-19T18:59:23Z) - STEP: Segmenting and Tracking Every Pixel [107.23184053133636]
新しいベンチマークを示す: Segmenting and Tracking Every Pixel (STEP)
私たちの仕事は、空間領域と時間領域の両方で密な解釈を必要とする現実世界の設定で、このタスクをターゲットとする最初のものです。
性能を測定するために,新しい評価指標と追跡品質(STQ)を提案する。
論文 参考訳（メタデータ） (2021-02-23T18:43:02Z) - Fuzzy Simplicial Networks: A Topology-Inspired Model to Improve Task
Generalization in Few-shot Learning [1.0062040918634414]
少ないショット学習アルゴリズムは、限られたデータで新しいタスクをうまく一般化するように設計されている。
本稿では,Fizzy Simplicial Networks (FSN) と呼ばれる,トポロジから構築したモデルを用いて,限られたデータから各クラスをより柔軟に表現する手法を提案する。
論文 参考訳（メタデータ） (2020-09-23T17:01:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。