Fugu-MT 論文翻訳(概要): Beyond the Tip of the Iceberg: Assessing Coherence of Text Classifiers

論文の概要: Beyond the Tip of the Iceberg: Assessing Coherence of Text Classifiers

arxiv url: http://arxiv.org/abs/2109.04922v1
Date: Fri, 10 Sep 2021 15:04:23 GMT
ステータス: 処理完了
システム内更新日: 2021-09-13 13:30:59.563936
Title: Beyond the Tip of the Iceberg: Assessing Coherence of Text Classifiers
Title（参考訳）: 氷山の一角を越えて:テキスト分類器の一貫性の評価
Authors: Shane Storks, Joyce Chai
Abstract要約: 大規模で事前訓練された言語モデルは、既存の言語理解タスクにおいて人間のレベルと超人的精度を達成する。予測コヒーレンスの新しい尺度による評価システムを提案する。
参考スコア（独自算出の注目度）: 0.05857406612420462
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As large-scale, pre-trained language models achieve human-level and superhuman accuracy on existing language understanding tasks, statistical bias in benchmark data and probing studies have recently called into question their true capabilities. For a more informative evaluation than accuracy on text classification tasks can offer, we propose evaluating systems through a novel measure of prediction coherence. We apply our framework to two existing language understanding benchmarks with different properties to demonstrate its versatility. Our experimental results show that this evaluation framework, although simple in ideas and implementation, is a quick, effective, and versatile measure to provide insight into the coherence of machines' predictions.
Abstract（参考訳）: 大規模で事前訓練された言語モデルは、既存の言語理解タスクにおいて人間のレベルと超人的精度を達成するため、ベンチマークデータと探索研究の統計バイアスは、最近彼らの真の能力に疑問を投げかけている。そこで本研究では,テキスト分類タスクの精度よりも情報的な評価を行うために,新しい予測コヒーレンス尺度による評価システムを提案する。フレームワークを異なる特性を持つ既存の2つの言語理解ベンチマークに適用し、その汎用性を実証する。実験の結果, この評価フレームワークは, アイデアや実装は単純ではあるが, 機械の予測の一貫性に関する洞察を提供するための迅速かつ効果的で多用途な尺度であることがわかった。

関連論文リスト

Manual Verbalizer Enrichment for Few-Shot Text Classification [1.860409237919611]
acrshortmaveは、クラスラベルの豊か化による動詞化のためのアプローチである。本モデルでは, 資源を著しく減らしながら, 最先端の成果が得られている。
論文参考訳（メタデータ） (2024-10-08T16:16:47Z)
Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文参考訳（メタデータ） (2023-07-16T15:18:25Z)
Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-27T10:40:59Z)
Towards Human-Centred Explainability Benchmarks For Text Classification [4.393754160527062]
本稿では,テキスト分類の妥当性を評価するために,テキスト分類ベンチマークを拡張することを提案する。有効な説明を行う能力について客観的に評価する上での課題について検討する。我々は、これらのベンチマークを人間中心のアプリケーションに基礎を置くことを提案する。
論文参考訳（メタデータ） (2022-11-10T09:52:31Z)
Few-shot Subgoal Planning with Language Models [58.11102061150875]
事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
論文参考訳（メタデータ） (2022-05-28T01:03:30Z)
CUGE: A Chinese Language Understanding and Generation Evaluation Benchmark [144.05723617401674]
汎用言語インテリジェンス評価は、自然言語処理の長年の目標である。汎用言語インテリジェンス評価には,ベンチマーク自体が包括的で体系的なものである必要がある,と我々は主張する。以下に示す機能を備えた中国語理解・生成評価ベンチマークであるCUGEを提案する。
論文参考訳（メタデータ） (2021-12-27T11:08:58Z)
Automated Speech Scoring System Under The Lens: Evaluating and interpreting the linguistic cues for language proficiency [26.70127591966917]
従来の機械学習モデルを用いて、音声認識タスクを分類と回帰問題の両方として定式化する。まず,5つのカテゴリー(頻度,発音,内容,文法,語彙,音響)で言語学の特徴を抽出し,応答を学習する。比較すると,回帰に基づくモデルでは,分類法と同等かそれ以上の性能があることがわかった。
論文参考訳（メタデータ） (2021-11-30T06:28:58Z)
TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文参考訳（メタデータ） (2021-03-21T17:20:38Z)
Hierarchical Bi-Directional Self-Attention Networks for Paper Review Rating Recommendation [81.55533657694016]
本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
論文参考訳（メタデータ） (2020-11-02T08:07:50Z)
Are Some Words Worth More than Others? [3.5598388686985354]
簡単な単語予測タスクの枠組み内での2つの本質的な評価手法を提案する。提案手法を用いて,広く使用されている大規模英語モデルの評価を行った。
論文参考訳（メタデータ） (2020-10-12T23:12:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。