論文の概要: Span Identification of Epistemic Stance-Taking in Academic Written
English
- arxiv url: http://arxiv.org/abs/2306.02038v1
- Date: Sat, 3 Jun 2023 07:32:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 20:34:06.933472
- Title: Span Identification of Epistemic Stance-Taking in Academic Written
English
- Title(参考訳): 学術文章英語における認識的スタンステイクのスパン同定
- Authors: Masaki Eguchi and Kristopher Kyle
- Abstract要約: 学術英語文における修辞的スタンスの特徴を特定するための新しいアプローチを導入する。
我々は8つの修辞的スタンスカテゴリに対して4,688文(126,411トークン)を手作業で注釈付けした。
我々は、これらのスタンス表現のスパンを特定し分類するために機械学習モデルを訓練する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Responding to the increasing need for automated writing evaluation (AWE)
systems to assess language use beyond lexis and grammar (Burstein et al.,
2016), we introduce a new approach to identify rhetorical features of stance in
academic English writing. Drawing on the discourse-analytic framework of
engagement in the Appraisal analysis (Martin & White, 2005), we manually
annotated 4,688 sentences (126,411 tokens) for eight rhetorical stance
categories (e.g., PROCLAIM, ATTRIBUTION) and additional discourse elements. We
then report an experiment to train machine learning models to identify and
categorize the spans of these stance expressions. The best-performing model
(RoBERTa + LSTM) achieved macro-averaged F1 of .7208 in the span identification
of stance-taking expressions, slightly outperforming the intercoder reliability
estimates before adjudication (F1 = .6629).
- Abstract(参考訳): 語彙と文法を超えた言語使用を評価するための自動筆記評価(awe)システムの必要性の高まりに対応して(burstein et al., 2016)、学術英語文章におけるスタンスの修辞的特徴を識別するための新しいアプローチを提案する。
評価分析における談話分析の枠組み(Martin & White, 2005)に基づき,8つの修辞的スタンスカテゴリ(ProproCLAIM, ATTRIBUTIONなど)と追加の談話要素について4,688文(126,411トークン)を手作業で注釈した。
次に、これらのスタンス表現のスパンを特定し分類するために機械学習モデルを訓練する実験を報告する。
ベストパフォーマンスモデル(roberta + lstm)は、スタンステイク表現のスパン識別において .7208 のマクロ平均 f1 を達成し、裁定前の符号間信頼性推定をわずかに上回った(f1 = .6629)。
関連論文リスト
- Speechworthy Instruction-tuned Language Models [71.8586707840169]
提案手法は,学習の促進と嗜好の両面において,一般的な命令調整型LLMの音声適合性の向上を図っている。
我々は,各手法が生成した応答の音声適合性向上にどのように貢献するかを示すために,語彙的,構文的,定性的な分析を共有する。
論文 参考訳(メタデータ) (2024-09-23T02:34:42Z) - Pragmatic Competence Evaluation of Large Language Models for the Korean Language [0.6757476692230009]
本研究では,Large Language Models (LLMs) が,特に韓国語における実践的視点から,文脈依存表現をいかによく理解しているかを評価する。
自動評価にはMultiple-Choice Questions(MCQ)と、専門家によるOEQ(Open-Ended Questions)の両方を用いる。
論文 参考訳(メタデータ) (2024-03-19T12:21:20Z) - Simple LLM Prompting is State-of-the-Art for Robust and Multilingual
Dialogue Evaluation [7.767020408405403]
本稿では,既存の評価モデルの強みを生かして,大規模言語モデル(LLM)の促進という新たなパラダイムを提案する。
実験により,本フレームワークは,いくつかのベンチマークにおいて,平均スピアマン相関スコアを用いて,技術結果の状態を達成していることを示す。
論文 参考訳(メタデータ) (2023-08-31T15:19:28Z) - Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language
Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。
ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。
また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文 参考訳(メタデータ) (2023-07-16T15:18:25Z) - Label Aware Speech Representation Learning For Language Identification [49.197215416945596]
本稿では,自己指導型表現学習と事前学習タスクのための言語ラベル情報を組み合わせた新しいフレームワークを提案する。
このフレームワークは、ラベル認識音声表現(LASR)学習と呼ばれ、三重項に基づく目的関数を使用して、言語ラベルと自己教師付き損失関数を組み込む。
論文 参考訳(メタデータ) (2023-06-07T12:14:16Z) - Evaluating OpenAI's Whisper ASR for Punctuation Prediction and Topic
Modeling of life histories of the Museum of the Person [1.6476042691556474]
この章は、ポルトガル語の句読点予測のためのウィスパーのパフォーマンスに関する最初の研究を提示する。
本研究では,人の生活史を語り,保存することを目的とした仮想博物館「人博物館」のビデオによる実験結果について分析する。
論文 参考訳(メタデータ) (2023-05-23T23:37:29Z) - From English to More Languages: Parameter-Efficient Model Reprogramming
for Cross-Lingual Speech Recognition [50.93943755401025]
言語間音声認識のためのニューラルモデル再プログラミングに基づく新しいパラメータ効率学習フレームワークを提案する。
我々は、学習可能な事前学習機能強化に焦点を当てた、異なる補助的ニューラルネットワークアーキテクチャを設計する。
提案手法は,既存のASRチューニングアーキテクチャとその拡張性能を自己監督的損失で向上させる。
論文 参考訳(メタデータ) (2023-01-19T02:37:56Z) - Cross-Lingual Speaker Identification Using Distant Supervision [84.51121411280134]
本稿では,文脈推論の欠如や言語間一般化の低さといった問題に対処する話者識別フレームワークを提案する。
その結果,2つの英語話者識別ベンチマークにおいて,従来の最先端手法よりも9%の精度,5%の精度で性能が向上することが示唆された。
論文 参考訳(メタデータ) (2022-10-11T20:49:44Z) - Automated Speech Scoring System Under The Lens: Evaluating and
interpreting the linguistic cues for language proficiency [26.70127591966917]
従来の機械学習モデルを用いて、音声認識タスクを分類と回帰問題の両方として定式化する。
まず,5つのカテゴリー(頻度,発音,内容,文法,語彙,音響)で言語学の特徴を抽出し,応答を学習する。
比較すると,回帰に基づくモデルでは,分類法と同等かそれ以上の性能があることがわかった。
論文 参考訳(メタデータ) (2021-11-30T06:28:58Z) - Leveraging Pre-trained Language Model for Speech Sentiment Analysis [58.78839114092951]
本研究では、事前学習された言語モデルを用いて、文章の感情情報を学習し、音声の感情分析を行う。
本稿では,言語モデルを用いた擬似ラベルに基づく半教師付き訓練戦略を提案する。
論文 参考訳(メタデータ) (2021-06-11T20:15:21Z) - Pretraining with Contrastive Sentence Objectives Improves Discourse
Performance of Language Models [29.40992909208733]
本研究では,会話コヒーレンスと文間距離をモデル化した言語モデルの事前学習のための文間目的であるconPONOを提案する。
談話表現ベンチマークのDiscoEvalでは、これまでの最先端技術よりも最大13%改善しています。
また,言論を明示的に評価しないタスクにおいても,ConPONOは2%~6%の利得が得られることを示した。
論文 参考訳(メタデータ) (2020-05-20T23:21:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。