Fugu-MT 論文翻訳(概要): Using LLM-assisted Annotation for Corpus Linguistics: A Case Study of Local Grammar Analysis

論文の概要: Using LLM-assisted Annotation for Corpus Linguistics: A Case Study of Local Grammar Analysis

arxiv url: http://arxiv.org/abs/2305.08339v1
Date: Mon, 15 May 2023 04:10:13 GMT
ステータス: 処理完了
システム内更新日: 2023-05-16 16:09:54.671511
Title: Using LLM-assisted Annotation for Corpus Linguistics: A Case Study of Local Grammar Analysis
Title（参考訳）: コーパス言語学におけるLLM補助アノテーションの使用:局所文法解析を事例として
Authors: Danni Yu, Luyang Li, Hang Su
Abstract要約: 大きな言語モデル(LLM)は、言語理解において強力な能力を示している。本研究では,テキストの自動アノテーションによるコーパスに基づく言語研究を支援するLLMの可能性を探る。
参考スコア（独自算出の注目度）: 8.789656856095947
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Chatbots based on Large Language Models (LLMs) have shown strong capabilities in language understanding. In this study, we explore the potential of LLMs in assisting corpus-based linguistic studies through automatic annotation of texts with specific categories of linguistic information. Specifically, we examined to what extent LLMs understand the functional elements constituting the speech act of apology from a local grammar perspective, by comparing the performance of ChatGPT (powered by GPT-3.5), Bing chatbot (powered by GPT-4), and a human coder in the annotation task. The results demonstrate that Bing chatbot significantly outperformed ChatGPT in the task. Compared to human annotator, the overall performance of Bing chatbot was slightly less satisfactory. However, it already achieved high F1 scores: 99.95% for the tag of APOLOGISING, 91.91% for REASON, 95.35% for APOLOGISER, 89.74% for APOLOGISEE, and 96.47% for INTENSIFIER. Therefore, we propose that LLM-assisted annotation is a promising automated approach for corpus studies.
Abstract（参考訳）: 大規模言語モデル(LLM)に基づくチャットボットは、言語理解において強力な能力を示している。本研究では,特定のカテゴリの言語情報を含むテキストの自動アノテーションにより,コーパスに基づく言語研究を支援するllmの可能性を検討する。具体的には,局所文法の観点から,LLMが言語行動を構成する機能的要素をどの程度理解しているかを,ChatGPT(GPT-3.5),Bingチャットボット(GPT-4),およびアノテーションタスクにおける人間コーダのパフォーマンスを比較して検討した。その結果, Bing チャットボットはタスクにおける ChatGPT を著しく上回った。人間アノテータと比較して、Bingチャットボットの全体的なパフォーマンスはわずかに満足できなかった。 APOLOGISINGのタグは99.95%、REASONは91.91%、APOLOGISERは95.35%、APOLOGISEEは89.74%、INTENSIFIERは96.47%だった。そこで本研究では,llm支援アノテーションがコーパス研究に有望な自動アプローチであることを示す。

関連論文リスト

Detecting Document-level Paraphrased Machine Generated Content: Mimicking Human Writing Style and Involving Discourse Features [57.34477506004105]
機械生成コンテンツは、学術プラジャリズムや誤報の拡散といった課題を提起する。これらの課題を克服するために、新しい方法論とデータセットを導入します。人間の筆記スタイルをエミュレートするエンコーダデコーダモデルであるMhBARTを提案する。また,PDTB前処理による談話解析を統合し,構造的特徴を符号化するモデルであるDTransformerを提案する。
論文参考訳（メタデータ） (2024-12-17T08:47:41Z)
GPT Assisted Annotation of Rhetorical and Linguistic Features for Interpretable Propaganda Technique Detection in News Text [1.2699007098398802]
本研究は, 説得の言語に関する文献で同定された22の修辞的, 言語学的特徴を分類した。 WebアプリケーションであるRhetAnnは、そうでなければかなりの精神的な努力を最小限に抑えるように設計されている。注釈付きデータの小さなセットは、生成的大言語モデル(LLM)であるGPT-3.5を微調整し、残りのデータに注釈を付けた。
論文参考訳（メタデータ） (2024-07-16T15:15:39Z)
Towards Automating Text Annotation: A Case Study on Semantic Proximity Annotation using GPT-4 [4.40960504549418]
本稿では、自動プロンプトを設計するための注釈付きデータとともに、人間のアノテーションガイドラインを再利用する。オープンソースのテキストアノテーションツールにプロンプト戦略を実装し、OpenAI APIによるオンライン利用を容易にします。
論文参考訳（メタデータ） (2024-07-04T19:16:44Z)
Automatic Annotation of Grammaticality in Child-Caregiver Conversations [7.493963534076502]
この研究は、子どもの言語習得を大規模に研究する上で、最先端のNLP手法の適用に関する文献の増大に寄与する。本稿では,文脈依存型文法の符号化手法を提案し,大規模な会話コーパスから4,000以上の発話を注釈付けする。以上の結果から,微調整トランスフォーマーを用いたモデルでは,人間間のアノテーション合意レベルを達成できる可能性が示唆された。
論文参考訳（メタデータ） (2024-03-21T08:00:05Z)
Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
論文参考訳（メタデータ） (2023-05-23T04:28:16Z)
Towards Computationally Verifiable Semantic Grounding for Language Models [18.887697890538455]
本論文は、エンティティ関係三重項の集合として形式化された所望のセマンティックメッセージが与えられた条件モデル生成テキストとしてLMを概念化する。 LMを自動エンコーダに埋め込むと、出力が入力メッセージと同じ表現領域にあるセマンティック・フラエンシに出力を送り込む。提案手法は,グリーディ検索のベースラインを大幅に改善することを示す。
論文参考訳（メタデータ） (2022-11-16T17:35:52Z)
Prompting Language Models for Linguistic Structure [73.11488464916668]
本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。 PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
論文参考訳（メタデータ） (2022-11-15T01:13:39Z)
Bidirectional Language Models Are Also Few-shot Learners [54.37445173284831]
SAP(Sequential Autoregressive Prompting)は,双方向モデルの高速化を実現する技術である。 SAPは質問応答と要約に有効であることを示す。この結果から,より広範な言語モデルの創発的特性として,プロンプトに基づく学習が証明された。
論文参考訳（メタデータ） (2022-09-29T01:35:57Z)
Few-Shot Semantic Parsing with Language Models Trained On Code [52.23355024995237]
Codexは同等のGPT-3モデルよりもセマンティックパーシングが優れていることがわかった。 GPT-3とは異なり、Codexは意味表現を直接ターゲットとする場合、おそらく意味解析で使われる意味表現がコードと似た構造になっているように、同じように機能する。
論文参考訳（メタデータ） (2021-12-16T08:34:06Z)
On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
論文参考訳（メタデータ） (2021-10-15T21:41:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。