論文の概要: LLMs for automatic annotation of Mandarin narrative transcripts

• arxiv url: http://arxiv.org/abs/2605.17205v1
• Date: Sun, 17 May 2026 00:37:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.734938
• Title: LLMs for automatic annotation of Mandarin narrative transcripts
• Title（参考訳）: マンダリン物語テキストの自動アノテーションのためのLLM
• Authors: Qingwen Zhao, Hongao Zhu, Yunqi He, Rui Wang, Aijun Huang, Hai Hu,
• Abstract要約: 転写音声の言語アノテーションは、言語習得、言語障害、社会言語学の研究に不可欠である。 本研究では,Large Language Models (LLMs) がマンダリン音声における物語のマクロ構造を確実に注釈できるかどうかを評価する。
• 参考スコア（独自算出の注目度）: 5.563209220962405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linguistic annotation of transcribed speech is essential for research in language acquisition, language disorders, and sociolinguistics, yet remains labor-intensive and time-consuming. While Large Language Models (LLMs) have shown promise in automating annotation tasks, their ability to handle complex discourse-level annotation in non-English languages remains understudied. This study evaluates whether LLMs can reliably annotate narrative macrostructure-the hierarchical organization of story grammar elements-in spoken Mandarin, using the Multilingual Assessment Instrument for Narratives (MAIN) as a testbed. We compared four LLMs against trained human annotators on narratives produced by children, young adults, and older adults. The best-performing model achieved agreement with human raters (k=.794) approaching human-human reliability levels (k=.872) while reducing annotation time by 65%, whereas the locally deployable lightweight model performed substantially worse. Annotation difficulty varied systematically by macrostructure element type, with categories requiring subtle semantic differentiation posing persistent challenges. Furthermore, model reliability decreased on young adult narratives, which exhibited greater lexical variation, semantic ambiguity, and multi-element integration within single utterances. These findings suggest that LLMs can effectively support discourse-level annotation in non-English spoken corpora, while highlighting the continued need for human oversight in semantically complex tasks. Our prompt templates are open sourced for future use.
• Abstract（参考訳）: 書き起こされた音声の言語アノテーションは、言語習得、言語障害、社会言語学の研究に不可欠であるが、それでも労働集約的で時間を要する。 大規模言語モデル(LLM)は、アノテーションタスクの自動化において有望であることを示しているが、非英語言語における複雑な談話レベルのアノテーションを扱う能力はまだ検討されていない。 本研究では,LLMが物語のマクロ構造を確実にアノテートできるかどうかを,マルチリンガル・アセスメント・アセスメント・フォー・ナラティブズ(MAIN)をテストベッドとして評価する。 子ども, 若年者, 高齢者の物語において, 訓練されたヒトアノテータと4つのLDMを比較した。 最高の性能モデルは人間の信頼性レベル(k=.872)に近づき、アノテーションの時間を65%短縮する一方で、局所的に展開可能な軽量モデルは著しく悪化した。 注釈の難易度は、マクロ構造要素タイプによって体系的に変化し、カテゴリーは、永続的な課題を呈する微妙な意味分化を必要とする。 さらに, モデル信頼性は, 語彙的変化, 意味的あいまいさ, 単一発話における多要素統合を示す若年成人の物語において低下した。 これらの結果から,LLMは非英語音声コーパスにおける言論レベルのアノテーションを効果的にサポートし,意味論的に複雑なタスクにおける人間の監視の継続の必要性を強調した。 私たちのプロンプトテンプレートは、将来の使用のためにオープンソースです。

関連論文リスト

• LLM Probe: Evaluating LLMs for Low-Resource Languages [6.177998679139308]
  本稿では,低リソース言語における大規模言語モデル (LLM) の言語能力を評価するための語彙ベースアセスメントフレームワークを提案する。 このフレームワークは、語彙アライメント、音声認識、モルフォシンタクティック・プロービング、翻訳精度の4つの領域にわたるモデルを分析する。
  論文  参考訳（メタデータ） (2026-03-31T10:03:38Z)
• Large language models struggle with ethnographic text annotation [0.0]
  大規模言語モデル(LLM)は自動テキストアノテーションの約束を示す。 567点の抽出液に121点の儀式的特徴を付加する能力について,最先端のLDM7点について検討した。 パフォーマンスは制限され、信頼性の高い自動アノテーションに必要なレベルを大きく下回った。
  論文  参考訳（メタデータ） (2026-01-17T16:39:07Z)
• Language Surgery in Multilingual Large Language Models [39.66404344691661]
  大規模言語モデル(LLM)はタスクや言語にまたがる顕著な一般化機能を示している。 本稿では, LLMにおける自然に出現する表現アライメント, 特に中層における表現アライメントについて検討する。 Inference-Time Language Control (ITLC) を提案する。
  論文  参考訳（メタデータ） (2025-06-14T11:09:50Z)
• Speech-IFEval: Evaluating Instruction-Following and Quantifying Catastrophic Forgetting in Speech-Aware Language Models [49.1574468325115]
  本稿では,命令追従能力を評価するための評価フレームワークであるSpeech-IFevalを紹介する。 近年のSLMは,音声認識を大規模言語モデル (LLM) と統合し,音声中心の訓練によるテキスト能力の低下を招いている。 以上の結果から, SLM はテキストベースの LLM よりもはるかに高い性能を示し, 基本命令にも耐え難いことが示唆された。
  論文  参考訳（メタデータ） (2025-05-25T08:37:55Z)
• When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners [111.50503126693444]
  言語固有のアブレーションは多言語推論性能を継続的に向上させることを示す。 トレーニング後のアブレーションと比較して、トレーニング不要のアブレーションは、計算オーバーヘッドを最小限に抑えながら、同等または優れた結果が得られる。
  論文  参考訳（メタデータ） (2025-05-21T08:35:05Z)
• Comparing LLM Text Annotation Skills: A Study on Human Rights Violations in Social Media Data [2.812898346527047]
  本研究では,ロシア語とウクライナ語におけるソーシャルメディア投稿のゼロショットおよび少数ショットアノテーションに対する大規模言語モデル(LLM)の機能について検討した。 これらのモデルの有効性を評価するため、それらのアノテーションは、人間の二重注釈付きラベルのゴールドスタンダードセットと比較される。 この研究は、各モデルが示すエラーと不一致のユニークなパターンを探求し、その強み、制限、言語間適応性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-15T13:10:47Z)
• Linguistic Blind Spots of Large Language Models [14.755831733659699]
  言語アノテーションタスクにおける最近の大規模言語モデル(LLM)の性能について検討する。 近年の LLM は言語クエリに対処する上で有効性が限られており,言語学的に複雑な入力に苦しむことが多い。 この結果から,LLMの設計・開発における今後の進歩を示唆する知見が得られた。
  論文  参考訳（メタデータ） (2025-03-25T01:47:13Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)
• CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
  本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。 我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-10-24T08:56:49Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。