論文の概要: A Fully Automated Pipeline for Conversational Discourse Annotation: Tree Scheme Generation and Labeling with Large Language Models

• arxiv url: http://arxiv.org/abs/2504.08961v1
• Date: Fri, 11 Apr 2025 20:36:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:53:13.502905
• Title: A Fully Automated Pipeline for Conversational Discourse Annotation: Tree Scheme Generation and Labeling with Large Language Models
• Title（参考訳）: 対話型談話アノテーションのための完全自動パイプライン:大規模言語モデルを用いた木図生成とラベリング
• Authors: Kseniia Petukhova, Ekaterina Kochmar,
• Abstract要約: 本稿では,そのようなスキームを構築し,アノテーションを実行するために,大規模言語モデルを用いた完全自動パイプラインを提案する。 我々は,従来の手作業で設計した木よりも優れており,その結果のアノテータを超えていることを示す。
• 参考スコア（独自算出の注目度）: 5.016171607846873
• License:
• Abstract: Recent advances in Large Language Models (LLMs) have shown promise in automating discourse annotation for conversations. While manually designing tree annotation schemes significantly improves annotation quality for humans and models, their creation remains time-consuming and requires expert knowledge. We propose a fully automated pipeline that uses LLMs to construct such schemes and perform annotation. We evaluate our approach on speech functions (SFs) and the Switchboard-DAMSL (SWBD-DAMSL) taxonomies. Our experiments compare various design choices, and we show that frequency-guided decision trees, paired with an advanced LLM for annotation, can outperform previously manually designed trees and even match or surpass human annotators while significantly reducing the time required for annotation. We release all code and resultant schemes and annotations to facilitate future research on discourse annotation.
• Abstract（参考訳）: 近年のLarge Language Models (LLM) の進歩は、会話のための談話アノテーションの自動化において有望であることを示している。 手動でツリーアノテーションのスキームを設計すると、人間やモデルのアノテーションの品質が大幅に向上するが、作成には時間がかかり、専門家の知識が必要になる。 そこで本研究では,LSMを用いてこのようなスキームを構築し,アノテーションを実行する完全自動パイプラインを提案する。 音声機能(SF)とSWBD-DAMSL(SWBD-DAMSL)の分類について検討した。 提案実験は, 各種の設計選択を比較し, 従来の手作業で設計した木よりも優れ, アノテーションに要する時間を大幅に短縮すると共に, 従来の手作業で設計した木よりも優れていることを示す。 談話アノテーションの今後の研究を促進するために、すべてのコードと結果のスキームとアノテーションをリリースする。

関連論文リスト

• SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models [88.29990536278167]
  SPaRは、木探索の自己精製を統合して、有効かつ同等な選好ペアを得るセルフプレイフレームワークである。 実験により,SPaRで誘導された3回の反復で訓練されたLLaMA3-8Bモデルが,一般機能を失うことなくIFEvalベンチマークでGPT-4-Turboを上回った。
  論文  参考訳（メタデータ） (2024-12-16T09:47:43Z)
• Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
  テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。 提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。 語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-11-04T06:07:53Z)
• TOWER: Tree Organized Weighting for Evaluating Complex Instructions [22.09369120921814]
  大規模な言語モデル(LLM)を評価して、複雑なヒューマン記述命令に従うことは、現実世界のアプリケーションへの展開に不可欠である。 そこで本稿では,人事的重要度を付加した新しい評価基準であるtextscTOWER を提案する。 ヒトのアノテータは他のヒトのアノテータとほぼ同程度に複雑な命令のツリーベース表現に一致していることを示す。
  論文  参考訳（メタデータ） (2024-10-08T14:46:50Z)
• DeSTA2: Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data [84.01401439030265]
  最近のエンドツーエンド言語モデル(SLM)は、大規模言語モデル(LLM)の機能に拡張されている。 音声とテキストのペアデータを生成するための,シンプルで効果的な自動処理手法を提案する。 本モデルでは,音声教育データを必要としない音声関連タスクの汎用性を示す。
  論文  参考訳（メタデータ） (2024-09-30T07:01:21Z)
• A Tale of Two Languages: Large-Vocabulary Continuous Sign Language Recognition from Spoken Language Supervision [74.972172804514]
  我々は,署名された言語と音声のテキスト間の共同埋め込み空間において,署名シーケンスと出力を抽出できるマルチタスクトランスフォーマーモデルCSLR2を導入する。 新しいデータセットアノテーションは、6時間のテストビデオに対して、連続的なサインレベルアノテーションを提供する。 私たちのモデルは、両方のタスクにおいて、過去の技術状況よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-05-16T17:19:06Z)
• Automatic Annotation of Grammaticality in Child-Caregiver Conversations [7.493963534076502]
  この研究は、子どもの言語習得を大規模に研究する上で、最先端のNLP手法の適用に関する文献の増大に寄与する。 本稿では,文脈依存型文法の符号化手法を提案し,大規模な会話コーパスから4,000以上の発話を注釈付けする。 以上の結果から,微調整トランスフォーマーを用いたモデルでは,人間間のアノテーション合意レベルを達成できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-03-21T08:00:05Z)
• Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
  生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。 自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。 本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T15:46:02Z)
• Automated Annotation with Generative AI Requires Validation [0.0]
  生成型大規模言語モデル(LLM)は、テキストアノテーションの手順を増強するための強力なツールである。 LLMのアノテーションポテンシャルを原則的かつ効率的な方法で活用するためのワークフローを概説する。 テキストアノテーションのLLM性能は有望であるが,データセットとアノテーションの型の両方に高い関連性があることが判明した。
  論文  参考訳（メタデータ） (2023-05-31T20:50:45Z)
• Annotation Curricula to Implicitly Train Non-Expert Annotators [56.67768938052715]
  自発的な研究は、しばしば、アノテータがタスク、そのアノテーションスキーム、およびデータドメインに精通することを要求する。 これは最初は圧倒的であり、精神的に課税され、結果として生じるアノテーションにエラーを誘導する。 暗黙的にアノテータを訓練する新しい手法であるアノテーションキュリキュラを提案する。
  論文  参考訳（メタデータ） (2021-06-04T09:48:28Z)
• Video Captioning Using Weak Annotation [41.80922782183158]
  ビデオキャプションモデルのトレーニングにおいて,強いアノテーションの代わりに弱いアノテーションを用いて検討する。 概念関係をモデル化するために,大文コーパスから外部知識を活用できる依存関係木を用いる。 本研究では,係り受け木を分散し,キャプションモデルを微調整することで文を洗練する反復改良アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-09-02T13:45:01Z)
• AMALGUM -- A Free, Balanced, Multilayer English Web Corpus [14.073494095236027]
  ジャンルバランスの取れたウェブコーパスを4Mトークンで提示する。 オープンなオンラインデータソースをタップすることで、コーパスはより小さく手作業で作成した注釈付きデータセットに代わる、より大きな代替手段を提供する。
  論文  参考訳（メタデータ） (2020-06-18T17:05:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。