論文の概要: Codebook-Injected Dialogue Segmentation for Multi-Utterance Constructs Annotation: LLM-Assisted and Gold-Label-Free Evaluation
- arxiv url: http://arxiv.org/abs/2601.12061v1
- Date: Sat, 17 Jan 2026 14:17:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-21 22:47:22.44268
- Title: Codebook-Injected Dialogue Segmentation for Multi-Utterance Constructs Annotation: LLM-Assisted and Gold-Label-Free Evaluation
- Title(参考訳): 複数発話構造アノテーションのためのコードブックインジェクションダイアログセグメンテーション:LLM支援とゴールドラベルフリー評価
- Authors: Jinsook Lee, Kirk Vanacore, Zhuqian Zhou, Jeanine Grutter, Rene F. Kizilcec,
- Abstract要約: 対話法(DA)のアノテーションは、コミュニケーションや教育の意図を、個々の発話や旋回に局所化したものとして扱う。
本稿では,下流の基準値に基づいて境界決定を行うコードブック注入セグメンテーションを提案する。
DA認識はテキストのみのベースラインよりも内部的に一貫性のあるセグメントを生成する。
- 参考スコア(独自算出の注目度): 0.11744028458220429
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Dialogue Act (DA) annotation typically treats communicative or pedagogical intent as localized to individual utterances or turns. This leads annotators to agree on the underlying action while disagreeing on segment boundaries, reducing apparent reliability. We propose codebook-injected segmentation, which conditions boundary decisions on downstream annotation criteria, and evaluate LLM-based segmenters against standard and retrieval-augmented baselines. To assess these without gold labels, we introduce evaluation metrics for span consistency, distinctiveness, and human-AI distributional agreement. We found DA-awareness produces segments that are internally more consistent than text-only baselines. While LLMs excel at creating construct-consistent spans, coherence-based baselines remain superior at detecting global shifts in dialogue flow. Across two datasets, no single segmenter dominates. Improvements in within-segment coherence frequently trade off against boundary distinctiveness and human-AI distributional agreement. These results highlight segmentation as a consequential design choice that should be optimized for downstream objectives rather than a single performance score.
- Abstract(参考訳): 対話法(DA)アノテーションは通常、個々の発話や回転に局所化されるコミュニケーションや教育の意図を扱います。
これにより、アノテータはセグメント境界に異を唱えながら、基盤となるアクションに同意するようになり、明らかな信頼性が低下する。
本稿では,下流の基準値に基づいて境界決定を条件としたコードブック注入セグメンテーションを提案し,LLMに基づくセグメンタを標準および検索拡張ベースラインに対して評価する。
金のラベルを使わずにこれらの評価を行うため、一貫性、特徴性、人間とAIの分布合意を評価するための評価指標を導入する。
DA認識はテキストのみのベースラインよりも内部的に一貫性のあるセグメントを生成することがわかった。
LLMは構成整合スパンの作成に優れるが、コヒーレンスベースラインは対話フローのグローバルシフトを検出するのに優れている。
2つのデータセットにまたがって、単一のセグメンタが支配的になることはない。
セグメント内コヒーレンスの改善は、境界の独自性や人間とAIの分配的合意とはしばしば相反する。
これらの結果は、単一パフォーマンススコアではなく、下流の目的に最適化されるべき、連続的な設計選択としてセグメンテーションを強調します。
関連論文リスト
- SegNSP: Revisiting Next Sentence Prediction for Linear Text Segmentation [5.476083747178194]
我々は,次の文予測(NSP)タスクとして線形テキストセグメンテーションをフレーミングするSegNSPを紹介する。
ラベルに依存しない NSP アプローチを提案し,次の文が明示的な話題ラベルを必要とせずに現在の話題を継続するかどうかを予測する。
CitiLink-MinutesとWikiSectionという2つのデータセットのベースラインに対して,我々のモデルを評価する。
論文 参考訳(メタデータ) (2026-01-07T00:02:30Z) - Paragraph Segmentation Revisited: Towards a Standard Task for Structuring Speech [61.00008468914252]
本稿では,音声処理とテキストセグメンテーションの交点における3つのギャップを埋める,欠落した構造化ステップとして,段落セグメンテーションを再考する。
ベンチマークは、伝統的に段落のセグメンテーションが後処理の一部ではない未調査の音声領域に焦点を当てている。
第二に、制約付き復号法を提案し、大言語モデルが原文を保存しながら段落を挿入できるようにする。
第三に、コンパクトモデル(MiniSeg)が最先端の精度を実現し、階層的に拡張されると、最小計算コストで章や段落を共同で予測できることが示される。
論文 参考訳(メタデータ) (2025-12-30T23:29:51Z) - When F1 Fails: Granularity-Aware Evaluation for Dialogue Topic Segmentation [0.0]
本稿では,ウィンドウ耐性F1(W-F1)とともに境界密度とセグメントアライメント診断(純度とカバレッジ)を報告する評価フレームワークを提案する。
境界選択から境界スコアを分離することにより, 1つの操作点ではなく, 密度レジーム間のセグメンテーション品質を評価する。
論文 参考訳(メタデータ) (2025-12-18T21:29:43Z) - SPARTA: Evaluating Reasoning Segmentation Robustness through Black-Box Adversarial Paraphrasing in Text Autoencoder Latent Space [11.534994345027362]
MLLM(Multimodal large language model)は、推論セグメンテーションなどの視覚言語タスクにおいて顕著な機能を示す。
そこで本研究では,従来の問合せの意味を保ちつつ,セグメンテーション性能を劣化させつつ,文法的に正しい言い回しを生成する,新しい逆の言い回しタスクを提案する。
テキストオートエンコーダの低次元意味潜在空間で動作するブラックボックスであるSPARTAを導入する。
論文 参考訳(メタデータ) (2025-10-28T14:09:05Z) - LIRA: Inferring Segmentation in Large Multi-modal Models with Local Interleaved Region Assistance [54.683384204063934]
大規模マルチモーダルモデル(LMM)は不正確なセグメンテーションと幻覚的理解に苦しむ。
視覚的理解とセグメンテーションの相補的関係を生かしたフレームワークであるLIRAを提案する。
LIRAはセグメンテーションと理解タスクの両方で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-07-08T07:46:26Z) - Coherent Entity Disambiguation via Modeling Topic and Categorical
Dependency [87.16283281290053]
従来のエンティティ曖昧化(ED)メソッドは、参照コンテキストと候補エンティティの一致するスコアに基づいて予測を行う、識別パラダイムを採用している。
本稿では,エンティティ予測のコヒーレンス向上を目的とした新しいデザインを備えたEDシステムであるCoherentedを提案する。
我々は、人気EDベンチマークにおいて、平均1.3F1ポイントの改善により、最先端の新たな結果を得る。
論文 参考訳(メタデータ) (2023-11-06T16:40:13Z) - Sentiment Analysis through LLM Negotiations [58.67939611291001]
感情分析の標準的なパラダイムは、単一のLCMに依存して、その決定を1ラウンドで行うことである。
本稿では,感情分析のためのマルチLLMネゴシエーションフレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-03T12:35:29Z) - Panoptic Out-of-Distribution Segmentation [11.388678390784195]
連立画素レベルのセマンティック・イン・ディストリビューションとインスタンス予測を用いたアウト・オブ・ディストリビューション分類のためのパノプティカル・アウト・オブ・ディストリビューションを提案する。
データセット、コード、トレーニングされたモデルをhttp://pods.cs.uni-freiburg.deで公開しています。
論文 参考訳(メタデータ) (2023-10-18T08:38:31Z) - SWING: Balancing Coverage and Faithfulness for Dialogue Summarization [67.76393867114923]
本稿では,自然言語推論(NLI)モデルを用いて,事実の不整合を回避し,カバレッジを向上させることを提案する。
我々は、NLIを用いて詳細なトレーニング信号を計算し、モデルがカバーされていない参照サマリーのコンテンツを生成することを奨励する。
DialogSumおよびSAMSumデータセットの実験により,提案手法の有効性が確認された。
論文 参考訳(メタデータ) (2023-01-25T09:33:11Z) - FlowEval: A Consensus-Based Dialogue Evaluation Framework Using Segment
Act Flows [63.116280145770006]
本稿では,音声レベルからセグメントレベルへのダイアログ行為の拡張であるセグメントアクトを提案し,大規模データセットをクラウドソースする。
セグメントアクトフローを利用するために,セグメントアクションのシーケンスを評価のために,最初のコンセンサスに基づく対話評価フレームワークであるFlowEvalを開発した。
論文 参考訳(メタデータ) (2022-02-14T11:37:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。