論文の概要: Dialect Diversity in Text Summarization on Twitter
- arxiv url: http://arxiv.org/abs/2007.07860v2
- Date: Sun, 4 Apr 2021 22:49:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 06:22:23.490843
- Title: Dialect Diversity in Text Summarization on Twitter
- Title(参考訳): Twitterにおけるテキスト要約の多様性
- Authors: Vijay Keswani and L. Elisa Celis
- Abstract要約: 方言バイアスは、共通の要約アプローチによって生成された要約に見られます。
我々は、既存のテキスト要約アルゴリズムをブラックボックスとして取り込むフレームワークを採用し、方言の異なる文の小さなセットを用いて、比較的方言の異なる要約を返す。
人種や性別によって定義された異なる社会集団が使用する方言で書かれた投稿を含むTwitterデータセット上で、我々のアプローチの有効性を示す。
- 参考スコア(独自算出の注目度): 24.221770962980614
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Discussions on Twitter involve participation from different communities with
different dialects and it is often necessary to summarize a large number of
posts into a representative sample to provide a synopsis. Yet, any such
representative sample should sufficiently portray the underlying dialect
diversity to present the voices of different participating communities
representing the dialects. Extractive summarization algorithms perform the task
of constructing subsets that succinctly capture the topic of any given set of
posts. However, we observe that there is dialect bias in the summaries
generated by common summarization approaches, i.e., they often return summaries
that under-represent certain dialects.
The vast majority of existing "fair" summarization approaches require
socially salient attribute labels (in this case, dialect) to ensure that the
generated summary is fair with respect to the socially salient attribute.
Nevertheless, in many applications, these labels do not exist. Furthermore, due
to the ever-evolving nature of dialects in social media, it is unreasonable to
label or accurately infer the dialect of every social media post. To correct
for the dialect bias, we employ a framework that takes an existing text
summarization algorithm as a blackbox and, using a small set of dialect-diverse
sentences, returns a summary that is relatively more dialect-diverse.
Crucially, this approach does not need the posts being summarized to have
dialect labels, ensuring that the diversification process is independent of
dialect classification/identification models. We show the efficacy of our
approach on Twitter datasets containing posts written in dialects used by
different social groups defined by race or gender; in all cases, our approach
leads to improved dialect diversity compared to standard text summarization
approaches.
- Abstract(参考訳): Twitter上での議論には、異なる方言を持つ異なるコミュニティからの参加が含まれており、多くの投稿を代表的なサンプルにまとめてシナプスを提供する必要があることが多い。
しかし、そのような代表的サンプルは、方言を代表する異なるコミュニティの声を示すために、方言の多様性を十分に描写すべきである。
抽出要約アルゴリズムは、任意のポストのトピックを簡潔にキャプチャするサブセットを構築するタスクを実行する。
しかし、共通要約アプローチによって生成された要約には方言バイアスがあること、すなわち、特定の方言を過小に表現する要約を返すことがしばしばある。
既存の「公正な」要約アプローチの大多数は、社会的に有意な属性ラベル(この場合、方言)を必要とし、生成された要約が社会的に有意な属性に対して公平であることを保証する。
しかし、多くのアプリケーションではこれらのラベルは存在しない。
さらに、ソーシャルメディアにおける方言が進化し続けているため、全てのソーシャルメディア投稿の方言をラベル付けしたり正確に推測することは理不尽である。
方言バイアスを正すために,既存のテキスト要約アルゴリズムをブラックボックスとして,方言多様性文の小さなセットを用いて,比較的方言多様性のある要約を返却する枠組みを用いる。
重要なことは、このアプローチは方言ラベルを持つために要約されるポストを必要とせず、多様化過程が方言分類・識別モデルに依存しないことを保証する。
本手法は,人種や性別によって異なる社会集団が使用する方言で書かれた投稿を含むtwitterデータセット上での有効性を示すものであり,いずれの場合においても,標準テキスト要約手法と比較して方言多様性の向上につながる。
関連論文リスト
- Task-Agnostic Low-Rank Adapters for Unseen English Dialects [52.88554155235167]
LLM(Large Language Models)は、標準アメリカ英語を好んで不均等に重み付けされたコーパスで訓練される。
HyperLoRAは、方言特化情報と方言横断情報を混同することにより、タスクに依存しない方法で未確認の方言への一般化を改善する。
論文 参考訳(メタデータ) (2023-11-02T01:17:29Z) - Towards dialect-inclusive recognition in a low-resource language: are
balanced corpora the answer? [5.1121440213561335]
本研究は,話者の方言が認識性能に与える影響を定量化するための診断である。
12のASRシステムは、方言バランスの訓練コーパスとベースラインコーパスの修正版を用いて訓練された。
その結果、方言バランスの取れたコーパスは、方言全体で同様のパフォーマンスを得られないことが示唆された。
Co と Mu の方言の間には密接な関係があるが、対称ではないものが存在する。
論文 参考訳(メタデータ) (2023-07-14T12:18:38Z) - DADA: Dialect Adaptation via Dynamic Aggregation of Linguistic Rules [64.93179829965072]
DADAは、多言語対応のSAE訓練モデルに対するモジュラーアプローチである。
DADAは単一タスクと命令言語モデルの両方に有効であることを示す。
論文 参考訳(メタデータ) (2023-05-22T18:43:31Z) - End-to-End Automatic Speech Recognition model for the Sudanese Dialect [0.0]
本稿では,スーダン方言における音声認識モデルの設計の可能性を検討する。
本稿では,スーダン方言の概要と表現資源の収集作業,および質素なデータセット構築のための前処理について述べる。
設計されたモデルは、現在の認識タスクに関するいくつかの洞察を与え、平均的なラベルエラーレート73.67%に達した。
論文 参考訳(メタデータ) (2022-12-21T07:35:33Z) - Multi-VALUE: A Framework for Cross-Dialectal English NLP [49.55176102659081]
マルチディレクト (Multi-Dilect) は、50の英語方言にまたがる制御可能なルールベースの翻訳システムである。
ストレステストは、非標準方言の先行モデルに対する顕著な性能格差を示す。
私たちはチカノやインド英語のネイティブスピーカーと提携して、人気のあるCoQAタスクの新しいゴールドスタンダード版をリリースしています。
論文 参考訳(メタデータ) (2022-12-15T18:17:01Z) - Self-Supervised Speech Representation Learning: A Review [105.1545308184483]
自己教師付き表現学習法は、幅広いタスクやドメインに利益をもたらす単一の普遍的モデルを約束する。
音声表現学習は、生成的、コントラスト的、予測的という3つの主要なカテゴリで同様の進歩を経験している。
本稿では,自己指導型音声表現学習のアプローチと,他の研究領域との関係について述べる。
論文 参考訳(メタデータ) (2022-05-21T16:52:57Z) - A Highly Adaptive Acoustic Model for Accurate Multi-Dialect Speech
Recognition [80.87085897419982]
単一AMを用いた高精度多言語音声認識のための新しい音響モデリング手法を提案する。
提案するAMは、方言情報とその内部表現に基づいて動的に適応し、複数の方言を同時に扱うための高度適応型AMとなる。
大規模音声データセットにおける実験結果から,提案したAMは,方言固有のAMと比較して,単語誤り率(WER)が8.11%,方言固有のAMに比べて7.31%向上していることがわかった。
論文 参考訳(メタデータ) (2022-05-06T06:07:09Z) - Automatic Dialect Density Estimation for African American English [74.44807604000967]
アフリカ・アメリカン・イングリッシュ(AAE)方言の方言密度の自動予測について検討する。
方言密度は、非標準方言の特徴を含む発話における単語の割合として定義される。
このデータベースでは,AAE音声に対する予測された真理弁証密度と地上の真理弁証密度との間に有意な相関関係を示す。
論文 参考訳(メタデータ) (2022-04-03T01:34:48Z) - Learning to Recognize Dialect Features [21.277962038423123]
本稿では,方言の特徴検出の課題を紹介するとともに,2つのマルチタスク学習手法を提案する。
言語学者は通常、方言の特徴をどのように定義するかに基づいて、モデルを少数の最小のペアでトレーニングします。
論文 参考訳(メタデータ) (2020-10-23T23:25:00Z) - Diversifying Dialogue Generation with Non-Conversational Text [38.03510529185192]
非会話的テキストを活用することで対話生成を多様化する新しい視点を提案する。
我々は、フォーラムコメント、イディオム、本スニペットを含む複数の情報源から、大規模な非会話コーパスを収集する。
得られたモデルは、2つの会話データセット上でテストされ、コンテキストとの関連性を犠牲にすることなく、はるかに多様な応答を生成することが示されている。
論文 参考訳(メタデータ) (2020-05-09T02:16:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。