論文の概要: Analyzing Public Discourse on Urbanism: Topic Clustering, Sentiment Analysis and Retrieval-Augmented Generation using YouTube Comments
- arxiv url: http://arxiv.org/abs/2609.22705v1
- Date: Sat, 19 Sep 2026 02:34:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.527598
- Title: Analyzing Public Discourse on Urbanism: Topic Clustering, Sentiment Analysis and Retrieval-Augmented Generation using YouTube Comments
- Title（参考訳）: 都市論に関する世論分析--YouTubeコメントを用いたトピック・クラスタリング, 感性分析, 検索型生成
- Abstract要約: 本稿では、地理的実体解決、トピックモデリング、感情分析、検索・拡張生成(RAG)を組み合わせたパイプラインと会話システムを提案する。
基底性評価では,複数文生成した要約を1つの短いコメントと比較すると,BERTScoreは使用できないことがわかった。
これらの知見は、都市域を超えて、短いユーザ生成ドキュメント上に構築されたRAGシステムに一般化される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online discourse about urban issues - walkability, cycling infrastructure, public transit, housing density, and street safety - is voluminous but unstructured, and existing city-evaluation tools capture none of it. We present a pipeline and conversational system that combines geographic entity resolution, topic modeling, sentiment analysis, and Retrieval-Augmented Generation (RAG) over 22,788 chunks of YouTube transcripts and comments spanning 309 North American cities. Beyond the system itself, our contribution is a set of measurements about what happens when standard NLP components meet short, informal, geographically ambiguous text. A Twitter-tuned RoBERTa classifier outperforms a VADER lexicon baseline by 12.6 macro-F1 points (0.589 vs. 0.464; McNemar p = 0.0001), but both models collapse on the neutral class, which dominates urbanist comment traffic; annotators disagree on the same class (Cohen's kappa = 0.53). Dense retrieval beats a TF-IDF baseline at every cutoff (P@5 0.790 vs. 0.560), and video-level relevance proxies understate chunk-level precision by a wide margin (0.660 vs. 0.94 under human rating). For groundedness evaluation, we find BERTScore unusable when a multi-sentence generated summary is compared against a single short comment - scores are nearly flat regardless of relevance - and show that ROUGE-1-based groundedness is a paraphrase-driven lower bound rather than a hallucination rate. These findings generalize beyond the urbanist domain to any RAG system built over short user-generated documents.
- Abstract（参考訳）: 都市問題(歩行性、サイクリングインフラ、公共交通機関、住宅密度、道路安全)に関するオンライン談話は輝かしいが、構造化されていない。
北米309都市にまたがる,22,788件のYouTubeテキストとコメントを,地理的実体分解,トピックモデリング,感情分析,検索・拡張生成(RAG)を組み合わせるパイプラインと会話システムを提案する。
システムそのもの以外にも、我々の貢献は、標準のNLPコンポーネントが短く、非公式で、地理的に曖昧なテキストに合うときに何が起こるか、という一連の測定である。
Twitterで調整されたRoBERTa分類器はVADER語彙ベースラインを12.6マクロF1ポイント(0.589 vs. 0.464; McNemar p = 0.0001)で上回るが、どちらのモデルも都市部のコメントトラフィックを支配している中立層で崩壊する。
デンス検索は、カットオフ毎のTF-IDFベースライン(P@5 0.790 vs. 0.560)を破り、ビデオレベルの関連プロキシは、チャンクレベルの精度を広いマージン(0.660 vs. 0.94)で達成する。
基底性評価では,複数文生成した要約を単一の短いコメントと比較すると,BERTScoreは使用不可能であることが分かり,ROUGE-1に基づく基底性は幻覚率よりもパラフレーズ駆動下限であることが示されている。
これらの知見は、都市域を超えて、短いユーザ生成ドキュメント上に構築されたRAGシステムに一般化される。
関連論文リスト
- When Does a Laugh Begin? Structured Annotator Disagreement in Temporal Laughter Localization [0.0]
注釈者は、笑いの境界と微妙なチャックルにいつも反対する。
この不一致は、ランダムノイズではなく、構造化されていることを示す。
本稿では,全アノテータ分布に対する予測値を評価する不一致校正評価を提案する。
論文 参考訳（メタデータ） (2026-09-06T14:56:26Z) - Structure-Aware Semantic Chunking with Title-Chain Prefixes: A 1600-Query Evaluation and the Measurement Trap in Text-Transform Ablations [4.342406076796542]
3段階のチャンク側のみのセマンティックチャンクパイプラインを提示する。
タイトルチェーンは、生成された要約ではなく、文書のヘッダ階層を再利用する。
パイプラインは完全なセットでMRR@5を0.374から0.463に、答え可能なサブセットで0.828から0.925に改善する。
論文 参考訳（メタデータ） (2026-08-01T19:01:46Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - Attribute-Based Diagnosis of LLM Alignment with Hate Speech Annotations [48.69228180369574]
ヘイトスピーチアノテーションはコストが高く、主観的で、アノテータの意見の相違がちである。
大規模言語モデル(LLM)が人間の判断とどのように一致しているかを分析する。
本研究では, ヘイトスピーチコーパスから連続ヘイトスピーチスコアを再構成する。
論文 参考訳（メタデータ） (2026-05-26T13:44:48Z) - Benchmarking Complex Multimodal Document Processing Pipelines: A Unified Evaluation Framework for Enterprise AI [0.0]
私たちはEnterpriseDocBenchを構築し、忠実さのパース、インデックス化の効率、検索の妥当性、生成の基盤化を推し進めました。
BM25、密封、ハイブリッドの3つのパイプラインを、すべて同じGPT-5ジェネレータで実行しました。
事実的正確性は85.5%だが、答えの完全性の平均は0.40である。
論文 参考訳（メタデータ） (2026-04-29T07:48:41Z) - ReviewGrounder: Improving Review Substantiveness with Rubric-Guided, Tool-Integrated Agents [50.27474750319121]
公式ガイドライン、論文の内容、人間によるレビューから派生した、紙固有のルーリックに従ってテキストをレビューする。
本稿では、公式ガイドライン、論文の内容、人手によるレビューに基づいて、レビューテキストを評価するベンチマークであるREVIEWBENCHを紹介する。
本稿では,レビューを起草段階と接地段階に分解するルーリック誘導ツール統合マルチエージェントフレームワークであるREVIEWGROUNDERを提案する。
論文 参考訳（メタデータ） (2026-04-15T16:33:04Z) - Where on Earth? A Vision-Language Benchmark for Probing Model Geolocation Skills Across Scales [61.03549470159347]
視覚言語モデル (VLM) は急速に進歩しているが, オープンワールド環境における画像位置決め能力は, 網羅的に評価されていない。
我々は、視覚認識、ステップバイステップ推論、エビデンス利用を評価するVLM画像位置情報の総合ベンチマークであるEarthWhereを提示する。
論文 参考訳（メタデータ） (2025-10-13T01:12:21Z) - SentiGOLD: A Large Bangla Gold Standard Multi-Domain Sentiment Analysis
Dataset and its Evaluation [0.9894420655516565]
センティゴルドはバングラデシュ政府とバングラデシュ言語委員会によって合意された、確立された言語慣習に準拠している。
このデータセットには、オンラインビデオコメント、ソーシャルメディア投稿、ブログ、ニュース、その他のソースからのデータが含まれている。
上位モデルは5つのクラスで0.62(イントラデータセット)のマクロf1スコアを獲得し、ベンチマークを設定し、3つのクラスで0.61(SentNoBのクロスデータセット)を得る。
論文 参考訳（メタデータ） (2023-06-09T12:07:10Z) - INSTRUCTSCORE: Explainable Text Generation Evaluation with Finegrained
Feedback [80.57617091714448]
テキスト生成のための説明可能な評価指標であるInstructScoreを提案する。
LLaMAに基づいてテキスト評価基準を微調整し、生成されたテキストのスコアと人間の可読性診断レポートを生成する。
論文 参考訳（メタデータ） (2023-05-23T17:27:22Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳（メタデータ） (2022-03-10T08:58:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。