論文の概要: BanglishDepYT: Depression Detection in Native Bengali Social Media with Emotion-Preserving Preprocessing and Domain-Adaptive Pretraining

• arxiv url: http://arxiv.org/abs/2611.01633v1
• Date: Sun, 01 Nov 2026 06:37:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.489259
• Title: BanglishDepYT: Depression Detection in Native Bengali Social Media with Emotion-Preserving Preprocessing and Domain-Adaptive Pretraining
• Title（参考訳）: BanglishDepYT:感情保存前処理とドメイン適応前処理によるベンガル人ソーシャルメディアの抑うつ検出
• Abstract要約: 抑うつは南アジア全体で何百万人ものベンガル語話者に影響を与える。 このようなデータセットは、エモティコンを捉えたり、ベンガル語をローマ化したり、現実の苦悩の表現を特徴づける細長い綴りをつかむことはできない。 本研究では,エモティコンをセマンティックタグに変換し,バングリッシュトークンを保存し,否定語を保護し,感情的伸長を正規化するEPH(Emotion-Preserving Hybrid Preprocessing)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Depression affects millions of Bengali speakers across South Asia, yet automated detection systems have relied almost entirely on datasets translated from English. Such datasets cannot capture the emoticons, romanized Bengali words, and elongated spellings that characterize real expressions of distress. We introduce BanglishDepYT, a Bengali depression dataset collected natively from YouTube, comprising 191,000 unlabeled comments and 1,000 samples verified through dual bilingual annotation. We propose EPH (Emotion-Preserving Hybrid preprocessing), which converts emoticons to semantic tags, preserves Banglish tokens, protects negation words, and normalizes emotional elongation. A key finding is that preprocessing choice substantially affects performance on informal text: standard cleaning reduces the Banglish Survival Rate to zero (SVM F1: 0.7062), while EPH preserves signals (CESS: 0.9996 vs. 0.6694) and raises SVM F1 to 0.8570, an improvement of 0.1508. We further apply domain-adaptive pretraining (DAPT), continuing SahajBERT pretraining on unlabeled in-domain comments. DAPT-SahajBERT achieves the highest mean F1 (0.8161) and MCC (0.6272), significantly outperforming the baseline (F1: 0.7805, p = 0.0013, d = 1.450) and matching MuRIL (p = 0.589). These results suggest that targeted domain pretraining is a competitive alternative to large-scale multilingual pretraining. LLM-assisted annotation using Qwen2.5-7B achieves substantial human agreement (kappa = 0.611), enabling pseudo-labeling of 96,071 comments. Semi-supervised training improves AUC from 0.8499 to 0.8731 (p = 0.044), offering a scalable path to expanding annotation. All code, models, and datasets are publicly released to support reproducible research.
• Abstract（参考訳）: 抑うつは、南アジア全体で何百万人ものベンガル話者に影響を与えるが、自動検出システムは、ほぼ完全に英語から翻訳されたデータセットに依存している。 このようなデータセットは、エモティコンを捉えたり、ベンガル語をローマ化したり、現実の苦悩の表現を特徴づける細長い綴りをつかむことはできない。 私たちはBanglishDepYTを紹介します。BanglishDepYTは、YouTubeからネイティブに収集されたベンガルのうつ状態のデータセットで、ラベルなしコメント191,000、二重言語アノテーションで検証された1000のサンプルで構成されています。 本研究では,エモティコンをセマンティックタグに変換し,バングリッシュトークンを保存し,否定語を保護し,感情的伸長を正規化するEPH(Emotion-Preserving Hybrid Preprocessing)を提案する。 標準クリーニングはバングリッシュ生存率を0に(SVM F1: 0.7062)、EPHは信号を保存する(CESS: 0.9996 vs. 0.6694)。 さらに、ドメイン適応事前トレーニング(DAPT)を適用し、未ラベルのインドメインコメントに対してSahajBERTの事前トレーニングを継続する。 DAPT-SahajBERTは最高平均F1(0.8161)とMCC(0.6272)を達成し、ベースライン(F1: 0.7805, p = 0.0013, d = 1.450)を著しく上回り、MuRIL(p = 0.589)と一致する。 これらの結果から,対象領域の事前学習は,大規模多言語事前学習の競合となることが示唆された。 Qwen2.5-7B を用いた LLM 支援アノテーションは、96,071 個のコメントの擬似ラベル付けを可能にする、相当な人的合意 (kappa = 0.611) を達成する。 半教師付きトレーニングはAUCを0.8499から0.8731(p = 0.044)に改善し、アノテーションを拡張するためのスケーラブルなパスを提供する。 すべてのコード、モデル、データセットが公開され、再現可能な研究をサポートする。

関連論文リスト

• Rethinking Pre-pretraining [53.038865594562736]
  計算から合成前訓練 (PPT) への割り当ては, 計算マッチング実験において, 純粋自然言語学習に勝ることは決してないことを示す。 自然言語が不足している場合には、1億個以上のコーパスが、自然言語検証の損失ですべての総合カリキュラムを破る。 以上の結果から, 言語モデルトレーニングにおいて, 人工プレトレーニングのメリットは限定的であることが示唆された。
  論文  参考訳（メタデータ） (2026-10-29T13:45:58Z)
• AdaptTok-Indic: Script-Aware Adaptive Tokenization for Indic Languages [0.0]
  AdaptTok-Indicは適応トークン化の拡張である。 Unicode正規化前処理と明示的なIndic接続処理、スクリプト対応ルーティング、学習バイトレベルの境界予測を組み合わせる。
  論文  参考訳（メタデータ） (2026-10-08T14:02:13Z)
• Concept Direction Reliability Across Languages with Different Tokenizer Fertility [0.0]
  原文と翻訳文の両方を用いて,英語,ハウサ語,ヨルバ語の分割半一致を計測した。 英語では0.737から0.870、ハウサでは0.589から0.762、ヨルバでは0.101から0.399である。
  論文  参考訳（メタデータ） (2026-09-28T19:57:20Z)
• When Metrics Reward the Worst Translations: Internalizing Cultural Reasoning for Social Media Translation Evaluation [40.50995079894586]
  COMET,XCOMET,BERTScoreなどの標準指標は,人的文化的判断とほぼゼロあるいは負の相関を示した。 文化的推論を内包する強化学習フレームワークCuRILを提案する。
  論文  参考訳（メタデータ） (2026-09-08T02:39:50Z)
• Tokenizer Transplantation: Mitigating Autoregressive Collapse in Edge-Efficient Bengali ASR [1.3201554201420624]
  この研究は、ベンガル語のような形態的に豊かな非ラテン言語におけるモデルの失敗の根本原因を明らかにする。 デコーダの語彙をネイティブのBanglaBERT WordPiece語彙に置き換えるための新しい語彙移植パイプラインが提案されている。 改良されたアーキテクチャは、21.54%のワードエラー率(WER)と0.0053のリアルタイムファクタ(RTF)を達成する。
  論文  参考訳（メタデータ） (2026-07-10T16:54:38Z)
• Context-Aware Distillation and Ablation for Text2DSL [78.29352305480285]
  我々は、コンテクスト対応蒸留により、プロンプトのみの合成生成を置き換える。 教師の大きな言語モデルは、明示的に定義された構造化コンテキストの下で機能する。 これは、検証されたポルキットベンチコーパスを4,204対から10,073対にスケールする。
  論文  参考訳（メタデータ） (2026-06-21T16:27:24Z)
• IHUBERT: Vector-Based Semantic Deduplication and Domain-Balanced Pretraining for Persian Resources [1.022165439882148]
  ペルシアの事前訓練言語モデル(PLM)は、大規模で高品質な事前訓練コーパスの不足により、依然として制限されている。 In this present IHUBERT, a monolingual Persian PLM training with the RoBERTa-base encoder (125M parameters) on a 45 GB curated subset of the Sepahr-Danesh collection。 IHUBERTは、NER、感情分析、トピック分類、NLI、抽出質問応答、関係抽出を含む7つのペルシャのNLUベンチマークで評価される。
  論文  参考訳（メタデータ） (2026-06-18T11:10:22Z)
• Generalistic or Specific Embeddings, Which is Better? An Empirical Study on Search for Clinical Coding in Non-English Languages [1.2891210250935148]
  我々は、英語、スペイン語、カタルーニャ語、イタリア語、ポルトガル語、フランス語を含むジェミニ生成合成データに基づいて、2段階のレトリバー(ビエンコーダ、クロスエンコーダリランカー)を構築した。 バイエンコーダはMRRのBioBERT-ST(0.876 vs. 0.866)と一致し、R@3(0.650 vs. 0.626)とR@5(0.804 vs. 0.790)に勝っている。 クロスエンコーダのリランカを追加することで,集約されたR@5を0.822にリフトし,5言語中4言語(+0.0)で支配的になる。
  論文  参考訳（メタデータ） (2026-05-28T20:06:43Z)
• Bilingual Text-to-Motion Generation: A New Benchmark and Baselines [52.71312720094036]
  LLMアノテーションと厳密な手動修正によって構築されたバイリンガルテキスト・モーション・ベンチマークであるBiHumanML3Dを紹介する。 また,CLA(Cross-Lingual Alignment)を用いたバイリンガルモーション拡散合成(BiMD)を提案する。 CLA を用いた BiMD は 0.045 対 0.169 対 R@3 対 80.8% の FID を達成し、単言語拡散モデルと BiHumanML3D の翻訳ベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2026-03-26T08:48:27Z)
• SHuBERT: Self-Supervised Sign Language Representation Learning via Multi-Stream Cluster Prediction [65.1590372072555]
  SHuBERT (Sign Hidden-Unit BERT) は、アメリカの手話ビデオ1,000時間から学習した自己教師付き文脈表現モデルである。 SHuBERTは、マスクされたトークン予測目標をマルチストリームの視覚手話入力に適用し、クラスタ化された手、顔、身体のポーズストリームに対応する複数のターゲットを予測することを学習する。 SHuBERTは手話翻訳、手話認識、指先検出など、複数のタスクで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-11-25T03:13:08Z)
• CTC-based Non-autoregressive Speech Translation [51.37920141751813]
  非自己回帰音声翻訳における接続性時間分類の可能性について検討する。 我々は、CTCによって誘導される2つのエンコーダからなるモデルを構築し、ソースおよびターゲットテキストを予測する。 MuST-Cベンチマークの実験では、我々のNASTモデルは平均BLEUスコアが29.5であり、スピードアップは5.67$times$である。
  論文  参考訳（メタデータ） (2023-05-27T03:54:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。