論文の概要: Constructing a Regional Slang Lexicon for Electricity Demands via Soft-Label Bidirectional Anchoring and Active Learning
- arxiv url: http://arxiv.org/abs/2611.04231v1
- Date: Tue, 03 Nov 2026 03:11:35 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:27:19.376623
- Title: Constructing a Regional Slang Lexicon for Electricity Demands via Soft-Label Bidirectional Anchoring and Active Learning
- Title(参考訳): ソフトラベル双方向アンチョリングとアクティブラーニングによる電力需要のための地域スラング辞書の構築
- Abstract要約: パワーグリッドのカスタマーサービスはコミュニティのソーシャルメディアにますます依存しており、そこでは顧客が非公式の地方方言で障害、請求書、機器の故障を記述している。
本稿では, 栽培済み方言アンカーとパワードメインのシード項から, 局所スラングレキシコンを構成する弱スーパービジョンフレームワークを提案する。
11,177の実際のWeChatメッセージ(中国雲南省)では、DP$=$1.0の評価者推定弁証精度をゼロの偽陽性で達成している。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Power-grid customer service increasingly relies on community social media, where customers describe outages, billing, and equipment faults in informal regional dialect. Such messages exhibit non-standard morphology, semantic drift, and out-of-vocabulary expressions that make manual lexicon construction costly and degrade conventional NLP tools. We propose a weak-supervision framework constructing a regional slang lexicon from curated dialect anchors and power-domain seed terms. Candidates are generated via Pointwise Mutual Information with soft-label bidirectional anchoring, retaining dialect-anchored terms while recording power-domain relevance as separate metadata, and are scored by combining Sentence-BERT semantic similarity with a jieba-based wordhood measure. Uncertainty-aware active learning with rule-based and retrieval-augmented LLM oracles is applied under three query strategies, and the resulting lexicon is evaluated by a higher-capability LLM calibrated against human expert annotations via Cohen's $κ$. On 11,177 real WeChat messages from Yuxi (Yunnan, China), the framework achieves an evaluator-estimated dialect precision of DP~$=$~1.0 with zero false positives. An ablation shows that soft-label layering retains 751\% more candidates than strict power-gating at identical precision, expanding the candidate pool from 41 to 349 terms. Human calibration ($n=46$) yields $κ_{\text{dialect}}=1.0$ and $κ_{\text{power}}=0.85$. The resulting 25--33-term lexicon, 4--5 of which are power-relevant, provides a preliminary resource for dialect-aware power-grid service NLP.
- Abstract(参考訳): パワーグリッドのカスタマーサービスはコミュニティのソーシャルメディアにますます依存しており、そこでは顧客が非公式の地方方言で障害、請求書、機器の故障を記述している。
このようなメッセージは、非標準形態、意味的ドリフト、語彙外表現を示し、手作業による語彙構築をコストがかかり、従来のNLPツールを劣化させる。
本稿では, 栽培済み方言アンカーとパワードメインのシード項から, 局所スラングレキシコンを構成する弱スーパービジョンフレームワークを提案する。
候補は、ポイントワイズ・ミューチュアル・インフォメーション(Pointwise Mutual Information)とソフトラベルの双方向アンカリングを用いて生成され、パワードメインの関連性を個別のメタデータとして記録しながら方言アンカレートされた用語を保持し、センテンス-BERTのセマンティックな類似度とジーバベースのワードフッド尺度を組み合わせることで得られる。
ルールベースおよび検索拡張 LLM オークルを用いた不確実性認識型アクティブラーニングを3つのクエリ戦略の下で適用し,その結果の語彙を Cohen の$κ$ を通じて人間のエキスパートアノテーションに対して校正する高機能 LLM を用いて評価する。
11,177の実際のWeChatメッセージ(中国雲南省)では、DP~$=$~1.0の評価者推定弁証精度を実現している。
アブレーションにより、ソフトラベル層は、厳格なパワーゲーティングよりも751\%の候補を同じ精度で保持し、候補プールを41語から349語に拡張した。
人間の校正(n=46$)は$κ_{\text{dialect}}=1.0$と$κ_{\text{power}}=0.85$となる。
結果として得られる25-33項のレキシコン(うち4--5は電力関連)は、方言対応の電力グリッドサービスNLPの予備資源となる。
関連論文リスト
- Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳(メタデータ) (2026-06-24T15:58:11Z) - Lost in Sampling: Assessing Lexical Reachability in LLMs via the Word Coverage Score (WCS) [3.71430272682278]
WCS(Word Coverage Score)は、標準的なサンプリングフィルタによって、文脈的に適切な人間の語彙が数学的に決定される範囲を定量化する指標である。
人為的なコーパスフラグメント上のオープンウェイトモデルを監査することにより、デコーダによってどの論理的語彙選択が到達不能であるかを識別する。
論文 参考訳(メタデータ) (2026-05-26T16:44:25Z) - BiST: A Gold Standard Bangla-English Bilingual Corpus for Sentence Structure and Tense Classification with Inter-Annotator Agreement [0.17398560678845076]
BiSTは文レベルの文法分類のための厳格に硬化したバングラ英語コーパスである。
コーパスは、オープンライセンスの百科事典ソースと自然に書かれた会話テキストからコンパイルされる。
BiSTは、制御されたテキスト生成、自動フィードバック生成、言語間表現学習を含む文法モデリングタスクをサポートする。
論文 参考訳(メタデータ) (2026-04-06T14:22:46Z) - Tokens with Meaning: A Hybrid Tokenization Approach for NLP [0.2826977330147589]
自然言語処理(NLP)におけるトークン化の役割
規則に基づく形態素解析と統計的サブワードセグメンテーションを組み合わせたハイブリッドトークン化フレームワークを提案する。
本手法は, 音韻正規化, ルートアフィックス, および形態素保存と語彙効率のバランスをとる新しいアルゴリズムを用いる。
論文 参考訳(メタデータ) (2025-08-19T22:17:42Z) - LLM-Based Evaluation of Low-Resource Machine Translation: A Reference-less Dialect Guided Approach with a Refined Sylheti-English Benchmark [1.3927943269211591]
本稿では,Large Language Models(LLMs)に基づく機械翻訳評価を強化する包括的フレームワークを提案する。
我々は、Sylheti- English文ペア、対応する機械翻訳、およびネイティブ話者が注釈付けしたダイレクトアセスメント(DA)スコアを組み込むことで、ONUBADデータセットを拡張した。
評価の結果,提案したパイプラインは既存の手法より常に優れており,スピアマン相関において+0.1083の高利得が得られることがわかった。
論文 参考訳(メタデータ) (2025-05-18T07:24:13Z) - Generative Spoken Language Model based on continuous word-sized audio
tokens [52.081868603603844]
本稿では,単語サイズ連続評価音声埋め込みに基づく生成音声言語モデルを提案する。
結果として得られるモデルは、単語サイズの連続埋め込みに基づく最初の生成言語モデルである。
論文 参考訳(メタデータ) (2023-10-08T16:46:14Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳(メタデータ) (2023-09-27T14:44:10Z) - Multi-VALUE: A Framework for Cross-Dialectal English NLP [49.55176102659081]
マルチディレクト (Multi-Dilect) は、50の英語方言にまたがる制御可能なルールベースの翻訳システムである。
ストレステストは、非標準方言の先行モデルに対する顕著な性能格差を示す。
私たちはチカノやインド英語のネイティブスピーカーと提携して、人気のあるCoQAタスクの新しいゴールドスタンダード版をリリースしています。
論文 参考訳(メタデータ) (2022-12-15T18:17:01Z) - Dialect-robust Evaluation of Generated Text [40.85375247260744]
NLG評価指標の目標として,方言の頑健性と方言認識を定式化する。
このスイートを現在の最先端のメトリクスに適用すると、それらが方言ロバストではないことが示される。
論文 参考訳(メタデータ) (2022-11-02T07:12:23Z) - Multilingual Extraction and Categorization of Lexical Collocations with
Graph-aware Transformers [86.64972552583941]
我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。
以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
論文 参考訳(メタデータ) (2022-05-23T16:47:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。