論文の概要: Tangut Word Segmentation under Extreme Resource Scarcity: Integrating Traditional Lexicons and Unlabeled Text
- arxiv url: http://arxiv.org/abs/2608.18437v1
- Date: Wed, 19 Aug 2026 02:06:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.247437
- Title: Tangut Word Segmentation under Extreme Resource Scarcity: Integrating Traditional Lexicons and Unlabeled Text
- Title（参考訳）: 資源超過下におけるタンガウト単語分割 : 従来の語彙とラベルなしテキストの統合
- Abstract要約: タンガット(Tangut)は、文字が単語の境界を明示していない絶滅した言語である。
本稿では,2,750人の専門家による注釈付きセグメンテーション(31,893トークン),従来の語彙,未ラベルテキストを用いたタンガット語のセグメンテーションに関する最初の体系的研究について述べる。
- 参考スコア（独自算出の注目度）: 1.952159933310891
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tangut is an extinct language whose script does not explicitly mark word boundaries. We present the first systematic study of Tangut word segmentation using 2,750 expert-annotated segments(31,893 tokens), traditional lexicons, and unlabeled text. Our framework combines a reliability-calibrated lexicon-lattice representation, explicit distributional statistics, and a lightweight character encoder pretrained with MLM. Segment-level five-fold cross-validation shows that lexical and statistical features raise CRF F1 to approximately 0.91. The full TangutEncoder reaches the highest mean F1 (0.911) and improves recall beyond the labeled training vocabulary. These results demonstrate generalization beyond the limited supervised vocabulary across thematically diverse held-out passages, while document-level transfer remains to be evaluated.
- Abstract（参考訳）: タンガット(Tangut)は、文字が単語の境界を明示していない絶滅した言語である。
本稿では,2,750人の専門家による注釈付きセグメンテーション(31,893トークン),従来の語彙,未ラベルテキストを用いたタンガット語のセグメンテーションに関する最初の体系的研究について述べる。
本フレームワークは,信頼性校正された語彙-格子表現,明示的な分布統計,およびMLMで事前訓練された軽量文字エンコーダを組み合わせる。
セグメンションレベルの5倍のクロスバリデーションは、語彙的および統計的特徴がCRF F1を約0.91に上昇させることを示している。
全TangutEncoderは平均F1(0.911)に達し、ラベル付きトレーニング語彙を超えてリコールを改善する。
これらの結果は,文書レベルの伝達が評価される一方で,主題的に多様な保留通路にまたがる限られた教師付き語彙を超えて一般化されることを示す。
関連論文リスト
- Gloss-Free Representation Learning for Cross-Dataset Sign Spotting [0.8590590965724384]
本研究では,この環境下で再利用可能な符号エンコーダを事前訓練することができるかを検討した。
トルコの新しい放送コーパスであるTSL-Newsを、転写から派生した擬似グロスラベルを用いて事前訓練した。
我々は、新しいTSLスポッティングベンチマーク上で、クロスデータセットの符号スポッティングにより学習した表現を評価する。
論文 参考訳（メタデータ） (2026-08-11T18:31:57Z) - Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳（メタデータ） (2026-06-24T15:58:11Z) - Analyzing and Encoding the Al-Mawrid Arabic-English Dictionary with the ISO Language Markup Framework and TEI Lex-0 [1.1267872663780352]
本稿ではアラビア語辞書Al-Mawridの体系的デジタル化と符号化のための堅牢な方法論を提案する。
従来の印刷資源から標準化された計算語彙に変換する。
辞書のマクロ構造とミクロ構造に編集ビューを適用することにより、20世紀のバイリンガル辞書に典型的な構造的曖昧さと不整合を解消する。
論文 参考訳（メタデータ） (2026-06-16T17:35:11Z) - SemiETS: Integrating Spatial and Content Consistencies for Semi-Supervised End-to-end Text Spotting [59.14029549151904]
エンドツーエンドテキストスポッティング,すなわちSemiETSのための新しいセミ教師付きフレームワークを提案する。
具体的には、各タスクの信頼性の高い階層的な擬似ラベルを徐々に生成し、ノイズの多いラベルを減らす。
双方向の流れから位置や転写の重要な情報を抽出し、一貫性を向上させる。
論文 参考訳（メタデータ） (2025-04-14T08:09:17Z) - myNER: Contextualized Burmese Named Entity Recognition with Bidirectional LSTM and fastText Embeddings via Joint Training with POS Tagging [0.0]
7タグのアノテーションスキームを特徴とする単語レベルNERコーパスであるmyNERを紹介する。
また、条件付きランダムフィールド(CRF)、双方向LSTM(BiLSTM)-CRF、および高速テキスト埋め込みの組み合わせを含む、NERモデルの包括的評価を行う。
実験により,文脈的単語埋め込みの有効性とPOSタグ付き共同学習の効果が明らかにされた。
論文 参考訳（メタデータ） (2025-04-05T03:13:33Z) - Integrating Bidirectional Long Short-Term Memory with Subword Embedding
for Authorship Attribution [2.3429306644730854]
マニフォールド語に基づくスタイリスティックマーカーは、著者帰属の本質的な問題に対処するために、ディープラーニング手法でうまく使われてきた。
提案手法は,CCAT50,IMDb62,Blog50,Twitter50の公営企業における最先端手法に対して実験的に評価された。
論文 参考訳（メタデータ） (2023-06-26T11:35:47Z) - Exploring Structured Semantic Prior for Multi Label Recognition with
Incomplete Labels [60.675714333081466]
不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。
最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。
我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
論文 参考訳（メタデータ） (2023-03-23T12:39:20Z) - LST: Lexicon-Guided Self-Training for Few-Shot Text Classification [3.7277082975620806]
LSTは,レキシコンを用いて擬似ラベル機構を誘導する簡単な自己学習手法である。
5つのベンチマークデータセットに対して、クラス毎に30のラベル付きサンプルに対して、この単純で巧妙な語彙知識が1.0-2.0%のパフォーマンスを達成することを実証した。
論文 参考訳（メタデータ） (2022-02-05T14:33:12Z) - DyLex: Incorporating Dynamic Lexicons into BERT for Sequence Labeling [49.3379730319246]
BERTに基づくシーケンスラベリングタスクのためのプラグインレキシコンの組込み手法であるDyLexを提案する。
語彙を更新しながら表現を再学習しないように,単語に依存しないタグ埋め込みを採用する。
最後に,提案フレームワークのプラグイン性を保証するために,協調的注意に基づく知識融合機構を導入する。
論文 参考訳（メタデータ） (2021-09-18T03:15:49Z) - Generalized Funnelling: Ensemble Learning and Heterogeneous Document
Embeddings for Cross-Lingual Text Classification [78.83284164605473]
emphFunnelling (Fun)は、最近提案された言語間テキスト分類手法である。
Emph Generalized Funnelling (gFun) はFunの一般化である。
gFunは、Funや最先端のベースラインよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2021-09-17T23:33:04Z) - Learning Interpretable and Discrete Representations with Adversarial
Training for Unsupervised Text Classification [87.28408260725138]
TIGANは、テキストを離散コードと連続ノイズを含む2つの非絡み合った表現にエンコードすることを学ぶ。
抽出したトピックの単語は,TIGANが一貫性と高度に解釈可能なトピックを学習していることを示している。
論文 参考訳（メタデータ） (2020-04-28T02:53:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。