論文の概要: R2T: Rule-Encoded Loss Functions for Low-Resource Sequence Tagging

• arxiv url: http://arxiv.org/abs/2510.13854v1
• Date: Sun, 12 Oct 2025 03:07:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.478177
• Title: R2T: Rule-Encoded Loss Functions for Low-Resource Sequence Tagging
• Title（参考訳）: R2T:低リソースシーケンスタギングのためのルールエンコード損失関数
• Authors: Mamadou K. Keita, Christopher Homan, Sebastien Diarra,
• Abstract要約: Rule-to-Tag(R2T)は、多層的な言語ルールシステムを直接ニューラルネットワークのトレーニング目標に統合するハイブリッドアプローチである。 R2Tの新規性は適応的損失関数(adaptive loss function)にある。 Zarma part-of-speech (POS) タグ付けの実験により、R2T-BiLSTMモデルはラベルなしのテキストでのみ訓練され、98.2%の精度が得られた。
• 参考スコア（独自算出の注目度）: 5.075961547001557
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the Rule-to-Tag (R2T) framework, a hybrid approach that integrates a multi-tiered system of linguistic rules directly into a neural network's training objective. R2T's novelty lies in its adaptive loss function, which includes a regularization term that teaches the model to handle out-of-vocabulary (OOV) words with principled uncertainty. We frame this work as a case study in a paradigm we call principled learning (PrL), where models are trained with explicit task constraints rather than on labeled examples alone. Our experiments on Zarma part-of-speech (POS) tagging show that the R2T-BiLSTM model, trained only on unlabeled text, achieves 98.2% accuracy, outperforming baselines like AfriBERTa fine-tuned on 300 labeled sentences. We further show that for more complex tasks like named entity recognition (NER), R2T serves as a powerful pre-training step; a model pre-trained with R2T and fine-tuned on just 50 labeled sentences outperformes a baseline trained on 300.
• Abstract（参考訳）: ニューラルネットワークのトレーニング目標に直接言語規則の多層システムを統合するハイブリッドアプローチであるルール・ツー・タグ(R2T)フレームワークを導入する。 R2Tの新規性は適応的損失関数(adaptive loss function)にある。この関数には、規則化された不確実性を持つ語彙外単語(OOV)を扱うようにモデルに教える正規化項が含まれている。 私たちはこの作業を、原則学習(PrL)と呼ばれるパラダイムのケーススタディとして捉えています。 Zarma part-of-speech (POS) タグ付け実験により、R2T-BiLSTMモデルは、ラベル付きテキストのみに基づいて訓練され、98.2%の精度を実現し、300のラベル付き文で微調整されたAfriBERTaのようなベースラインよりも優れた性能を示した。 さらに、名前付きエンティティ認識(NER)のようなより複雑なタスクでは、R2Tは強力な事前学習ステップとして機能し、R2Tで事前訓練され、わずか50のラベル付き文で微調整されたモデルは、300でトレーニングされたベースラインを上回っていることを示す。

関連論文リスト

• Towards Principled Evaluations of Sparse Autoencoders for Interpretability and Control [43.860799289234755]
  本稿では,特定のタスクの文脈における特徴辞書を評価するためのフレームワークを提案する。 まず,教師付き辞書は,タスクにおけるモデル計算の近似,制御,解釈性に優れることを示す。 GPT-2 Small を用いた間接オブジェクト識別(IOI)タスクに適用し,IOI や OpenWebText のデータセットで訓練したスパースオートエンコーダ (SAE) を用いた。
  論文  参考訳（メタデータ） (2024-05-14T07:07:13Z)
• Sequence-to-sequence models in peer-to-peer learning: A practical application [0.0]
  本稿では,ピアツーピア学習環境における音声認識(ASR)タスクのLSTM単位に基づくシーケンス・ツー・シーケンス(Seq2Seq)モデルの適用性について検討する。 この結果は、分散環境でのSeq2Seqモデルの適用の可能性を示している。
  論文  参考訳（メタデータ） (2024-05-02T14:44:06Z)
• TEDB System Description to a Shared Task on Euphemism Detection 2022 [0.0]
  テキスト分類の最先端手法であるトランスフォーマーモデルについて検討した。 0.816 F1スコアの最良の結果は,特徴抽出器としてのエウヘミズム検出/TimeLMs予測RoBERTaモデルである。
  論文  参考訳（メタデータ） (2023-01-16T20:37:56Z)
• Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
  本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。 本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-15T05:22:40Z)
• Sequence-level self-learning with multiple hypotheses [53.04725240411895]
  我々は、自動音声認識(ASR)のためのアテンションベースシーケンス・ツー・シーケンス(seq2seq)モデルを用いた新しい自己学習手法を開発した。 従来の教師なし学習手法とは対照的に,我々はEmphmulti-task Learning(MTL)フレームワークを採用する。 実験の結果,本手法は,英語データのみを用いてトレーニングしたベースラインモデルと比較して,英文音声データのWERを14.55%から10.36%に削減できることがわかった。
  論文  参考訳（メタデータ） (2021-12-10T20:47:58Z)
• Sequence Transduction with Graph-based Supervision [96.04967815520193]
  ラベルのグラフ表現を受け入れるためにRNN-T損失を一般化するトランスデューサ目的関数を提案する。 CTC型格子を用いたトランスデューサベースのASRは,標準RNN-Tよりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-11-01T21:51:42Z)
• Generating Human Readable Transcript for Automatic Speech Recognition with Pre-trained Language Model [18.26945997660616]
  多くの下流のタスクと人間の読者は、ASRシステムの出力に依存しています。 本稿では,不正かつノイズの多いASR出力を可読テキストに変換することを目的としたASR後処理モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-22T15:45:50Z)
• Improving Sequence-to-Sequence Pre-training via Sequence Span Rewriting [54.03356526990088]
  本稿では,Sequence Span Rewriting (SSR) を自己教師付きシーケンス・ツー・シーケンス(seq2seq)事前学習目的として提案する。 SSRは、モデルに不完全なスパンを書き直すように監督することで、より細かい学習信号をテキスト表現に提供します。 各種Seq2seqタスクのT5モデルによる実験により,SSRはSeq2seq事前学習を大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2021-01-02T10:27:11Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。