論文の概要: Segment Any Text: A Universal Approach for Robust, Efficient and Adaptable Sentence Segmentation
- arxiv url: http://arxiv.org/abs/2406.16678v1
- Date: Mon, 24 Jun 2024 14:36:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 14:34:57.792935
- Title: Segment Any Text: A Universal Approach for Robust, Efficient and Adaptable Sentence Segmentation
- Title（参考訳）: Segment Any Text:ロバストで効率的で適応可能な文セグメンテーションのためのユニバーサルアプローチ
- Authors: Markus Frohmann, Igor Sterner, Ivan Vulić, Benjamin Minixhofer, Markus Schedl,
- Abstract要約: この問題を解決するために、新しいモデル、Segment any Text (SaT)を導入します。
頑健性を高めるため,句読点への依存度を低くする事前学習方式を提案する。
適応性に対処するために、パラメータ効率の良い微調整の余分な段階を導入し、異なる領域で最先端の性能を確立する。
- 参考スコア（独自算出の注目度）: 9.703886326323644
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Segmenting text into sentences plays an early and crucial role in many NLP systems. This is commonly achieved by using rule-based or statistical methods relying on lexical features such as punctuation. Although some recent works no longer exclusively rely on punctuation, we find that no prior method achieves all of (i) robustness to missing punctuation, (ii) effective adaptability to new domains, and (iii) high efficiency. We introduce a new model - Segment any Text (SaT) - to solve this problem. To enhance robustness, we propose a new pretraining scheme that ensures less reliance on punctuation. To address adaptability, we introduce an extra stage of parameter-efficient fine-tuning, establishing state-of-the-art performance in distinct domains such as verses from lyrics and legal documents. Along the way, we introduce architectural modifications that result in a threefold gain in speed over the previous state of the art and solve spurious reliance on context far in the future. Finally, we introduce a variant of our model with fine-tuning on a diverse, multilingual mixture of sentence-segmented data, acting as a drop-in replacement and enhancement for existing segmentation tools. Overall, our contributions provide a universal approach for segmenting any text. Our method outperforms all baselines - including strong LLMs - across 8 corpora spanning diverse domains and languages, especially in practically relevant situations where text is poorly formatted. Our models and code, including documentation, are available at https://huggingface.co/segment-any-text under the MIT license.
- Abstract（参考訳）: テキストを文章に分割することは、多くのNLPシステムにおいて、早期かつ重要な役割を果たす。
これは、句読点のような語彙的特徴に依存する規則に基づく、あるいは統計的手法を用いることで、一般的に達成される。
最近のいくつかの研究は、もはや句読点のみに依存していないが、事前の手法が全てを達成することはない。
一 句読を欠くことに対する頑丈さ
(二)新領域への効果的な適応性及び
(三)高効率。
この問題を解決するために、新しいモデル、Segment any Text (SaT)を導入します。
頑健性を高めるため,句読点への依存度を低くする事前学習方式を提案する。
適応性に対処するために、パラメータ効率の良い微調整の余分な段階を導入し、歌詞や法的文書からの詩など、異なる領域における最先端のパフォーマンスを確立する。
その過程でアーキテクチャの変更を導入することで,従来の最先端技術よりも3倍のスピード向上を実現し,将来的なコンテキストへの急激な依存を解消します。
最後に,既存セグメンテーションツールのドロップイン置換・拡張として機能し,多言語データの多言語混合を微調整したモデルを提案する。
全体として、私たちのコントリビューションは、任意のテキストをセグメント化するための普遍的なアプローチを提供します。
提案手法は,多種多様なドメインや言語にまたがる8つのコーパス,特にテキストのフォーマットが不十分な現実的な状況において,強力なLLMを含むすべてのベースラインよりも優れる。
ドキュメンテーションを含む私たちのモデルとコードは、MITライセンス下でhttps://huggingface.co/segment-any-textで利用可能です。
関連論文リスト
- Scalable and Domain-General Abstractive Proposition Segmentation [20.532804009152255]
我々は、抽象命題セグメンテーション(APS)の課題に焦点を合わせ、テキストを単純で自己完結した、よく表現された文に変換する。
まず、タスクの評価基準を導入し、いくつかの品質の次元を計測する。
次に、スケーラブルで正確な命題セグメンテーションモデルを提案する。
論文 参考訳（メタデータ） (2024-06-28T10:24:31Z) - From Text Segmentation to Smart Chaptering: A Novel Benchmark for
Structuring Video Transcriptions [63.11097464396147]
音声コンテンツに焦点をあてた新しいベンチマークYTSegを導入し、その内容は本質的に非構造的であり、トポロジと構造的にも多様である。
また,高効率な階層分割モデルMiniSegを導入する。
論文 参考訳（メタデータ） (2024-02-27T15:59:37Z) - TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。
TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。
分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
論文 参考訳（メタデータ） (2023-06-06T03:37:41Z) - Where's the Point? Self-Supervised Multilingual Punctuation-Agnostic
Sentence Segmentation [65.6736056006381]
85言語を対象とした多言語句読解文セグメンテーション法を提案する。
提案手法は,従来の最良文分割ツールを平均6.1%F1ポイントで上回っている。
MTモデルの訓練に使用するセグメンテーションと文のセグメンテーションを一致させる手法を用いて,平均2.3BLEU点の改善を実現する。
論文 参考訳（メタデータ） (2023-05-30T09:49:42Z) - To Augment or Not to Augment? A Comparative Study on Text Augmentation
Techniques for Low-Resource NLP [0.0]
本稿では,構文の変更を行うテキスト拡張手法の3つのカテゴリについて検討する。
音声のタグ付けや依存性解析,セマンティックロールのラベル付けなどにおいて,多種多様な言語ファミリに対して比較を行った。
以上の結果から,mBERTに基づくベースラインの強化により,より高機能化が可能であることが示唆された。
論文 参考訳（メタデータ） (2021-11-18T10:52:48Z) - Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。
提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
論文 参考訳（メタデータ） (2021-09-02T16:05:24Z) - Topical Change Detection in Documents via Embeddings of Long Sequences [4.13878392637062]
テキストセグメンテーションのタスクを独立した教師付き予測タスクとして定式化する。
類似セクションの段落を微調整することで、学習した特徴がトピック情報をエンコードすることを示すことができます。
文レベルで操作する従来のアプローチとは異なり、我々は常により広いコンテキストを使用します。
論文 参考訳（メタデータ） (2020-12-07T12:09:37Z) - Enabling Language Models to Fill in the Blanks [81.59381915581892]
文書中の任意の位置にあるテキストの欠落を予測するタスクである,テキストを埋め込むためのシンプルなアプローチを提案する。
我々は、人工的にマスキングされたテキストと隠蔽されたテキストの連結を含むシーケンスに基づいて、オフザシェルフ言語モデル(またはファインチューン)を訓練する。
言語モデリングにより,この手法により,3つの分野(短編,科学的な要約,歌詞)において,LMが文全体を効果的に埋め込むことができることを示す。
論文 参考訳（メタデータ） (2020-05-11T18:00:03Z) - Text Perceptron: Towards End-to-End Arbitrary-Shaped Text Spotting [49.768327669098674]
テキストパーセプトロン(Text Perceptron)という,エンドツーエンドのトレーニング可能なテキストスポッティング手法を提案する。
まず、テキスト読解順序と境界情報を学ぶ効率的なセグメンテーションベースのテキスト検出器を用いる。
次に、検出された特徴領域を正規形態に変換するために、新しい形状変換モジュール(STM)を設計する。
論文 参考訳（メタデータ） (2020-02-17T08:07:19Z) - Two-Level Transformer and Auxiliary Coherence Modeling for Improved Text
Segmentation [9.416757363901295]
単純だが明示的なコヒーレンスモデリングを用いたテキストセグメンテーションのための新しい教師付きモデルを提案する。
我々のモデルは、2つの階層的に連結されたトランスフォーマーネットワークからなるニューラルネットワークであり、文レベルのセグメンテーション目標と、正しい文列と腐敗した文列を区別するコヒーレンス目標を結合するマルチタスク学習モデルである。
論文 参考訳（メタデータ） (2020-01-03T17:06:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。