論文の概要: Where to cut, how deep: BPE and Unigram-LM on chemistry SMILES

• arxiv url: http://arxiv.org/abs/2607.05691v1
• Date: Mon, 06 Jul 2026 23:16:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.350078
• Title: Where to cut, how deep: BPE and Unigram-LM on chemistry SMILES
• Title（参考訳）: BPE and Unigram-LM on Chemistry SMILES
• Abstract要約: 自然言語では、BPEの主要な代替語であるUnigram-LMが、構造的に異なる語彙を構築することが知られている。 BPEとUnigram-LMを165tokenの固定化学基地で比較した。 一致した22の条件で、ほぼ不随意のサブワード語彙を構築する。
• 参考スコア（独自算出の注目度）: 0.2538209532048867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Every chemical language model reading SMILES begins with a tokenizer, yet the field has inherited byte-pair encoding (BPE) from natural language with little scrutiny. In natural language, BPE's principal alternative, Unigram-LM, is known to build structurally different vocabularies. Whether that contrast survives in chemistry was open. We report a controlled comparison of BPE and Unigram-LM over a fixed 165-token chemistry base, at the small vocabulary sizes where token embeddings are learnable, across three corpus typologies (diverse, drug-like, natural-products) and both pre-tokenization boundary policies. The two do not converge. In all 22 matched conditions they build near-disjoint subword vocabularies: cross-algorithm Jaccard overlap on the learned pieces never exceeds 0.161, and at most 0.05 once weighted toward the high-frequency pieces a model updates most. Unigram-LM also segments held-out molecules into 29-41% more tokens; the arms largely agree on where to cut but not how deeply, so BPE's segmentation is a strict coarsening of Unigram-LM's on 80-99% of molecules. The separation holds across corpus, boundary, and vocabulary size, persisting even at eight times that scale. The subword algorithm is therefore a modeling decision, not a free default. The study trains no language models.
• Abstract（参考訳）: SMILESを読むすべての化学言語モデルは、トークン化剤から始まるが、フィールドは自然言語からバイトペアエンコーディング(BPE)をほとんど精査せずに受け継いだ。 自然言語では、BPEの主要な代替語であるUnigram-LMが、構造的に異なる語彙を構築することが知られている。 そのコントラストが化学で生き残るかどうかは不明だった。 我々は,BPEとUnigram-LMの固定された165-token化学塩基に対する制御された比較を,トークンの埋め込みが学習可能な小語彙サイズにおいて,3つのコーパス型(異種,薬物様,天然物)とプリトークン化境界ポリシで比較した。 2つは収束しない。 クロス・アルゴリサム ジャカード 学習されたピースの重複は0.161を超えず、少なくとも0.05は高頻度のピースに向かって重み付けされ、モデルが最も更新される。 BPEのセグメンテーションは、80-99%の分子上でのユニグラム-LMの厳密な粗大化である。 分離はコーパス、境界、語彙の大きさにまたがって保持され、その規模は8倍である。 したがって、サブワードアルゴリズムは、フリーのデフォルトではなく、モデリング上の決定である。 その研究は言語モデルを訓練しない。

関連論文リスト

• Bi-semantic Chemical Embedder for Joint Representation Learning of SMILES and Natural Language [2.9764168176721992]
  CheMatEは化学指向の埋め込みモデルであり、分子構造とドメイン固有の自然言語を共同でキャプチャする。 我々は、FinWebとChemPileから構築・キュレーションされた、新しい大規模な学術文書のコーパスを用いて、モデルを訓練する。 この設計はSMILESで計算された科学文献にモデルを公開し、バイセマンティックな理解を可能にする。
  論文  参考訳（メタデータ） (2026-08-04T15:57:38Z)
• See the Text: From Tokenization to Visual Reading [63.10220471118435]
  SeeTokはテキストを画像(ビジュアルテキスト)としてレンダリングし、事前訓練されたマルチモーダル計算を利用して解釈する。 3つの異なる言語タスクの中で、SeeeTokはサブワードトークンをマッチまたはオーバーし、トークンを4.43倍少なくし、FLOPを70.5%削減する。 SeeTokは、象徴的なトークン化から人間のような視覚的な読み方へとシフトし、より自然で認知的にインスパイアされた言語モデルへと一歩前進する。
  論文  参考訳（メタデータ） (2025-10-21T17:34:48Z)
• Tokens with Meaning: A Hybrid Tokenization Approach for NLP [0.2826977330147589]
  自然言語処理(NLP)におけるトークン化の役割 規則に基づく形態素解析と統計的サブワードセグメンテーションを組み合わせたハイブリッドトークン化フレームワークを提案する。 本手法は, 音韻正規化, ルートアフィックス, および形態素保存と語彙効率のバランスをとる新しいアルゴリズムを用いる。
  論文  参考訳（メタデータ） (2025-08-19T22:17:42Z)
• From Bytes to Ideas: Language Modeling with Autoregressive U-Nets [49.16552366851748]
  トークン化は入力テキストに一定の粒度を課す。 オートレグレッシブなU-Netを導入し、トレーニング中に独自のトークンを埋め込むことを学びます。
  論文  参考訳（メタデータ） (2025-06-17T17:55:11Z)
• Improving Large Language Models with Concept-Aware Fine-Tuning [55.59287380665864]
  概念認識ファインチューニング(CAFT)は,大規模言語モデル(LLM)のための新しいマルチトークン学習手法である CAFTは複数のトークンにまたがるシーケンスの学習を可能にし、より強力な概念認識学習を促進する。 実験は、従来の次世代ファインタニング法と比較して大幅に改善された。
  論文  参考訳（メタデータ） (2025-06-09T14:55:00Z)
• SuperBPE: Space Travel for Language Models [103.09169510391972]
  我々は、単純なプリトークン化カリキュラムをバイトペア符号化(BPE)アルゴリズムに組み込んだ「スーパーワード」トークンライザ「SuperBPE」を導入する。 SuperBPEは、固定されたテキストを符号化し、平均してBPEよりもトークンが最大33%少ない。 我々のモデルは、30の下流タスクにわたるBPEベースラインに対して平均+4.0%の絶対的な改善を達成している。
  論文  参考訳（メタデータ） (2025-03-17T17:53:23Z)
• SelfSeg: A Self-supervised Sub-word Segmentation Method for Neural Machine Translation [51.881877192924414]
  サブワードセグメンテーションはニューラルマシン翻訳(NMT)に不可欠な前処理ステップである 本稿では,自己教師型ニューラルネットワークサブワードセグメンテーション手法であるSelfSegを紹介する。 SelfSegはトレーニング/デコードがはるかに高速で、並列コーパスの代わりに単言語辞書のみを必要とする。
  論文  参考訳（メタデータ） (2023-07-31T04:38:47Z)
• Byte Pair Encoding is Suboptimal for Language Model Pretraining [49.30780227162387]
  一グラムLMトークン化とバイトペア符号化(BPE)の違いを分析する。 その結果,一グラムのLMトークン化手法は,下流タスクと2つの言語でBPEと一致し,BPEより優れることがわかった。 我々は、将来の事前訓練されたLMの開発者が、より一般的なBPEよりもユニグラムのLMメソッドを採用することを期待する。
  論文  参考訳（メタデータ） (2020-04-07T21:21:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。