論文の概要: Augmenting Molecular Language Models with Local $n$-gram Memory

• arxiv url: http://arxiv.org/abs/2606.12113v1
• Date: Wed, 10 Jun 2026 14:07:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.49761
• Title: Augmenting Molecular Language Models with Local $n$-gram Memory
• Title（参考訳）: 局所$n$-gramメモリによる分子言語モデルの拡張
• Authors: Xinni Zhang, Zijing Liu, He Cao, Yu Li, Irwin King,
• Abstract要約: MolGramは、ローカル文字列パターンをスケーラブルなハッシュルックアップを通じて学習した埋め込みにマッピングし、この領域のコンテキストを隠れた状態に動的に注入する。 非条件分子生成、前方反応予測、単段階の逆合成を含む3つのタスクにおける評価は、モルグラムが一貫して性能を改善することを示す。
• 参考スコア（独自算出の注目度）: 50.62274418415122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based language models for SMILES strings suffer from a locality gap: standard character-level tokenization fragments chemically meaningful motifs, forcing models to repeatedly learn local syntax at the expense of long-range dependencies. To address this without disrupting standard tokenizers, we propose MolGram, which integrates a conditional $n$-gram memory module into molecular language models. MolGram maps local string patterns to learned embeddings via scalable hash lookups and dynamically injects this regional context into hidden states. Evaluations across three tasks, including unconditional molecule generation, forward reaction prediction, and single-step retrosynthesis, show that MolGram consistently improves performance. Crucially, our analyses demonstrate that MolGram outperforms baselines with 3$\times$ more parameters, establishing explicit local pattern memory as a highly efficient inductive bias.
• Abstract（参考訳）: 標準文字レベルのトークン化フラグメントは化学的に意味のあるモチーフを持ち、長い範囲の依存関係を犠牲にして、モデルのローカル構文を繰り返し学習せざるを得ない。 この問題を解決するために,分子言語モデルに条件付き$n$-gramメモリモジュールを組み込んだMommGramを提案する。 MolGramは、ローカル文字列パターンをスケーラブルなハッシュルックアップを通じて学習した埋め込みにマッピングし、この領域のコンテキストを隠れた状態に動的に注入する。 非条件分子生成、前方反応予測、単段階の逆合成を含む3つのタスクにおける評価は、モルグラムが一貫して性能を改善することを示す。 重要な分析では,MommGramは3$\times$以上のパラメータでベースラインを上回り,局所パターンメモリを高効率な帰納バイアスとして確立している。

関連論文リスト

• Less Is More: Measuring How LLM Involvement affects Chatbot Accuracy in Static Analysis [2.335152769484958]
  大規模言語モデルは、自然言語を通して静的解析ツールにアクセスできるようにするために、ますます使われている。 自然言語をJoernのクエリ言語cpgqlに変換するために,LLMの関与範囲に沿って3つのアーキテクチャを比較した。 これらは、3つの複雑性層にわたる20のコード解析タスクのベンチマークで評価される。
  論文  参考訳（メタデータ） (2026-04-23T14:51:18Z)
• Modelling the Morphology of Verbal Paradigms: A Case Study in the Tokenization of Turkish and Hebrew [1.0857263744676489]
  本稿では,トルコ語と現代ヘブライ語において,トランスフォーマーモデルがどのように複雑な動詞のパラダイムを表現するかを検討する。 トルコ語では、単言語モデルと多言語モデルの両方が成功し、トークン化がアトミックである場合や、単語を小さなサブワード単位に分割する場合などを示す。 ヘブライ語の場合、単言語モデルと多言語モデルが分岐する。
  論文  参考訳（メタデータ） (2026-02-05T13:31:21Z)
• The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [45.08958917457921]
  大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。 本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-23T20:28:31Z)
• MAGNET: Improving the Multilingual Fairness of Language Models with Adaptive Gradient-Based Tokenization [81.83460411131931]
  マルチ言語設定では、非ラテン語スクリプトと低リソース言語は通常、言語モデルの実用性、効率、コストの点で不利である。 適応的勾配に基づくサブワードトークン化による過分割を低減するために,多言語適応型勾配ベーストークン化を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:59:21Z)
• Learning thresholds lead to stable language coexistence [0.0]
  本稿では,言語シフトダイナミクスにおける記憶と学習の効果を組み込んだ言語競合モデルを提案する。 粗い時間スケールでは、記憶と学習の影響は、競合する言語の話者分数に対する閾値として表すことができる。
  論文  参考訳（メタデータ） (2024-06-14T14:24:02Z)
• Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
  大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-26T21:11:51Z)
• Adaptive Semiparametric Language Models [17.53604394786977]
  本稿では,大規模パラメトリックニューラルネットワーク(トランスフォーマー)と非パラメトリックエピソードメモリコンポーネントを組み合わせた言語モデルを提案する。 単語ベースおよび文字ベース言語モデリングデータセットの実験により,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-02-04T11:47:03Z)
• Explicitly Modeling Syntax in Language Models with Incremental Parsing and a Dynamic Oracle [88.65264818967489]
  我々は新しい構文認識型言語モデル、Syntactic Ordered Memory (SOM)を提案する。 モデルは、構造をインクリメンタルにモデル化し、標準言語モデルの条件付き確率設定を維持する。 実験により、SOMは言語モデリング、インクリメンタル解析、構文一般化テストにおいて強力な結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-10-21T17:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。