論文の概要: Hierarchical Structure Enhances the Convergence and Generalizability of Linear Molecular Representation

• arxiv url: http://arxiv.org/abs/2402.02164v4
• Date: Mon, 18 Nov 2024 16:01:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:28:17.527964
• Title: Hierarchical Structure Enhances the Convergence and Generalizability of Linear Molecular Representation
• Title（参考訳）: 階層構造は線形分子表現の収束性と一般化性を高める
• Authors: Juan-Ni Wu, Tong Wang, Li-Juan Tang, Hai-Long Wu, Ru-Qin Yu,
• Abstract要約: 本稿では、TSISD(TSIS with Depth-First Search)、TSISO(TSIS in Order)、TSISR(TSIS in Random)をt-SMILESフレームワークの不可欠なコンポーネントとして紹介する。 この結果から, t-SMILESの階層構造は, 当初予想されていたよりも容易に解析できることが判明した。
• 参考スコア（独自算出の注目度）: 2.7624653486003004
• License:
• Abstract: Language models demonstrate fundamental abilities in syntax, semantics, and reasoning, though their performance often depends significantly on the inputs they process. This study introduces TSIS (Simplified TSID) and its variants:TSISD (TSIS with Depth-First Search), TSISO (TSIS in Order), and TSISR (TSIS in Random), as integral components of the t-SMILES framework. These additions complete the framework's design, providing diverse approaches to molecular representation. Through comprehensive analysis and experiments employing deep generative models, including GPT, diffusion models, and reinforcement learning, the findings reveal that the hierarchical structure of t-SMILES is more straightforward to parse than initially anticipated. Furthermore, t-SMILES consistently outperforms other linear representations such as SMILES, SELFIES, and SAFE, demonstrating superior convergence speed and enhanced generalization capabilities.
• Abstract（参考訳）: 言語モデルは、構文、意味論、推論において基本的な能力を示すが、その性能は処理する入力に大きく依存することが多い。 本稿では、TSISD(TSIS with Depth-First Search)、TSISO(TSIS in Order)、TSISR(TSIS in Random)をt-SMILESフレームワークの不可欠なコンポーネントとして紹介する。 これらの追加はフレームワークの設計を完了し、分子表現に対する様々なアプローチを提供する。 GPT,拡散モデル,強化学習などの深層生成モデルを用いた包括的解析と実験により,t-SMILESの階層構造は,当初予想されていたよりも容易に解析できることが判明した。 さらに、t-SMILESはSMILES、SELFIES、SAFEなどの他の線形表現を一貫して上回り、収束速度と一般化能力を向上した。

関連論文リスト

• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• Persistent Topological Features in Large Language Models [0.6597195879147556]
  トポロジ的特徴の持続性と変換を定量化する新しい指標である永続化類似性を導入する。 従来の類似度測定とは異なり、我々の手法はこれらの特徴の進化軌道全体を捉えている。 実用的なアプリケーションとして、永続化の類似性を活用して冗長なレイヤを特定し、実行します。
  論文  参考訳（メタデータ） (2024-10-14T19:46:23Z)
• Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure [66.33623392497599]
  テンプレート・コンテント構造(T-C構造)と呼ばれる構造は指数レベルから線形レベルへの可能な空間を減少させることができることを示す。 モデルがタスク構成を達成でき、線形から対数への学習に必要なスペースをさらに削減できることを実証する。
  論文  参考訳（メタデータ） (2023-10-09T06:57:45Z)
• Disentangling Structured Components: Towards Adaptive, Interpretable and Scalable Time Series Forecasting [52.47493322446537]
  本研究では,時空間パターンの各コンポーネントを個別にモデル化する適応的,解釈可能,スケーラブルな予測フレームワークを開発する。 SCNNは、空間時間パターンの潜在構造を算術的に特徴づける、MSSの事前定義された生成プロセスで動作する。 SCNNが3つの実世界のデータセットの最先端モデルよりも優れた性能を達成できることを示すため、大規模な実験が行われた。
  論文  参考訳（メタデータ） (2023-05-22T13:39:44Z)
• Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations [70.41385310930846]
  マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。 シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。 知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
  論文  参考訳（メタデータ） (2023-05-06T03:57:05Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Compositional Generalization Requires Compositional Parsers [69.77216620997305]
  直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。 構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
  論文  参考訳（メタデータ） (2022-02-24T07:36:35Z)
• Improving Compositional Generalization with Self-Training for Data-to-Text Generation [36.973617793800315]
  データ・テキスト・タスクにおける現在の生成モデルの合成一般化について検討する。 構成的気象データセットの構造変化をシミュレートすることにより、T5モデルは目に見えない構造に一般化できないことを示す。 擬似応答選択のための細調整BLEURTを用いた自己学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-10-16T04:26:56Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。