論文の概要: Unifying Molecular and Textual Representations via Multi-task Language
Modelling
- arxiv url: http://arxiv.org/abs/2301.12586v2
- Date: Thu, 18 May 2023 00:37:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-19 20:13:06.150118
- Title: Unifying Molecular and Textual Representations via Multi-task Language
Modelling
- Title(参考訳): マルチタスク言語モデリングによる分子・テキスト表現の統一
- Authors: Dimitrios Christofidellis, Giorgio Giannone, Jannis Born, Ole Winther,
Teodoro Laino, Matteo Manica
- Abstract要約: 化学・自然言語の両領域で幅広いタスクを解くことができる,最初のマルチドメインマルチタスク言語モデルを提案する。
我々のモデルは、単一のドメインやタスク固有のモデルに対して、高価な事前トレーニングを必要とせずに、化学と自然言語を同時に扱うことができる。
我々の研究は、そのようなモデルが物理科学の発見を堅牢かつ効率的に加速できることを示唆している。
- 参考スコア(独自算出の注目度): 11.474894472719543
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent advances in neural language models have also been successfully
applied to the field of chemistry, offering generative solutions for classical
problems in molecular design and synthesis planning. These new methods have the
potential to fuel a new era of data-driven automation in scientific discovery.
However, specialized models are still typically required for each task, leading
to the need for problem-specific fine-tuning and neglecting task
interrelations. The main obstacle in this field is the lack of a unified
representation between natural language and chemical representations,
complicating and limiting human-machine interaction. Here, we propose the first
multi-domain, multi-task language model that can solve a wide range of tasks in
both the chemical and natural language domains. Our model can handle chemical
and natural language concurrently, without requiring expensive pre-training on
single domains or task-specific models. Interestingly, sharing weights across
domains remarkably improves our model when benchmarked against state-of-the-art
baselines on single-domain and cross-domain tasks. In particular, sharing
information across domains and tasks gives rise to large improvements in
cross-domain tasks, the magnitude of which increase with scale, as measured by
more than a dozen of relevant metrics. Our work suggests that such models can
robustly and efficiently accelerate discovery in physical sciences by
superseding problem-specific fine-tuning and enhancing human-model
interactions.
- Abstract(参考訳): ニューラルネットワークモデルの最近の進歩は化学分野にもうまく適用され、分子設計や合成計画における古典的な問題に対する生成的解を提供する。
これらの新しい手法は、科学的発見におけるデータ駆動自動化の新しい時代を加速する可能性がある。
しかし、通常、各タスクには特別なモデルが必要であるため、問題固有の微調整やタスクの相互関係の無視が必要となる。
この分野の主な障害は、自然言語と化学表現の統一表現の欠如であり、人間と機械の相互作用の複雑化と制限である。
本稿では,化学と自然言語の両領域で幅広いタスクを解くことができる,最初のマルチドメインマルチタスク言語モデルを提案する。
我々のモデルは化学と自然言語を同時に扱うことができ、単一のドメインやタスク固有のモデルで高価な事前学習を必要としない。
興味深いことに、ドメイン間での重み共有は、単一ドメインとクロスドメインタスクの最先端のベースラインに対してベンチマークすることで、我々のモデルを大幅に改善します。
特に、ドメインとタスク間での情報共有は、数十以上の関連するメトリクスで測定されるように、スケールによって増大するクロスドメインタスクに大きな改善をもたらす。
本研究は,問題特異的な微調整と人間-モデル間相互作用の強化により,物理科学における発見を堅牢かつ効率的に促進できることを示唆する。
関連論文リスト
- nach0: Multimodal Natural and Chemical Languages Foundation Model [7.507415075307852]
本稿では, 様々な化学的・生物学的課題を解決できる新しい基礎モデルであるnach0を紹介する。
nach0は、科学文献、特許、分子文字列の未ラベルテキストで事前訓練されたマルチドメインおよびマルチタスクエンコーダLLMである。
論文 参考訳(メタデータ) (2023-11-21T07:56:30Z) - MechAgents: Large language model multi-agent collaborations can solve
mechanics problems, generate new data, and integrate knowledge [0.6708125191843434]
ここでは、自律的なコラボレーションを通じて、弾力性に関する問題を実証する。
2エージェントチームは、古典的な弾性問題を解くために有限要素法を適用するために、効果的にコードを書き、実行し、自己修正することができる。
より複雑なタスクのために、我々は計画、定式化、コーディング、実行、プロセスと結果を批判する作業の分割を強化したより大きなエージェントグループを構築します。
論文 参考訳(メタデータ) (2023-11-14T13:49:03Z) - Solving Quantitative Reasoning Problems with Language Models [53.53969870599973]
我々は、一般的な自然言語データに基づいて事前訓練された大規模言語モデルであるMinervaを紹介し、さらに技術的な内容について訓練する。
このモデルは、外部ツールを使わずに、技術的ベンチマークで最先端のパフォーマンスを達成する。
我々はまた、物理学、生物学、化学、経済学、その他の科学における200以上の学部レベルの問題に対して、我々のモデルを評価した。
論文 参考訳(メタデータ) (2022-06-29T18:54:49Z) - An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale
Multitask Learning Systems [4.675744559395732]
マルチタスク学習は、複数のタスクから学習できるモデルが知識伝達によってより良い品質と効率を達成すると仮定する。
最先端のMLモデルは、タスクごとに高いカスタマイズに依存し、タスクの数をスケールするのではなく、サイズとデータスケールを活用する。
本稿では,大規模マルチタスクモデルを生成でき,新しいタスクの動的かつ連続的な追加を支援する進化的手法を提案する。
論文 参考訳(メタデータ) (2022-05-25T13:10:47Z) - Sparse*BERT: Sparse Models Generalize To New tasks and Domains [79.42527716035879]
本稿では, 階層的非構造的マグニチュード・プルーニング(Gradual Unstructured Magnitude Pruning)を用いて, ドメイン間およびタスク間を移動可能なモデルについて検討する。
Sparse*BERTは、非構造化バイオメディカルテキスト上で圧縮されたアーキテクチャを事前学習することで、SparseBioBERTとなることを示す。
論文 参考訳(メタデータ) (2022-05-25T02:51:12Z) - Set-based Meta-Interpolation for Few-Task Meta-Learning [79.85241791994562]
そこで本研究では,メタトレーニングタスクの分散化を目的とした,ドメインに依存しないタスク拡張手法Meta-Interpolationを提案する。
様々な領域にまたがる8つのデータセットに対してメタ補間の有効性を実証的に検証した。
論文 参考訳(メタデータ) (2022-05-20T06:53:03Z) - DIME: Fine-grained Interpretations of Multimodal Models via Disentangled
Local Explanations [119.1953397679783]
我々は,マルチモーダルモデルの解釈における最先端化に注力する。
提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
論文 参考訳(メタデータ) (2022-03-03T20:52:47Z) - High-Modality Multimodal Transformer: Quantifying Modality & Interaction
Heterogeneity for High-Modality Representation Learning [112.51498431119616]
本稿では,多種多様なモダリティを含む高モダリティシナリオに対する効率的な表現学習について検討する。
単一のモデルであるHighMMTは、テキスト、画像、オーディオ、ビデオ、センサー、プロプレセプション、スピーチ、時系列、セット、テーブル)と5つの研究領域から15のタスクをスケールする。
論文 参考訳(メタデータ) (2022-03-02T18:56:20Z) - Reprogramming Language Models for Molecular Representation Learning [65.00999660425731]
本稿では,分子学習タスクのための事前学習言語モデルに対して,辞書学習(R2DL)による表現再プログラミングを提案する。
対比プログラムは、k-SVDソルバを用いて、高密度ソースモデル入力空間(言語データ)とスパースターゲットモデル入力空間(例えば、化学および生物学的分子データ)との間の線形変換を学習する。
R2DLは、ドメイン固有のデータに基づいて訓練されたアート毒性予測モデルの状態によって確立されたベースラインを達成し、限られたトレーニングデータ設定でベースラインを上回る。
論文 参考訳(メタデータ) (2020-12-07T05:50:27Z) - Detecting ESG topics using domain-specific language models and data
augmentation approaches [3.3332986505989446]
金融分野における自然言語処理タスクは、適切にラベル付けされたデータのあいまいさのため、依然として困難なままである。
本稿では,これらの問題を緩和するための2つのアプローチについて検討する。
まず、ビジネスおよび財務ニュースから大量のドメイン内データを用いて、さらなる言語モデルの事前学習実験を行う。
次に、モデル微調整のためのデータセットのサイズを増やすために拡張アプローチを適用します。
論文 参考訳(メタデータ) (2020-10-16T11:20:07Z) - CALM: Continuous Adaptive Learning for Language Modeling [18.72860206714457]
自然言語処理コミュニティでは,大規模言語表現モデルのトレーニングが標準となっている。
これらの事前学習モデルが破滅的忘れという形で性能劣化を示すことを示す。
言語モデリングのための継続的適応学習CALM:複数のドメインにまたがる知識を保持するモデルをレンダリングする手法を提案する。
論文 参考訳(メタデータ) (2020-04-08T03:51:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。