論文の概要: Predicting Drug-Gene Relations via Analogy Tasks with Word Embeddings
- arxiv url: http://arxiv.org/abs/2406.00984v2
- Date: Wed, 4 Sep 2024 20:22:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-07 02:44:29.112164
- Title: Predicting Drug-Gene Relations via Analogy Tasks with Word Embeddings
- Title(参考訳): 単語埋め込みを用いたアナロジー課題による薬物・遺伝子関係の予測
- Authors: Hiroaki Yamagiwa, Ryoma Hashimoto, Kiwamu Arakane, Ken Murakami, Shou Soeda, Momose Oyama, Mariko Okada, Hidetoshi Shimodaira,
- Abstract要約: そこで本研究では,BioConceptVecの埋め込みには薬物遺伝子関係に関する情報が含まれており,類似の計算によって薬剤の標的遺伝子を予測することができることを示す。
提案手法はGPT-4のような大規模言語モデルに匹敵する薬物遺伝子関係の予測性能を示した。
- 参考スコア(独自算出の注目度): 2.0878935665163194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural language processing (NLP) is utilized in a wide range of fields, where words in text are typically transformed into feature vectors called embeddings. BioConceptVec is a specific example of embeddings tailored for biology, trained on approximately 30 million PubMed abstracts using models such as skip-gram. Generally, word embeddings are known to solve analogy tasks through simple vector arithmetic. For instance, $\mathrm{\textit{king}} - \mathrm{\textit{man}} + \mathrm{\textit{woman}}$ predicts $\mathrm{\textit{queen}}$. In this study, we demonstrate that BioConceptVec embeddings, along with our own embeddings trained on PubMed abstracts, contain information about drug-gene relations and can predict target genes from a given drug through analogy computations. We also show that categorizing drugs and genes using biological pathways improves performance. Furthermore, we illustrate that vectors derived from known relations in the past can predict unknown future relations in datasets divided by year. Despite the simplicity of implementing analogy tasks as vector additions, our approach demonstrated performance comparable to that of large language models such as GPT-4 in predicting drug-gene relations.
- Abstract(参考訳): 自然言語処理(NLP)は、テキスト中の単語が通常、埋め込みと呼ばれる特徴ベクトルに変換される幅広い分野で利用される。
BioConceptVecは生物学に適した埋め込みの具体例であり、スキップグラムのようなモデルを使用して約3000万のPubMed抽象化に基づいてトレーニングされている。
一般に、単語埋め込みは単純な算術演算によって類似タスクを解くことが知られている。
例えば、$\mathrm{\textit{king}} - \mathrm{\textit{man}} + \mathrm{\textit{woman}}$ predicts $\mathrm{\textit{queen}}$である。
本研究では,BioConceptVec の埋め込みと,PubMed の抽象化で訓練した埋め込みが,薬物遺伝子関係の情報を包含し,アナログ計算により薬剤の標的遺伝子を予測できることを実証した。
また, 生物学的経路を用いた薬物や遺伝子を分類することで, 性能が向上することを示した。
さらに,過去の既知の関係から派生したベクトルが,データセットの未知の将来の関係を年々予測できることを示す。
本手法は, 類似タスクをベクトル付加として実装することの単純さにもかかわらず, GPT-4のような大規模言語モデルに匹敵する性能を示し, 薬物遺伝子関係の予測を行った。
関連論文リスト
- ReOnto: A Neuro-Symbolic Approach for Biomedical Relation Extraction [3.263873198567265]
ReOnto Relation extract (RE)は、文中のエンティティ間の意味関係を抽出し、語彙で定義された関係に整合させるタスクである。
本稿では,REタスクに神経記号的知識を活用する新しい手法を提案する。
BioRel と ADE の2つの公開バイオメディカルデータセットによる実験結果から,本手法がすべての基準値を上回っていることが確認された。
論文 参考訳(メタデータ) (2023-09-04T05:36:58Z) - SynerGPT: In-Context Learning for Personalized Drug Synergy Prediction
and Drug Design [64.69434941796904]
本稿では,テキスト内薬物相乗学習のための新しい設定とモデルを提案する。
特定のがん細胞標的の文脈における10~20の薬物相乗関係の「個人化データセット」を作成した。
私たちの目標は、その文脈で追加の薬物シナジー関係を予測することです。
論文 参考訳(メタデータ) (2023-06-19T17:03:46Z) - Drug Synergistic Combinations Predictions via Large-Scale Pre-Training
and Graph Structure Learning [82.93806087715507]
薬物併用療法は、より有効で安全性の低い疾患治療のための確立された戦略である。
ディープラーニングモデルは、シナジスティックな組み合わせを発見する効率的な方法として登場した。
我々のフレームワークは、他のディープラーニングベースの手法と比較して最先端の結果を達成する。
論文 参考訳(メタデータ) (2023-01-14T15:07:43Z) - Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。
RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
論文 参考訳(メタデータ) (2022-12-17T05:25:17Z) - What learning algorithm is in-context learning? Investigations with
linear models [87.91612418166464]
本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。
訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。
文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
論文 参考訳(メタデータ) (2022-11-28T18:59:51Z) - Leveraging knowledge graphs to update scientific word embeddings using
latent semantic imputation [0.0]
glslsiは、最新の知識グラフからドメイン固有の単語を埋め込むことができることを示す。
生物医学領域における希少項およびOOV項に対して,LSIは信頼性の高い埋め込みベクトルを生成可能であることを示す。
論文 参考訳(メタデータ) (2022-10-27T12:15:26Z) - Graph-in-Graph (GiG): Learning interpretable latent graphs in
non-Euclidean domain for biological and healthcare applications [52.65389473899139]
グラフは、医療領域において、非ユークリッドな非ユークリッドデータをユビキタスに表現し、分析するための強力なツールである。
近年の研究では、入力データサンプル間の関係を考慮すると、下流タスクに正の正の正則化効果があることが示されている。
タンパク質分類と脳イメージングのためのニューラルネットワークアーキテクチャであるGraph-in-Graph(GiG)を提案する。
論文 参考訳(メタデータ) (2022-04-01T10:01:37Z) - Mining On Alzheimer's Diseases Related Knowledge Graph to Identity
Potential AD-related Semantic Triples for Drug Repurposing [13.751910502580415]
我々は、アルツハイマー病(AD)と化学物質、薬物、栄養補助薬との関係を研究するための知識グラフを構築した。
本稿では,このグラフマイニングモデルを用いて,ADと他のエンティティ間の信頼性の高い新しい関係を予測できることを示す。
論文 参考訳(メタデータ) (2022-02-17T15:33:27Z) - Distilling Relation Embeddings from Pre-trained Language Models [35.718167335989854]
事前学習した言語モデルから関係埋め込みを蒸留することが可能であることを示す。
我々は、(手動または自動生成)プロンプトを使って単語ペアを符号化し、言語モデルを微調整する。
結果として得られる関係埋め込みは、アナログ(教師なし)と関係分類(教師なし)のベンチマークで非常に競合する。
論文 参考訳(メタデータ) (2021-09-21T15:05:27Z) - Text Classification with Few Examples using Controlled Generalization [58.971750512415134]
現在の実践は、トレーニング中に見えない単語を、類似した単語とマッピングするために、事前訓練された単語埋め込みに依存している。
私たちの代替案は、未ラベルのパースコーパスから派生したスパース事前訓練された表現から始まります。
これらのベクトル上のフィードフォワードネットワークは、特に低データシナリオにおいて有効であることを示す。
論文 参考訳(メタデータ) (2020-05-18T06:04:58Z) - Evaluating Sparse Interpretable Word Embeddings for Biomedical Domain [1.3526604206343171]
解釈可能性(英: Interpretability)は、生体医学的応用において不可欠な部分である正当化の鍵となる手段である。
医療領域における単語埋め込みの解釈可能性に関する包括的研究を行い,スパース法の役割に着目した。
実験結果から, 下流タスクにおける元のベクトルの性能を保ちながら, 疎単語ベクトルの方がはるかに解釈可能性が高いことがわかった。
論文 参考訳(メタデータ) (2020-05-11T13:56:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。