論文の概要: Towards scientific discovery with dictionary learning: Extracting biological concepts from microscopy foundation models

• arxiv url: http://arxiv.org/abs/2412.16247v1
• Date: Fri, 20 Dec 2024 00:01:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:02:01.393950
• Title: Towards scientific discovery with dictionary learning: Extracting biological concepts from microscopy foundation models
• Title（参考訳）: 辞書学習による科学的発見に向けて:顕微鏡基礎モデルから生物学的概念を抽出する
• Authors: Konstantin Donhauser, Kristina Ulicna, Gemma Elyse Moran, Aditya Ravuri, Kian Kenyon-Dean, Cian Eastwood, Jason Hartford,
• Abstract要約: 辞書学習(DL)は、大規模言語モデルの強力な解釈可能性ツールとして登場した。 本稿では,新しいDLアルゴリズムであるICFL(Iterative Codebook Feature Learning)を提案し,制御データセットからPCAホワイトニングを使用する前処理ステップと組み合わせる。
• 参考スコア（独自算出の注目度）: 6.136186137141521
• License:
• Abstract: Dictionary learning (DL) has emerged as a powerful interpretability tool for large language models. By extracting known concepts (e.g., Golden-Gate Bridge) from human-interpretable data (e.g., text), sparse DL can elucidate a model's inner workings. In this work, we ask if DL can also be used to discover unknown concepts from less human-interpretable scientific data (e.g., cell images), ultimately enabling modern approaches to scientific discovery. As a first step, we use DL algorithms to study microscopy foundation models trained on multi-cell image data, where little prior knowledge exists regarding which high-level concepts should arise. We show that sparse dictionaries indeed extract biologically-meaningful concepts such as cell type and genetic perturbation type. We also propose a new DL algorithm, Iterative Codebook Feature Learning~(ICFL), and combine it with a pre-processing step that uses PCA whitening from a control dataset. In our experiments, we demonstrate that both ICFL and PCA improve the selectivity of extracted features compared to TopK sparse autoencoders.
• Abstract（参考訳）: 辞書学習(DL)は、大規模言語モデルの強力な解釈可能性ツールとして登場した。 人間の解釈可能なデータ(例えばテキスト)から既知の概念(例えばゴールデンゲートブリッジ)を抽出することにより、スパースDLはモデルの内部動作を解明することができる。 本研究では、DLが、人間の理解できない科学的データ(例えば細胞画像)から未知の概念を発見できるかどうかを問うとともに、最終的に科学的発見への現代的なアプローチを可能にする。 最初のステップとして、DLアルゴリズムを用いて、マルチセル画像データに基づいてトレーニングされた顕微鏡基礎モデルを研究する。 スパース辞書は, 細胞型や遺伝的摂動型といった生物学的に意味のある概念を抽出している。 また、新しいDLアルゴリズム、Iterative Codebook Feature Learning~(ICFL)を提案し、制御データセットからPCAホワイトニングを使用する前処理ステップと組み合わせる。 実験の結果,ICFLとPCAはTopKのスパースオートエンコーダと比較して抽出された特徴の選択性を向上させることがわかった。

関連論文リスト

• Building, Reusing, and Generalizing Abstract Representations from Concrete Sequences [51.965994405124455]
  人間は異なるシーケンスで抽象パターンを学習し、無関係な詳細をフィルタリングする。 多くのシーケンス学習モデルには抽象化能力がないため、メモリの非効率性や転送の低さにつながる。 非パラメトリック階層型変数学習モデル(HVM)を導入し、シーケンスからチャンクを学習し、文脈的に類似したチャンクを変数として抽象化する。
  論文  参考訳（メタデータ） (2024-10-27T18:13:07Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Transparency at the Source: Evaluating and Interpreting Language Models With Access to the True Distribution [4.01799362940916]
  人工的な言語のようなデータを用いて、ニューラルネットワークモデルのトレーニング、評価、解釈を行う。 データは、巨大な自然言語コーパスから派生した巨大な確率文法を用いて生成される。 基礎となる真の情報源にアクセスすることで、異なる単語のクラス間の動的学習における顕著な違いと結果が示される。
  論文  参考訳（メタデータ） (2023-10-23T12:03:01Z)
• Incorporating Dictionaries into a Neural Network Architecture to Extract COVID-19 Medical Concepts From Social Media [0.2302001830524133]
  自然言語処理のためのニューラルネットワークアーキテクチャに辞書情報を組み込むことの潜在的な利点について検討する。 特に、このアーキテクチャを用いて、オンライン医療フォーラムからCOVID-19に関連するいくつかの概念を抽出する。 この結果から,小ドメイン辞書を深層学習モデルに組み込むことで,概念抽出作業の改善が期待できることがわかった。
  論文  参考訳（メタデータ） (2023-09-05T12:47:44Z)
• Lattice-preserving $\mathcal{ALC}$ ontology embeddings with saturation [50.05281461410368]
  OWL表現の埋め込みを生成するため,順序保存型埋め込み法を提案する。 本手法は,いくつかの知識ベース完了タスクにおいて,最先端の組込み手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-11T22:27:51Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
  最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-05T21:57:22Z)
• Improving Biomedical Pretrained Language Models with Knowledge [22.61591249168801]
  UMLS知識基盤の知識を明示的に活用したバイオメディカルプリトレーニング言語モデル「KeBioLM」を提案します。 具体的には、PubMedアブストラクトからエンティティを抽出し、UMLSにリンクします。 次に、まずテキストのみのエンコーディング層を適用してエンティティ表現を学習し、集合エンティティ表現にテキストエンティティ融合エンコーディングを適用するナレッジアウェア言語モデルを訓練する。
  論文  参考訳（メタデータ） (2021-04-21T03:57:26Z)
• Latent Feature Representation via Unsupervised Learning for Pattern Discovery in Massive Electron Microscopy Image Volumes [4.278591555984395]
  特に,データセットにおける意味的類似性を捉える潜在表現を学ぶための教師なしのディープラーニングアプローチを提案する。 動物脳の比較的小さな部分でもテラバイトの画像を要求できるナノスケールの電子顕微鏡データに適用する手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-12-22T17:14:19Z)
• Reprogramming Language Models for Molecular Representation Learning [65.00999660425731]
  本稿では,分子学習タスクのための事前学習言語モデルに対して,辞書学習(R2DL)による表現再プログラミングを提案する。 対比プログラムは、k-SVDソルバを用いて、高密度ソースモデル入力空間(言語データ)とスパースターゲットモデル入力空間(例えば、化学および生物学的分子データ)との間の線形変換を学習する。 R2DLは、ドメイン固有のデータに基づいて訓練されたアート毒性予測モデルの状態によって確立されたベースラインを達成し、限られたトレーニングデータ設定でベースラインを上回る。
  論文  参考訳（メタデータ） (2020-12-07T05:50:27Z)
• The Interpretable Dictionary in Sparse Coding [4.205692673448206]
  我々の研究では、スパースコーディングを特定の空間的制約の下で訓練したANNが、標準的なディープラーニングモデルよりも解釈可能なモデルを生成することを説明している。 スパース符号で学習した辞書はより容易に理解でき、これらの要素の活性化は選択的な特徴出力を生成する。
  論文  参考訳（メタデータ） (2020-11-24T00:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。