論文の概要: Towards scientific discovery with dictionary learning: Extracting biological concepts from microscopy foundation models

• arxiv url: http://arxiv.org/abs/2412.16247v3
• Date: Fri, 18 Jul 2025 12:37:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-21 14:37:14.88759
• Title: Towards scientific discovery with dictionary learning: Extracting biological concepts from microscopy foundation models
• Title（参考訳）: 辞書学習による科学的発見に向けて:顕微鏡基礎モデルから生物学的概念を抽出する
• Authors: Konstantin Donhauser, Kristina Ulicna, Gemma Elyse Moran, Aditya Ravuri, Kian Kenyon-Dean, Cian Eastwood, Jason Hartford,
• Abstract要約: そこで本研究では,スパース辞書学習アルゴリズムであるICFL(Iterative Codebook Feature Learning)と,制御データから派生したPCAホワイトニング前処理ステップの組合せを提案する。 我々は、細胞型や遺伝的摂動といった生物学的に意味のある概念をうまく回収する。 本手法は,バイオイメージングにおける機械的解釈可能性による科学的発見に期待できる新たな方向を提供する。
• 参考スコア（独自算出の注目度）: 6.136186137141521
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse dictionary learning (DL) has emerged as a powerful approach to extract semantically meaningful concepts from the internals of large language models (LLMs) trained mainly in the text domain. In this work, we explore whether DL can extract meaningful concepts from less human-interpretable scientific data, such as vision foundation models trained on cell microscopy images, where limited prior knowledge exists about which high-level concepts should arise. We propose a novel combination of a sparse DL algorithm, Iterative Codebook Feature Learning (ICFL), with a PCA whitening pre-processing step derived from control data. Using this combined approach, we successfully retrieve biologically meaningful concepts, such as cell types and genetic perturbations. Moreover, we demonstrate how our method reveals subtle morphological changes arising from human-interpretable interventions, offering a promising new direction for scientific discovery via mechanistic interpretability in bioimaging.
• Abstract（参考訳）: Sparse Dictionary Learning (DL) は、主にテキストドメインで訓練された大規模言語モデル(LLM)の内部から意味論的に意味のある概念を抽出する強力なアプローチとして登場した。 本研究では,細胞顕微鏡画像上で訓練された視覚基盤モデルなど,人間の理解の少ない科学的データから,DLが有意義な概念を抽出できるかどうかを考察する。 制御データから抽出したPCAホワイトニング前処理ステップと、スパースDLアルゴリズムであるICFL(Iterative Codebook Feature Learning)の新たな組み合わせを提案する。 この組み合わせにより、我々は、細胞型や遺伝的摂動といった生物学的に意味のある概念を回収することに成功した。 さらに,本手法が人間の解釈可能な介入による微妙な形態変化を明らかにし,生体イメージングにおける機械的解釈可能性による科学的発見の新たな方向性を示すことを示す。

関連論文リスト

• Concept-Guided Interpretability via Neural Chunking [54.73787666584143]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 本稿では,ラベルの可利用性と次元性に基づいて,これら新たな実体を抽出する3つの手法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Human-like conceptual representations emerge from language prediction [72.5875173689788]
  大規模言語モデル(LLMs)は、言語データに対する次世代の予測を通じてのみ訓練され、顕著な人間的な振る舞いを示す。 これらのモデルは、人間に似た概念を発達させ、もしそうなら、そのような概念はどのように表現され、組織化されるのか? 以上の結果から,LLMは言語記述から他の概念に関する文脈的手がかりに関して柔軟に概念を導出できることが示唆された。 これらの結果は、構造化された人間のような概念表現が、現実世界の接地なしに言語予測から自然に現れることを証明している。
  論文  参考訳（メタデータ） (2025-01-21T23:54:17Z)
• Towards Unified Molecule-Enhanced Pathology Image Representation Learning via Integrating Spatial Transcriptomics [10.962389869127875]
  我々はUMPIRE(Unified Molecule-enhanced Pathology Image Representationn Learning framework)を紹介する。 UMPIREは、遺伝子発現プロファイルからの相補的な情報を活用して、マルチモーダル事前学習をガイドすることを目的としている。 この分子的視点は、病理画像の埋め込みを学習するための、堅牢でタスクに依存しない訓練信号を提供する。
  論文  参考訳（メタデータ） (2024-12-01T03:09:52Z)
• Building, Reusing, and Generalizing Abstract Representations from Concrete Sequences [51.965994405124455]
  人間は異なるシーケンスで抽象パターンを学習し、無関係な詳細をフィルタリングする。 多くのシーケンス学習モデルには抽象化能力がないため、メモリの非効率性や転送の低さにつながる。 非パラメトリック階層型変数学習モデル(HVM)を導入し、シーケンスからチャンクを学習し、文脈的に類似したチャンクを変数として抽象化する。
  論文  参考訳（メタデータ） (2024-10-27T18:13:07Z)
• Towards Ontology-Enhanced Representation Learning for Large Language Models [0.18416014644193066]
  本稿では,知識を参照オントロジーで注入することで,埋め込み言語モデル(埋め込み言語モデル)の関心を高める新しい手法を提案する。 言語情報(概念同義語と記述)と構造情報(is-a関係)は、包括的な概念定義の集合をコンパイルするために使用される。 これらの概念定義は、対照的な学習フレームワークを使用して、ターゲットの埋め込み-LLMを微調整するために使用される。
  論文  参考訳（メタデータ） (2024-05-30T23:01:10Z)
• A quantitative analysis of knowledge-learning preferences in large language models in molecular science [24.80165173525286]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の観点から科学的問題に取り組むための新しい研究パラダイムを導入している。 LLMは分子の理解と生成を著しく強化し、しばしば複雑な分子パターンをデコードし合成する能力で既存の手法を超越している。 我々は、ChEBI-20-MMというマルチモーダルベンチマークを提案し、モデルとデータモダリティとの互換性と知識獲得を評価する1263の実験を行った。
  論文  参考訳（メタデータ） (2024-02-06T16:12:36Z)
• MLIP: Enhancing Medical Visual Representation with Divergence Encoder and Knowledge-guided Contrastive Learning [48.97640824497327]
  本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。 我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。 特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
  論文  参考訳（メタデータ） (2024-02-03T05:48:50Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Transparency at the Source: Evaluating and Interpreting Language Models With Access to the True Distribution [4.01799362940916]
  人工的な言語のようなデータを用いて、ニューラルネットワークモデルのトレーニング、評価、解釈を行う。 データは、巨大な自然言語コーパスから派生した巨大な確率文法を用いて生成される。 基礎となる真の情報源にアクセスすることで、異なる単語のクラス間の動的学習における顕著な違いと結果が示される。
  論文  参考訳（メタデータ） (2023-10-23T12:03:01Z)
• Incorporating Dictionaries into a Neural Network Architecture to Extract COVID-19 Medical Concepts From Social Media [0.2302001830524133]
  自然言語処理のためのニューラルネットワークアーキテクチャに辞書情報を組み込むことの潜在的な利点について検討する。 特に、このアーキテクチャを用いて、オンライン医療フォーラムからCOVID-19に関連するいくつかの概念を抽出する。 この結果から,小ドメイン辞書を深層学習モデルに組み込むことで,概念抽出作業の改善が期待できることがわかった。
  論文  参考訳（メタデータ） (2023-09-05T12:47:44Z)
• Substance or Style: What Does Your Image Embedding Know? [55.676463077772866]
  画像基盤モデルは、主にセマンティックコンテンツとして評価されている。 画像のスタイル,品質,自然および人工的な変換など,多数の軸に沿った埋め込みの視覚的内容を測定する。 画像テキストモデル (CLIP と ALIGN) はマスキングベースモデル (CAN と MAE) よりもスタイル転送の新しい例を認識するのが得意である。
  論文  参考訳（メタデータ） (2023-07-10T22:40:10Z)
• Lattice-preserving $\mathcal{ALC}$ ontology embeddings with saturation [50.05281461410368]
  OWL表現の埋め込みを生成するため,順序保存型埋め込み法を提案する。 本手法は,いくつかの知識ベース完了タスクにおいて,最先端の組込み手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-11T22:27:51Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
  最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-05T21:57:22Z)
• Improving Biomedical Pretrained Language Models with Knowledge [22.61591249168801]
  UMLS知識基盤の知識を明示的に活用したバイオメディカルプリトレーニング言語モデル「KeBioLM」を提案します。 具体的には、PubMedアブストラクトからエンティティを抽出し、UMLSにリンクします。 次に、まずテキストのみのエンコーディング層を適用してエンティティ表現を学習し、集合エンティティ表現にテキストエンティティ融合エンコーディングを適用するナレッジアウェア言語モデルを訓練する。
  論文  参考訳（メタデータ） (2021-04-21T03:57:26Z)
• Evolution Is All You Need: Phylogenetic Augmentation for Contrastive Learning [1.7188280334580197]
  生物配列埋め込みの自己監視型表現学習は、下流タスクにおける計算リソースの制約を緩和する。 進化的系統的増補を用いた対比学習が表現学習の目的として利用できることを示す。
  論文  参考訳（メタデータ） (2020-12-25T01:35:06Z)
• Latent Feature Representation via Unsupervised Learning for Pattern Discovery in Massive Electron Microscopy Image Volumes [4.278591555984395]
  特に,データセットにおける意味的類似性を捉える潜在表現を学ぶための教師なしのディープラーニングアプローチを提案する。 動物脳の比較的小さな部分でもテラバイトの画像を要求できるナノスケールの電子顕微鏡データに適用する手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-12-22T17:14:19Z)
• Reprogramming Language Models for Molecular Representation Learning [65.00999660425731]
  本稿では,分子学習タスクのための事前学習言語モデルに対して,辞書学習(R2DL)による表現再プログラミングを提案する。 対比プログラムは、k-SVDソルバを用いて、高密度ソースモデル入力空間(言語データ)とスパースターゲットモデル入力空間(例えば、化学および生物学的分子データ)との間の線形変換を学習する。 R2DLは、ドメイン固有のデータに基づいて訓練されたアート毒性予測モデルの状態によって確立されたベースラインを達成し、限られたトレーニングデータ設定でベースラインを上回る。
  論文  参考訳（メタデータ） (2020-12-07T05:50:27Z)
• The Interpretable Dictionary in Sparse Coding [4.205692673448206]
  我々の研究では、スパースコーディングを特定の空間的制約の下で訓練したANNが、標準的なディープラーニングモデルよりも解釈可能なモデルを生成することを説明している。 スパース符号で学習した辞書はより容易に理解でき、これらの要素の活性化は選択的な特徴出力を生成する。
  論文  参考訳（メタデータ） (2020-11-24T00:26:40Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。