論文の概要: Genomic Next-Token Predictors are In-Context Learners

• arxiv url: http://arxiv.org/abs/2511.12797v2
• Date: Fri, 21 Nov 2025 02:11:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-24 14:08:26.07145
• Title: Genomic Next-Token Predictors are In-Context Learners
• Title（参考訳）: ゲノミクスの次世代予測者はインテクスト学習者である
• Authors: Nathan Breslow, Aayush Mishra, Mahler Revsine, Michael C. Schatz, Anqi Liu, Daniel Khashabi,
• Abstract要約: In-context Learning (ICL) は、人間のテキストの次のトーケン予測のために訓練された大規模な言語モデルで広く研究されている。 ICLは、大規模予測トレーニングによって、他の配列ドメインで有機的に発生するのか? そこで本研究では,テキスト内デモの数が増加するにつれて,ゲノムモデルがパターン誘導の対数線形ゲインを示すことを示す。
• 参考スコア（独自算出の注目度）: 34.25770424888426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) -- the capacity of a model to infer and apply abstract patterns from examples provided within its input -- has been extensively studied in large language models trained for next-token prediction on human text. In fact, prior work often attributes this emergent behavior to distinctive statistical properties in human language. This raises a fundamental question: can ICL arise organically in other sequence domains purely through large-scale predictive training? To explore this, we turn to genomic sequences, an alternative symbolic domain rich in statistical structure. Specifically, we study the Evo2 genomic model, trained predominantly on next-nucleotide (A/T/C/G) prediction, at a scale comparable to mid-sized LLMs. We develop a controlled experimental framework comprising symbolic reasoning tasks instantiated in both linguistic and genomic forms, enabling direct comparison of ICL across genomic and linguistic models. Our results show that genomic models, like their linguistic counterparts, exhibit log-linear gains in pattern induction as the number of in-context demonstrations increases. To the best of our knowledge, this is the first evidence of organically emergent ICL in genomic sequences, supporting the hypothesis that ICL arises as a consequence of large-scale predictive modeling over rich data. These findings extend emergent meta-learning beyond language, pointing toward a unified, modality-agnostic view of in-context learning.
• Abstract（参考訳）: In-context Learning (ICL) - 入力に含まれる例から抽象パターンを推論し、適用するモデルの能力。 実際、先行研究はしばしば、この創発的な行動は人間の言語における独特な統計的性質に起因している。 ICLは、大規模予測トレーニングによって、他の配列ドメインで有機的に発生するのか? これを調べるために、統計構造に富んだ代替の記号領域であるゲノム配列に目を向ける。 具体的には, 次ヌクレオチド(A/T/C/G)の予測を, 中規模のLSMに匹敵するスケールで主に訓練したEvo2ゲノムモデルについて検討する。 我々は,言語モデルとゲノムモデルの両方でインスタンス化されたシンボリック推論タスクからなる制御された実験フレームワークを開発し,ゲノムモデルと言語モデルとの直接比較を可能にした。 以上の結果から, 言語モデルと同様, パターン誘導の対数直線的増加は, 文脈内実演の数が増加するにつれて起こることが示唆された。 我々の知る限りでは、これはゲノム配列における有機的創発性ICLの最初の証拠であり、リッチデータに対する大規模予測モデルの結果、ICCが生じるという仮説を支持している。 これらの知見は、言語以外の創発的なメタラーニングを拡張し、文脈内学習の統一的でモダリティに依存しない視点を指している。

関連論文リスト

• Context-level Language Modeling by Learning Predictive Context Embeddings [79.00607069677393]
  textbfContextLMは、固有のtextbfnext-context予測目標で標準事前学習を強化するフレームワークである。 このメカニズムは、将来のトークンチャンクから派生したエラー信号を利用して、マルチトークンコンテキストの予測表現を学ぶようモデルを訓練する。 GPT2およびPythiaモデルファミリーの実験では、1.5ドルBのパラメータまでスケールし、ContextLMがパープレキシティとダウンストリームのタスクパフォーマンスの両方で一貫した改善を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-23T07:09:45Z)
• Modeling cognitive processes of natural reading with transformer-based Language Models [2.048226951354646]
  これまでの研究では、NグラムやLSTMネットワークのようなモデルが、眼球運動の振る舞いを説明する際の予測可能性の影響を部分的に説明できることが示されている。 本研究では, トランスフォーマーモデル(GPT2, LLaMA-7B, LLaMA2-7B)を評価し, この関係性について検討した。 以上の結果から,これらの構造は,リオ植物学のスペイン語読解者から記録されたガゼ期間の変動を説明する上で,先行モデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-05-16T17:47:58Z)
• Towards Auto-Regressive Next-Token Prediction: In-Context Learning Emerges from Generalization [26.9153121765435]
  大規模言語モデル(LLM)は、文脈内学習能力を顕著に示している。 本稿では,ICLの出現と事前学習がICLに与える影響について検討する。 我々の理論は、数値線形力学系、合成GINC、実世界の言語データセットの実験によって支持されている。
  論文  参考訳（メタデータ） (2025-02-24T10:26:29Z)
• GENERator: A Long-Context Generative Genomic Foundation Model [66.46537421135996]
  本稿では,98k塩基対 (bp) と1.2Bパラメータからなるゲノム基盤モデル GENERator を提案する。 DNAの386Bbpからなる拡張データセットに基づいて、GENERatorは、確立されたベンチマークと新しく提案されたベンチマークの両方で最先端のパフォーマンスを実証する。 また、特に特定のアクティビティプロファイルを持つエンハンサーシーケンスを即応的に生成することで、シーケンス最適化において大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-11T05:39:49Z)
• Long-range gene expression prediction with token alignment of large language model [37.10820914895689]
  本稿では,遺伝子配列の特徴を自然言語トークンと整合させる遺伝子配列Token Alignment(GTA)を提案する。 GTAは規制文法を学習し、遺伝子特異的な人間のアノテーションをプロンプトとして組み込むことができる。 GTAは、事前訓練された言語モデルを利用して、遺伝子発現予測に対する強力で斬新なクロスモーダルなアプローチを示す。
  論文  参考訳（メタデータ） (2024-10-02T02:42:29Z)
• VQDNA: Unleashing the Power of Vector Quantization for Multi-Species Genomic Sequence Modeling [60.91599380893732]
  VQDNAは、ゲノムボキャブラリ学習の観点からゲノムのトークン化を改良する汎用フレームワークである。 ベクトル量子化されたコードブックを学習可能な語彙として活用することにより、VQDNAはゲノムをパターン認識の埋め込みに適応的にトークン化することができる。
  論文  参考訳（メタデータ） (2024-05-13T20:15:03Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Modeling structure-building in the brain with CCG parsing and large language models [9.17816011606258]
  Combinatory Categorial Grammars (CCGs) は文法の直接合成モデルである。 我々は、より表現力のあるCCGが、fMRIで収集された人間の神経信号に対する文脈自由文法よりも優れたモデルを提供するかどうかを評価する。
  論文  参考訳（メタデータ） (2022-10-28T14:21:29Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。