論文の概要: LLM DNA: Tracing Model Evolution via Functional Representations

• arxiv url: http://arxiv.org/abs/2509.24496v1
• Date: Mon, 29 Sep 2025 09:09:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.888165
• Title: LLM DNA: Tracing Model Evolution via Functional Representations
• Title（参考訳）: LLM DNA:機能的表現による追跡モデル進化
• Authors: Zhaomin Wu, Haodong Zhao, Ziyang Wang, Jizhou Guo, Qian Wang, Bingsheng He,
• Abstract要約: 生物DNAを用いてLLMDNAを機能行動の低次元バイリプシッツ表現として定義する。 大規模言語モデルからDNAを抽出するための、汎用的でスケーラブルで、トレーニング不要なパイプラインを導出する。
• 参考スコア（独自算出の注目度）: 48.25705499165725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The explosive growth of large language models (LLMs) has created a vast but opaque landscape: millions of models exist, yet their evolutionary relationships through fine-tuning, distillation, or adaptation are often undocumented or unclear, complicating LLM management. Existing methods are limited by task specificity, fixed model sets, or strict assumptions about tokenizers or architectures. Inspired by biological DNA, we address these limitations by mathematically defining LLM DNA as a low-dimensional, bi-Lipschitz representation of functional behavior. We prove that LLM DNA satisfies inheritance and genetic determinism properties and establish the existence of DNA. Building on this theory, we derive a general, scalable, training-free pipeline for DNA extraction. In experiments across 305 LLMs, DNA aligns with prior studies on limited subsets and achieves superior or competitive performance on specific tasks. Beyond these tasks, DNA comparisons uncover previously undocumented relationships among LLMs. We further construct the evolutionary tree of LLMs using phylogenetic algorithms, which align with shifts from encoder-decoder to decoder-only architectures, reflect temporal progression, and reveal distinct evolutionary speeds across LLM families.
• Abstract（参考訳）: 大規模言語モデル(LLM)の爆発的な成長は、数百万ものモデルが存在するが、細調整、蒸留、適応によるそれらの進化的関係はしばしば文書化されていないか、不明であり、LLM管理を複雑にしている。 既存のメソッドはタスクの特異性、固定されたモデルセット、トークン化器やアーキテクチャに関する厳密な仮定によって制限される。 生物学的DNAに着想を得て,LLMDNAを低次元の双リプシッツ表現として数学的に定義することにより,これらの制限に対処する。 LLM DNAは遺伝と遺伝的決定性に満足し、DNAの存在を確立している。 この理論に基づいて、DNA抽出のための汎用的でスケーラブルで、トレーニング不要なパイプラインを導出する。 305LLMにわたる実験では、DNAは制限されたサブセットに関する先行研究と整合し、特定のタスクにおいて優れた、または競争的な性能を達成する。 これらのタスクの他に、DNAの比較により、以前は文書化されていなかったLSM間の関係が明らかになった。 さらに,エンコーダ・デコーダからデコーダ・オン・デコーダ・アーキテクチャへ移行し,時間的進行を反映し,LLMファミリー間の進化速度を明確にする系統解析アルゴリズムを用いて,LLMの進化木を構築する。

関連論文リスト

• JanusDNA: A Powerful Bi-directional Hybrid DNA Foundation Model [1.6128508494592848]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらし、他のシーケンシャルなデータタイプにもますます適用されてきている。 我々は、新しい事前学習パラダイムに基づいて構築された、最初の双方向DNA基盤モデルであるJanusDNAを紹介する。 JanusDNAは、1つの80GB GPU上で1つのヌクレオチド分解能で100万塩基対を処理する。
  論文  参考訳（メタデータ） (2025-05-22T20:10:55Z)
• Biology-Instructions: A Dataset and Benchmark for Multi-Omics Sequence Understanding Capability of Large Language Models [55.74944165932666]
  本稿では,生物配列の大規模学習データセットであるBiology-Instructionsを紹介する。 このデータセットは、大きな言語モデル(LLM)と複雑な生物学的シーケンス関連タスクをブリッジし、その汎用性と推論を強化する。 また,マルチオミクスタスクにおける現状のLLMの,専門訓練なしでの大幅な制限を強調した。
  論文  参考訳（メタデータ） (2024-12-26T12:12:23Z)
• Genetic Instruct: Scaling up Synthetic Generation of Coding Instructions for Large Language Models [59.60208063956459]
  大規模言語モデル(LLM)は、効果的なアライメントのために高品質な命令データを必要とする。 本稿では,大規模かつ高品質な符号化命令を合成するスケーラブルなアルゴリズムであるGenematic-Instructを提案する。
  論文  参考訳（メタデータ） (2024-07-29T20:42:59Z)
• Geneverse: A collection of Open-source Multimodal Large Language Models for Genomic and Proteomic Research [20.285114234576298]
  大規模言語モデル(LLM)は、生物医学と医療の研究に期待されている。 本稿では,ゲノム学およびプロテオミクス研究における3つの新しい課題に対して,微調整LDMとマルチモーダルLSM(MLLM)のコレクションを提案する。 Geneverseのモデルは、ドメイン固有のデータセットに基づいてトレーニングされ、評価される。 適応LLMとMLLMはこれらのタスクに対して良好に動作し、クローズドソースの大規模モデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-21T14:19:10Z)
• A Survey on Self-Evolution of Large Language Models [116.54238664264928]
  大規模言語モデル(LLM)は、様々な分野やインテリジェントエージェントアプリケーションにおいて大きく進歩している。 この問題に対処するために、LLMが自律的に獲得し、洗練し、モデル自身によって生成された経験から学ぶことができる自己進化的アプローチが急速に成長している。
  論文  参考訳（メタデータ） (2024-04-22T17:43:23Z)
• When Large Language Models Meet Evolutionary Algorithms: Potential Enhancements and Challenges [50.280704114978384]
  事前訓練された大規模言語モデル(LLM)は、自然なテキストを生成する強力な能力を示す。 進化的アルゴリズム(EA)は、複雑な現実世界の問題に対する多様な解決策を発見できる。
  論文  参考訳（メタデータ） (2024-01-19T05:58:30Z)
• Characterizing Large Language Model Geometry Helps Solve Toxicity Detection and Generation [15.77263269398368]
  大規模言語モデル(LLM)は、現在のAIのブレークスルーを促進する。 我々は幾何学のレンズを通してLLMの内部機構に光を当てた。 我々は,任意の(事前学習された)LLMから抽出できる解釈可能な幾何学的特徴を導出する。
  論文  参考訳（メタデータ） (2023-12-04T06:01:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。