論文の概要: Model Connectomes: A Generational Approach to Data-Efficient Language Models

• arxiv url: http://arxiv.org/abs/2504.21047v1
• Date: Tue, 29 Apr 2025 00:17:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-10 00:07:06.019562
• Title: Model Connectomes: A Generational Approach to Data-Efficient Language Models
• Title（参考訳）: モデルコネクトーム:データ効率の良い言語モデルへの世代的アプローチ
• Authors: Klemen Kotar, Greta Tuckute,
• Abstract要約: この重要な世代次元を組み込んだフレームワークを提案する。 我々は、外部進化ループから「モデルコネクトーム」を継承するモデルを訓練する。 2つの密に整合した制御モデルと比較して、コネクトームモデルは自然言語処理タスクにおいてより良く、または同等に動作することを示す。
• 参考スコア（独自算出の注目度）: 5.417377641166794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Biological neural networks are shaped both by evolution across generations and by individual learning within an organism's lifetime, whereas standard artificial neural networks undergo a single, large training procedure without inherited constraints. In this preliminary work, we propose a framework that incorporates this crucial generational dimension - an "outer loop" of evolution that shapes the "inner loop" of learning - so that artificial networks better mirror the effects of evolution and individual learning in biological organisms. Focusing on language, we train a model that inherits a "model connectome" from the outer evolution loop before exposing it to a developmental-scale corpus of 100M tokens. Compared with two closely matched control models, we show that the connectome model performs better or on par on natural language processing tasks as well as alignment to human behavior and brain data. These findings suggest that a model connectome serves as an efficient prior for learning in low-data regimes - narrowing the gap between single-generation artificial models and biologically evolved neural networks.
• Abstract（参考訳）: 生物学的ニューラルネットワークは、世代にわたる進化と、生物の寿命内で個別の学習の両方によって形成され、一方、標準的な人工ニューラルネットワークは、継承された制約なしに単一の大きな訓練手順を実行する。 この予備的な研究では、進化の「外ループ」が学習の「内ループ」を形成することにより、生物の進化と個人学習の効果をよりよく反映する、この重要な世代次元を組み込んだフレームワークを提案する。 言語に焦点をあてて,外部進化ループから"モデルコネクトーム"を継承したモデルをトレーニングし,それを100Mトークンの大規模コーパスに公開する。 2つの密に整合した制御モデルと比較して、コネクトームモデルは、人間の行動や脳データとの整合性だけでなく、自然言語処理のタスクにおいて、より良く、または同等に機能することを示す。 これらの結果は、モデルコネクトームが、単一の世代人工モデルと生物学的に進化したニューラルネットワークの間のギャップを狭めることで、低データのレシエーションにおける学習の効率的な先行となることを示唆している。

関連論文リスト

• Developmental Predictive Coding Model for Early Infancy Mono and Bilingual Vocal Continual Learning [69.8008228833895]
  本稿では,連続学習機構を備えた小型生成ニューラルネットワークを提案する。 我々のモデルは解釈可能性を重視し,オンライン学習の利点を実証する。
  論文  参考訳（メタデータ） (2024-12-23T10:23:47Z)
• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Neural Dynamics Model of Visual Decision-Making: Learning from Human Experts [28.340344705437758]
  視覚入力から行動出力まで,包括的な視覚的意思決定モデルを実装した。 我々のモデルは人間の行動と密接に一致し、霊長類の神経活動を反映する。 ニューロイメージング・インフォームド・ファインチューニング手法を導入し、モデルに適用し、性能改善を実現した。
  論文  参考訳（メタデータ） (2024-09-04T02:38:52Z)
• Neural Lineage [56.34149480207817]
  本稿では,親子間の系統関係の発見を目的としたニューラルライン検出という新しいタスクを提案する。 実用上,ニューラルネットワーク表現類似度指標に微調整プロセスの近似を組み込んだ学習自由アプローチを導入する。 精度を追求するために,エンコーダと変圧器検出器からなる学習系系統検出装置を導入する。
  論文  参考訳（メタデータ） (2024-06-17T01:11:53Z)
• An iterated learning model of language change that mixes supervised and unsupervised learning [0.0]
  反復学習モデルは、世代から世代への言語の伝達をシミュレートするエージェントモデルである。 各イテレーションにおいて、言語家庭教師は、ナイーブな瞳孔を限られた発話の訓練セットに公開し、それぞれがランダムな意味とそれを伝達する信号とをペアリングする。 送信ボトルネックは、チューターが経験したトレーニングセットを超えて一般化する必要があることを保証します。
  論文  参考訳（メタデータ） (2024-05-31T14:14:01Z)
• An effective theory of collective deep learning [1.3812010983144802]
  我々は、近年の分散化アルゴリズムを凝縮する最小限のモデルを導入する。 線形ネットワークの有効理論を導出し、我々のシステムの粗粒度挙動が変形したギンズバーグ・ランダウモデルと等価であることを示す。 MNISTデータセットで訓練された現実的なニューラルネットワークの結合アンサンブルで理論を検証した。
  論文  参考訳（メタデータ） (2023-10-19T14:58:20Z)
• Cooperative data-driven modeling [44.99833362998488]
  メカニクスにおけるデータ駆動モデリングは、最近の機械学習の進歩に基づいて急速に進化している。 異なるグループによって作成された新しいデータとモデルが利用可能となり、協調モデリングの可能性が開ける。 人工ニューラルネットワークは、破滅的な忘れ、すなわち、新しいタスクでトレーニングされたときに古いタスクを実行する方法を忘れることに苦しむ。 これは、新しいタスクに既存のモデルを適用することが、誰かによって訓練された前のタスクのパフォーマンスに影響を与えるため、協力を妨げる。
  論文  参考訳（メタデータ） (2022-11-23T14:27:25Z)
• aSTDP: A More Biologically Plausible Learning [0.0]
  我々は,新しいニューラルネットワーク学習フレームワークSTDPを導入する。 教師なしおよび教師なしの学習にはSTDPルールのみを使用する。 追加設定なしで予測したり、ひとつのモデルでパターンを生成できる。
  論文  参考訳（メタデータ） (2022-05-22T08:12:50Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Learning Evolved Combinatorial Symbols with a Neuro-symbolic Generative Model [35.341634678764066]
  人間は限られたデータからリッチな概念を素早く理解することができる。 従来のアプローチと概念学習の強みを融合したニューロシンボリックジェネレーションモデルを提案する。
  論文  参考訳（メタデータ） (2021-04-16T17:57:51Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• A multi-agent model for growing spiking neural networks [0.0]
  このプロジェクトでは、学習メカニズムとして、スパイキングニューラルネットワークのニューロン間の接続を拡大するためのルールについて検討している。 シミュレーション環境での結果は、与えられたパラメータセットに対して、テストされた関数を再現するトポロジに到達可能であることを示した。 このプロジェクトはまた、モデルパラメーターに最適な値を得るために、遺伝的アルゴリズムのようなテクニックを使用するための扉を開く。
  論文  参考訳（メタデータ） (2020-09-21T15:11:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。