論文の概要: Understanding Foundation Models: Are We Back in 1924?

• arxiv url: http://arxiv.org/abs/2409.07618v1
• Date: Wed, 11 Sep 2024 20:59:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 18:21:43.840734
• Title: Understanding Foundation Models: Are We Back in 1924?
• Title（参考訳）: 基礎モデルを理解する: 私たちは1924年に戻ってきたか?
• Authors: Alan F. Smeaton,
• Abstract要約: 本稿では,AIにおけるファンデーションモデル(FM)の急速な発展とそのインテリジェンスと推論への応用について考察する。 FMの特徴について検討し、膨大なデータセットのトレーニングや、セマンティックな関係を捉えるための埋め込み空間の利用を含む。 また、FMのベンチマークの課題にも対処し、その構造を人間の脳と比較する。
• 参考スコア（独自算出の注目度）: 2.613751482407464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This position paper explores the rapid development of Foundation Models (FMs) in AI and their implications for intelligence and reasoning. It examines the characteristics of FMs, including their training on vast datasets and use of embedding spaces to capture semantic relationships. The paper discusses recent advancements in FMs' reasoning abilities which we argue cannot be attributed to increased model size but to novel training techniques which yield learning phenomena like grokking. It also addresses the challenges in benchmarking FMs and compares their structure to the human brain. We argue that while FMs show promising developments in reasoning and knowledge representation, understanding their inner workings remains a significant challenge, similar to ongoing efforts in neuroscience to comprehend human brain function. Despite having some similarities, fundamental differences between FMs and the structure of human brain warn us against making direct comparisons or expecting neuroscience to provide immediate insights into FM function.
• Abstract（参考訳）: 本稿では,AIにおけるファンデーションモデル(FM)の急速な発展とそのインテリジェンスと推論への応用について考察する。 FMの特徴について検討し、膨大なデータセットのトレーニングや、セマンティックな関係を捉えるための埋め込み空間の利用を含む。 本論文は, モデルサイズが増大するだけでなく, グルーキングのような学習現象を生じさせる新しい学習技術に起因して, FMの推論能力の最近の進歩について論じる。 また、FMのベンチマークの課題にも対処し、その構造を人間の脳と比較する。 FMは推論と知識表現において有望な発展を示すが、人間の脳機能を理解するための神経科学の継続的な取り組みと同様に、その内部の働きを理解することは大きな課題である。 いくつかの類似点があるにもかかわらず、FMと人間の脳の構造の根本的な違いは、直接比較したり、神経科学がFM機能に対する即時的な洞察を提供することを期待していることを警告している。

関連論文リスト

• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• Large Language Model-based FMRI Encoding of Language Functions for Subjects with Neurocognitive Disorder [53.575426835313536]
  LLMを用いたfMRIエンコーディングと脳のスコアを用いた高齢者の言語関連機能変化について検討する。 脳のスコアと認知スコアの相関関係を脳全体のROIと言語関連ROIの両方で分析した。 以上の結果から,認知能力の向上は,中側頭回に有意な相関がみられた。
  論文  参考訳（メタデータ） (2024-07-15T01:09:08Z)
• BrainMAE: A Region-aware Self-supervised Learning Framework for Brain Signals [11.030708270737964]
  本稿では,fMRI時系列データから直接表現を学習するBrain Masked Auto-Encoder(BrainMAE)を提案する。 BrainMAEは、4つの異なる下流タスクにおいて、確立されたベースラインメソッドをかなりのマージンで一貫して上回っている。
  論文  参考訳（メタデータ） (2024-06-24T19:16:24Z)
• Linking In-context Learning in Transformers to Human Episodic Memory [1.124958340749622]
  我々は,トランスフォーマーに基づく大規模言語モデルにおいて,文脈内学習に寄与する帰納的頭部に焦点を当てた。 本研究では,インダクションヘッドの動作,機能,機械的特性が,ヒトのエピソード記憶の文脈的保守と検索モデルに類似していることを示す。
  論文  参考訳（メタデータ） (2024-05-23T18:51:47Z)
• Progress and Opportunities of Foundation Models in Bioinformatics [77.74411726471439]
  基礎モデル(FM)は、特に深層学習の領域において、計算生物学の新しい時代に定着した。 我々の焦点は、特定の生物学的問題にFMを応用することであり、研究ニーズに適切なFMを選択するために研究コミュニティを指導することを目的としています。 データノイズ、モデル説明可能性、潜在的なバイアスなど、生物学においてFMが直面する課題と限界を分析します。
  論文  参考訳（メタデータ） (2024-02-06T02:29:17Z)
• Unveiling Theory of Mind in Large Language Models: A Parallel to Single Neurons in the Human Brain [2.5350521110810056]
  大きな言語モデル(LLM)は、あるレベルの心の理論(ToM)を示すことが発見されている。 LLMのToMの能力や人間との類似性に基づく正確なプロセスはほとんど不明である。
  論文  参考訳（メタデータ） (2023-09-04T15:26:15Z)
• Memory-Augmented Theory of Mind Network [59.9781556714202]
  社会的推論は、心の理論(ToM)の能力を必要とする。 ToMに対する最近の機械学習アプローチは、観察者が過去を読み、他のエージェントの振る舞いを提示するように訓練できることを実証している。 我々は,新たなニューラルメモリ機構を組み込んで符号化し,階層的な注意を払って他者に関する情報を選択的に検索することで,課題に対処する。 この結果、ToMMYは心的プロセスについての仮定をほとんど行わずに理性を学ぶマインドモデルである。
  論文  参考訳（メタデータ） (2023-01-17T14:48:58Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。