論文の概要: Beating Transformers using Synthetic Cognition
- arxiv url: http://arxiv.org/abs/2504.07619v1
- Date: Thu, 10 Apr 2025 10:07:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-11 12:22:39.133186
- Title: Beating Transformers using Synthetic Cognition
- Title（参考訳）: 合成認識を用いたビーティングトランス
- Authors: Alfredo Ibias, Miguel Rodriguez-Galindo, Hector Antona, Guillem Ramirez-Miranda, Enric Guinovart,
- Abstract要約: 認知アーキテクチャを開発するための新しいアプローチ、Synthetic Cognitionが提案され、即時反応の振る舞いを開発するために実装されている。
そこで本研究では,最近実施されているSynthetic Cognitionの配列に対処する機構を提案し,DNA配列分類タスクにおけるDNA基盤モデルと比較した。
シーケンスに対処するためにSynthetic Cognitionを拡張することと、シーケンス分類のためのTransformerアーキテクチャを破ることの2つの目標を達成する。
- 参考スコア（独自算出の注目度）: 2.5069344340760713
- License:
- Abstract: The road to Artificial General Intelligence goes through the generation of episodic reactive behaviors, where the Transformer architecture has been proven to be the state-of-the-art. However, they still fail to develop reasoning. Recently, a novel approach for developing cognitive architectures, called Synthetic Cognition, has been proposed and implemented to develop instantaneous reactive behavior. In this study, we aim to explore the use of Synthetic Cognition to develop episodic reactive behaviors. We propose a mechanism to deal with sequences for the recent implementation of Synthetic Cognition, and test it against DNA foundation models in DNA sequence classification tasks. In our experiments, our proposal clearly outperforms the DNA foundation models, obtaining the best score on more benchmark tasks than the alternatives. Thus, we achieve two goals: expanding Synthetic Cognition to deal with sequences, and beating the Transformer architecture for sequence classification.
- Abstract（参考訳）: 人工知能への道のりは、トランスフォーマーアーキテクチャが最先端技術であることが証明された、エピソジックなリアクティブな振る舞いを生み出すことである。
しかし、彼らはいまだに推論の発達に失敗している。
近年,認知アーキテクチャを開発するための新しい手法であるSynthetic Cognitionが提案され,即時反応行動を開発するために実装されている。
本研究では, 合成認知を用いて, エピソジックな反応挙動を発達させる方法について検討する。
そこで本研究では,最近実施されているSynthetic Cognitionの配列に対処する機構を提案し,DNA配列分類タスクにおけるDNA基盤モデルと比較した。
実験では, 提案手法はDNA基盤モデルより明らかに優れており, 代替手法よりも多くのベンチマークタスクにおいて最高のスコアが得られた。
このように、シーケンスを扱うためにSynthetic Cognitionを拡張することと、シーケンス分類のためのTransformerアーキテクチャを破ることの2つの目標を達成する。
関連論文リスト
- STAR: Synthesis of Tailored Architectures [61.080157488857516]
本稿では, 適合型アーキテクチャ (STAR) の新規な合成手法を提案する。
提案手法は線形入力可変系の理論に基づく新しい探索空間を結合し,階層的な数値エンコーディングをアーキテクチャゲノムに支持する。STARゲノムは,複数のモデル品質と効率の指標に最適化するために,勾配のない進化的アルゴリズムで自動的に精製・組換えされる。
STARを用いて、多種多様な計算単位と相互接続パターンを活用し、品質、パラメータサイズ、および自動回帰言語モデリングのための推論キャッシュのフロンティアにおける高度に最適化されたトランスフォーマーとストライプハイブリッドモデルを改善する。
論文 参考訳（メタデータ） (2024-11-26T18:42:42Z) - Decoupled Sequence and Structure Generation for Realistic Antibody Design [45.72237864940556]
主要なパラダイムは、モデルに抗体配列と構造を候補として共同で生成するように訓練することである。
本稿では, 配列生成と構造予測を分離した抗体配列構造デカップリング(ASSD)フレームワークを提案する。
ASSDは様々な抗体設計実験で性能が向上し、合成に基づく目的は非自己回帰モデルのトークン反復を軽減した。
論文 参考訳（メタデータ） (2024-02-08T13:02:05Z) - Neural-Logic Human-Object Interaction Detection [67.4993347702353]
本稿では,ニューラルロジック推論を利用した新しいHOI検出器であるL OGIC HOIと,実体間の相互作用を推測するTransformerを提案する。
具体的には,バニラトランスフォーマーの自己保持機構を改変し,人間,行動,対象>三重項を推論し,新たな相互作用を構成する。
我々はこれらの2つの特性を一階述語論理で定式化し、それらを連続空間に基底にして、我々のアプローチの学習過程を制約し、性能とゼロショットの一般化能力を向上させる。
論文 参考訳（メタデータ） (2023-11-16T11:47:53Z) - A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian
Learning and Free Energy Minimization [55.11642177631929]
大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。
我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
論文 参考訳（メタデータ） (2023-10-14T23:28:48Z) - Generative Models as a Complex Systems Science: How can we make sense of
large language model behavior? [75.79305790453654]
事前訓練されたモデルから望ましい振る舞いを排除し、望ましくないモデルを避けながら、NLPを再定義した。
言語モデルの振る舞いをタスク間性能を説明するカテゴリに分解する体系的な取り組みについて論じる。
論文 参考訳（メタデータ） (2023-07-31T22:58:41Z) - Generative Adversarial Neuroevolution for Control Behaviour Imitation [3.04585143845864]
本稿では,一般的なシミュレーション環境における行動模倣にディープ・ニューロエボリューションが有効かどうかを考察する。
我々は、単純な共進化的逆数生成フレームワークを導入し、標準の深い再帰ネットワークを進化させることにより、その能力を評価する。
全てのタスクにおいて、事前訓練されたエージェントが獲得したものよりも高いスコアを達成できる最後のエリートアクターが見つかる。
論文 参考訳（メタデータ） (2023-04-03T16:33:22Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Developing hierarchical anticipations via neural network-based event
segmentation [14.059479351946386]
我々は、自律的に学習された潜在イベントコードによる階層的予測の開発をモデル化する。
本稿では,学習バイアスが緩やかに変化する潜在状態の発達を促進する階層的再帰型ニューラルネットワークアーキテクチャを提案する。
より高いレベルのネットワークは、潜伏状態が変化しがちな状況を予測することを学ぶ。
論文 参考訳（メタデータ） (2022-06-04T18:54:31Z) - Modelling Behaviour Change using Cognitive Agent Simulations [0.0]
本稿では, シミュレーションエージェントに選択された行動変化理論を適用するために, プログレッシブ・イン・プログレッシブ・リサーチを提案する。
この研究は、不適切な状況下での自己決定的目標達成に必要な複雑なエージェントアーキテクチャに焦点を当てている。
論文 参考訳（メタデータ） (2021-10-16T19:19:08Z) - Retro*: Learning Retrosynthetic Planning with Neural Guided A* Search [83.22850633478302]
反合成計画(retrosynthetic planning)は、ターゲット生成物の合成に繋がる一連の反応を特定する。
既存の手法では、高いばらつきを持つロールアウトによる高価なリターン推定が必要か、品質よりも探索速度を最適化する必要がある。
本稿では,高品質な合成経路を効率よく見つけるニューラルネットワークA*ライクなアルゴリズムRetro*を提案する。
論文 参考訳（メタデータ） (2020-06-29T05:53:33Z) - Fostering Event Compression using Gated Surprise [0.5801044612920815]
生成的イベント予測モデルは、知覚モチーフデータをコンテキスト体験のチャンクに分割することによって形成される。
ここでは、このプロセスをモデル化した階層的、驚きに満ちたリカレントニューラルネットワークアーキテクチャを紹介する。
本モデルは,複数のイベント処理タスクにおいて,異なるイベント圧縮を開発することを示し,最高の性能を実現する。
論文 参考訳（メタデータ） (2020-05-12T11:57:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。