論文の概要: An all-transistor physical-learning transformer can be trained to perform in-context learning
- arxiv url: http://arxiv.org/abs/2610.12571v1
- Date: Thu, 08 Oct 2026 18:01:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.241221
- Title: An all-transistor physical-learning transformer can be trained to perform in-context learning
- Title（参考訳）: コンテクスト内学習を行うための全トランジスタ物理学習変換器の訓練
- Abstract要約: 平衡伝播は、入力と出力の間の物理的システムを通しての情報の双方向の流れに依存する。
ここでは、この目的のために余分な回路要素を二重回路または二進回路に導入することにより、この双方向の流れを明示的に復元する。
シミュレーションでは, この回路は, 近似勾配のみを伝達する現実的な逆成分を用いても, 簡単なコンテキスト内学習タスクを実行することができることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most systems trained by equilibrium propagation or coupled learning are in the same class as multi-layer perceptrons: while they may be universal function approximators, they struggle to learn associative tasks which are easy for transformers. Equilibrium propagation relies on a bidirectional flow of information through the physical system between input and output. The reverse flow is broken by more complex nonlinear systems, such as those performing multiplication which is needed to express dot-product attention. Here we explicitly restore this bidirectional flow by introducing extra circuit elements for this purpose into a double or dyadic circuit. We then use these ideas to construct an attention mechanism exploiting the exponential current law of sub-threshold MOSFET devices. We show that in simulations this circuit can be trained to perform a simple in-context learning task, despite using realistic reverse components which transmit only an approximate gradient. For this training to succeed we need cross-entropy loss (not mean squared error). We generate nudges appropriate for this loss using a novel floating circuit element, based on the same MOSFET sub-circuit used for softmax. We train the resistors in this circuit using the Lion optimiser, which can be implemented using one capacitor per parameter to store local memory of past gradient estimates.
- Abstract（参考訳）: 平衡伝播や結合学習によって訓練されたほとんどのシステムは、多層パーセプトロンと同じクラスである:それらは普遍関数近似器であるかもしれないが、変圧器にとって容易な連想的タスクを学ぶのに苦労する。
平衡伝播は、入力と出力の間の物理的システムを通しての情報の双方向の流れに依存する。
逆流は、ドット積の注意を表わすのに必要な乗法を行うような、より複雑な非線形システムによって破られる。
ここでは、この目的のために余分な回路要素を二重回路または二進回路に導入することにより、この双方向の流れを明示的に復元する。
次に、これらのアイデアを用いて、サブスレッショルドMOSFETデバイスの指数電流則を利用した注意機構を構築する。
シミュレーションでは, この回路は, 近似勾配のみを伝達する現実的な逆成分を用いても, 簡単なコンテキスト内学習タスクを実行することができることを示す。
このトレーニングを成功させるためには、クロスエントロピー損失(平均2乗誤差ではない)が必要です。
ソフトマックスに使用するMOSFETサブ回路をベースとした新しいフローティング回路素子を用いて,この損失に適切なヌッジを生成する。
この回路の抵抗器をライオンオプティマイザを用いて訓練し、パラメータ毎に1つのコンデンサを用いて実装し、過去の勾配推定値のローカルメモリを格納する。
関連論文リスト
- Machine Learning-Based Reconstruction for Resistive Silicon Sensors [53.365453214937496]
抵抗型シリコンセンサの機械学習による再構成と圧縮について検討した。
相関パッドからのフルウェーブフォーム情報を用いて、再構成を規則化し、空間情報を抽出する。
まず、LSTM層に基づくリカレントニューラルネットワークモデルを紹介し、フルウェーブフォーム再構成のための概念実証実装を提供する。
論文 参考訳（メタデータ） (2026-07-13T14:03:26Z) - DifFRACT: Diffusion Feature Reconstruction and Attribution for Circuit Tracing [8.306039957986394]
トランスコーダベースの回路トレースを多モード拡散変換器に拡張する。
属性結合とストリーム間セマンティックな伝搬のメカニズムを解明する。
本研究は,系統的な生成誤りの因果的説明を提供する。
論文 参考訳（メタデータ） (2026-06-14T13:02:44Z) - Seeing Through Circuits: Faithful Mechanistic Interpretability for Vision Transformers [54.2202951543048]
視覚変換器の計算グラフから有用なメカニスティック回路を同定できるかどうかを検討する。
分類のためのクラス固有の回路を復元するビジュアル・サーキット・ディスカバリー(Vi-CD)の効果的な手法を提案する。
これらのモデルの内部計算に透明性を加えることで、視覚変換器から洞察に富み、行動可能なエッジベース回路を復元できることが判明した。
論文 参考訳（メタデータ） (2026-04-15T23:25:46Z) - Circuit realization and hardware linearization of monotone operator equilibrium networks [0.0]
抵抗ダイオードネットワークのポート挙動は、ReLU単調作用素平衡ネットワークの解に対応することを示す。
我々は、フィードフォワードや他の非対称ネットワークの実装に使用できる抵抗ダイオードネットワークのカスケードに結果を拡張する。
論文 参考訳（メタデータ） (2025-09-17T08:03:15Z) - Transformers Don't In-Context Learn Least Squares Regression [5.648229654902264]
In-context Learning (ICL) は、大規模な事前学習型トランスフォーマーの強力な能力として登場した。
我々は、トランスフォーマーが推論時に学習をどのように実装するかを研究する。
ICLの行動形成におけるプレトレーニングコーパスの役割を強調した。
論文 参考訳（メタデータ） (2025-07-13T01:09:26Z) - Circuit Transformer: A Transformer That Preserves Logical Equivalence [20.8279111910994]
生成型ニューラルモデル "Circuit Transformer" を導入し,論理回路を与えられたブール関数と厳密に等価に生成する。
回路の特定の目的を最適化するためにマルコフ決定過程の定式化も提案されている。
論文 参考訳（メタデータ） (2024-03-14T03:24:14Z) - Characterization of anomalous diffusion through convolutional
transformers [0.8984888893275713]
本稿では, 異常拡散のキャラクタリゼーションのためのトランスフォーマーに基づくニューラルネットワークアーキテクチャを提案する。
新たなアーキテクチャであるConvTransformer(ConvTransformer)は、二層畳み込みニューラルネットワークを使用して、拡散軌道から特徴を抽出します。
我々は,ConvTransformerが,短い軌跡において,基礎となる拡散状態を決定する上で,従来の技術よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-10-10T18:53:13Z) - Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling
and Design [68.1682448368636]
本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。
異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。
出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
論文 参考訳（メタデータ） (2022-03-29T21:18:47Z) - Learning Bounded Context-Free-Grammar via LSTM and the
Transformer:Difference and Explanations [51.77000472945441]
Long Short-Term Memory (LSTM) と Transformer は、自然言語処理タスクに使用される2つの一般的なニューラルネットワークアーキテクチャである。
実際には、トランスフォーマーモデルの方がLSTMよりも表現力が高いことがよく見られる。
本研究では,LSTMとTransformerの実践的差異について検討し,その潜在空間分解パターンに基づく説明を提案する。
論文 参考訳（メタデータ） (2021-12-16T19:56:44Z) - Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。
数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。
我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
論文 参考訳（メタデータ） (2020-06-02T23:38:35Z) - Hardware-Encoding Grid States in a Non-Reciprocal Superconducting
Circuit [62.997667081978825]
本稿では、非相互デバイスと、基底空間が2倍縮退し、基底状態がGottesman-Kitaev-Preskill(GKP)符号の近似符号であるジョセフソン接合からなる回路設計について述べる。
この回路は、電荷やフラックスノイズなどの超伝導回路の一般的なノイズチャネルに対して自然に保護されており、受動的量子誤差補正に使用できることを示唆している。
論文 参考訳（メタデータ） (2020-02-18T16:45:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。