論文の概要: Boolformer: Symbolic Regression of Logic Functions with Transformers

• arxiv url: http://arxiv.org/abs/2309.12207v2
• Date: Wed, 16 Jul 2025 20:21:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.126044
• Title: Boolformer: Symbolic Regression of Logic Functions with Transformers
• Title（参考訳）: Boolformer: トランスフォーマーを用いた論理関数のシンボリック回帰
• Authors: Stéphane d'Ascoli, Arthur Renard, Vassilis Papadopoulos, Samy Bengio, Josh Susskind, Emmanuel Abbé,
• Abstract要約: 本稿では,ブール関数の終端から終端へのシンボリックレグレッションをトレーニングした,トランスフォーマーベースのモデルであるBoolformerを紹介する。 完全真理表を考えると、学習中に見られない複素関数のコンパクトな公式を予測できることが示される。 我々は、Boolformerを現実世界のバイナリ分類データセットの広いセットで評価し、古典的な機械学習手法に代わる解釈可能な代替手段としての可能性を示した。
• 参考スコア（独自算出の注目度）: 13.578050113886016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Boolformer, a Transformer-based model trained to perform end-to-end symbolic regression of Boolean functions. First, we show that it can predict compact formulas for complex functions not seen during training, given their full truth table. Then, we demonstrate that even with incomplete or noisy observations, Boolformer is still able to find good approximate expressions. We evaluate Boolformer on a broad set of real-world binary classification datasets, demonstrating its potential as an interpretable alternative to classic machine learning methods. Finally, we apply it to the widespread task of modeling the dynamics of gene regulatory networks and show through a benchmark that Boolformer is competitive with state-of-the-art genetic algorithms, with a speedup of several orders of magnitude. Our code and models are available publicly.
• Abstract（参考訳）: 本稿では,ブール関数の終端から終端へのシンボリックレグレッションをトレーニングした,トランスフォーマーベースのモデルであるBoolformerを紹介する。 まず,完全真理表から,学習中に見られない複素関数のコンパクトな公式を予測できることを示す。 そして、不完全あるいは雑音の観測でも、Boolformerは良い近似式を見つけることができることを示した。 我々は、Boolformerを現実世界のバイナリ分類データセットの広いセットで評価し、古典的な機械学習手法に代わる解釈可能な代替手段としての可能性を示した。 最後に、遺伝子制御ネットワークのダイナミクスをモデル化する広範なタスクに適用し、Boolformerが最先端の遺伝的アルゴリズムと競合し、数桁のスピードアップを達成していることを示す。 私たちのコードとモデルは公開されています。

関連論文リスト

• Learning Modular Exponentiation with Transformers [0.0]
  4層エンコーダ・デコーダ・トランスモデルをトレーニングし、モジュラー指数化を行う。 相互学習は高い性能向上をもたらし、関連するモジュラーを突如に一般化する。 これらの結果から,変圧器モデルは特殊計算回路を用いてモジュラー演算を学習することが示唆された。
  論文  参考訳（メタデータ） (2025-06-30T10:00:44Z)
• Improving Genetic Programming for Symbolic Regression with Equality Graphs [0.0]
  等式グラフを利用して、式とその等価な形式を格納する。 サブツリー演算子を適応させて、表現の再検討の機会を減らします。 提案手法は,PySRやOperonと競合する単純なGPアルゴリズムの性能を向上させる。
  論文  参考訳（メタデータ） (2025-01-29T18:49:34Z)
• Learning Linear Attention in Polynomial Time [115.68795790532289]
  線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。 線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。 我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T02:41:01Z)
• Algorithmic Capabilities of Random Transformers [49.73113518329544]
  埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。 これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。 以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
  論文  参考訳（メタデータ） (2024-10-06T06:04:23Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Simulating Weighted Automata over Sequences and Trees with Transformers [5.078561931628571]
  DFAを仮定するモデルのクラスである重み付き有限オートマトン (WFAs) と重み付き木オートマトン (WTA) をシミュレートできることを示す。 我々はこれらの主張を正式に証明し、ターゲットオートマタの状態数の関数として必要とされる変換器モデルのサイズについて上限を与える。
  論文  参考訳（メタデータ） (2024-03-12T21:54:34Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Supercharging Graph Transformers with Advective Diffusion [28.40109111316014]
  本稿では,この課題に対処するために,物理に着想を得たグラフトランスモデルであるAdvDIFFormerを提案する。 本稿では,AdvDIFFormerが位相シフトによる一般化誤差を制御できることを示す。 経験的に、このモデルは情報ネットワーク、分子スクリーニング、タンパク質相互作用の様々な予測タスクにおいて優位性を示す。
  論文  参考訳（メタデータ） (2023-10-10T08:40:47Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• Trained Transformers Learn Linear Models In-Context [39.56636898650966]
  トランスフォーマーとしての注意に基づくニューラルネットワークは、意図的学習(ICL)を示す顕著な能力を示した 線形回帰問題のランダムな例に対する変圧器の訓練において、これらのモデルの予測は通常の正方形の非線形性を模倣することを示した。
  論文  参考訳（メタデータ） (2023-06-16T15:50:03Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• All Roads Lead to Rome? Exploring the Invariance of Transformers' Representations [69.3461199976959]
  本稿では, ビジェクション仮説を学習するために, 非可逆ニューラルネットワーク BERT-INN に基づくモデルを提案する。 BERT-INNの利点は理論上も広範な実験を通じても明らかである。
  論文  参考訳（メタデータ） (2023-05-23T22:30:43Z)
• Generalization on the Unseen, Logic Reasoning and Degree Curriculum [25.7378861650474]
  本稿では,論理的(ブール的)関数の学習について,未確認(GOTU)設定の一般化に着目して考察する。 我々は,(S)GDで訓練されたネットワークアーキテクチャがGOTUの下でどのように機能するかを検討する。 具体的には、より高次基底要素に最小のフーリエ質量を持つトレーニングデータの補間子を意味する。
  論文  参考訳（メタデータ） (2023-01-30T17:44:05Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Transformers as Algorithms: Generalization and Implicit Model Selection in In-context Learning [23.677503557659705]
  In-context Learning (ICL) は、トランスフォーマーモデルが一連の例で動作し、オンザフライで推論を行うプロンプトの一種である。 我々は,このトランスモデルを学習アルゴリズムとして扱い,推論時別のターゲットアルゴリズムを実装するためのトレーニングを通じて専門化することができる。 変換器は適応学習アルゴリズムとして機能し、異なる仮説クラス間でモデル選択を行うことができることを示す。
  論文  参考訳（メタデータ） (2023-01-17T18:31:12Z)
• Pre-Training a Graph Recurrent Network for Language Representation [34.4554387894105]
  本稿では,言語モデルの事前学習のためのグラフリカレントネットワークについて考察し,各シーケンスのグラフ構造を局所的なトークンレベルの通信で構築する。 我々のモデルは、既存の注意に基づくモデルよりもコンテキスト化された特徴冗長性が少なく、より多様な出力を生成することができる。
  論文  参考訳（メタデータ） (2022-09-08T14:12:15Z)
• Transformer for Partial Differential Equations' Operator Learning [0.0]
  演算子変換器(OFormer)と呼ばれるデータ駆動型演算子学習のための注意ベースのフレームワークを提案する。 我々のフレームワークは、自己注意、クロスアテンション、および一組のポイントワイド多層パーセプトロン(MLP)に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-05-26T23:17:53Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。