論文の概要: Opening the AI black box: program synthesis via mechanistic interpretability

• arxiv url: http://arxiv.org/abs/2402.05110v1
• Date: Wed, 7 Feb 2024 18:59:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 14:06:20.690382
• Title: Opening the AI black box: program synthesis via mechanistic interpretability
• Title（参考訳）: AIブラックボックスを開く:機械的解釈可能性によるプログラム合成
• Authors: Eric J. Michaud, Isaac Liao, Vedang Lad, Ziming Liu, Anish Mudide, Chloe Loughridge, Zifan Carl Guo, Tara Rezaei Kheirkhah, Mateja Vukeli\'c, Max Tegmark
• Abstract要約: 本稿では,学習したアルゴリズムをPythonコードに自動蒸留することで,目的のタスクを実行するために訓練されたニューラルネットワークの自動機械論的解釈性に基づくプログラム合成手法を提案する。 我々は、RNNで学習できる62のアルゴリズムタスクのベンチマークでMIPSをテストする。 大規模な言語モデルとは対照的に、このプログラム合成技術は、アルゴリズムやGitHubからのコードといった人間のトレーニングデータを使用しない(したがって制限されない)。
• 参考スコア（独自算出の注目度）: 12.849101734204456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present MIPS, a novel method for program synthesis based on automated mechanistic interpretability of neural networks trained to perform the desired task, auto-distilling the learned algorithm into Python code. We test MIPS on a benchmark of 62 algorithmic tasks that can be learned by an RNN and find it highly complementary to GPT-4: MIPS solves 32 of them, including 13 that are not solved by GPT-4 (which also solves 30). MIPS uses an integer autoencoder to convert the RNN into a finite state machine, then applies Boolean or integer symbolic regression to capture the learned algorithm. As opposed to large language models, this program synthesis technique makes no use of (and is therefore not limited by) human training data such as algorithms and code from GitHub. We discuss opportunities and challenges for scaling up this approach to make machine-learned models more interpretable and trustworthy.
• Abstract（参考訳）: そこで本研究では,学習したアルゴリズムをpythonコードに自動蒸留することにより,学習対象とするニューラルネットワークの自動機械論的解釈に基づくプログラム合成手法であるmipsを提案する。 我々は、RNNが学習できる62のアルゴリズムタスクのベンチマークでMIPSをテストし、それをGPT-4と非常に相補的なものとみなす: MIPSは、GPT-4(30)で解決されない13を含む32のタスクを解決します。 MIPSは整数オートエンコーダを使用してRNNを有限状態マシンに変換し、学習アルゴリズムをキャプチャするためにブールまたは整数記号回帰を適用する。 大規模な言語モデルとは対照的に、このプログラム合成技術では、アルゴリズムやgithubのコードといった人間のトレーニングデータを使用しない(制限されない)。 このアプローチをスケールアップして、マシン学習モデルをより解釈可能で信頼性の高いものにするための機会と課題について論じる。

関連論文リスト

• MARIO: MAth Reasoning with code Interpreter Output -- A Reproducible Pipeline [12.186691561822256]
  我々は,大規模言語モデル(LLM)の本質的な性質が,数学的推論のモデル化における課題を提起していると仮定する。 本稿では,Pythonコードインタプリタを利用した新しい数学データセットを提案する。 本稿では,数学固有のLLMの微調整のための仮的かつ容易に複製可能なプロトコルを提案する。
  論文  参考訳（メタデータ） (2024-01-16T08:08:01Z)
• On Statistical Learning of Branch and Bound for Vehicle Routing Optimization [3.6922704509753084]
  我々は,計算コストの高いStrong Branching戦略の決定過程をエミュレートするためにニューラルネットワークを訓練する。 このアプローチは分岐とバウンドのアルゴリズムの性能にマッチするか、改善することができる。
  論文  参考訳（メタデータ） (2023-10-15T23:59:57Z)
• Guess & Sketch: Language Model Guided Transpilation [59.02147255276078]
  学習されたトランスパイレーションは、手作業による書き直しやエンジニアリングの取り組みに代わるものだ。 確率的ニューラルネットワークモデル(LM)は、入力毎に可塑性出力を生成するが、正確性を保証するコストがかかる。 Guess & Sketch は LM の特徴からアライメントと信頼性情報を抽出し、意味的等価性を解決するためにシンボリック・ソルバに渡す。
  論文  参考訳（メタデータ） (2023-09-25T15:42:18Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Stealing the Decoding Algorithms of Language Models [56.369946232765656]
  現代の言語モデル(LM)からテキストを生成する重要な要素は、復号アルゴリズムの選択とチューニングである。 本研究では,LMに典型的なAPIアクセスを持つ敵が,その復号アルゴリズムの型とハイパーパラメータを盗むことができることを示す。 我々の攻撃は、GPT-2、GPT-3、GPT-Neoなどのテキスト生成APIで使われる一般的なLMに対して効果的である。
  論文  参考訳（メタデータ） (2023-03-08T17:15:58Z)
• NP4G : Network Programming for Generalization [0.0]
  提案するNP4G: Network Programming for Generalizationは,帰納的推論によってプログラムを自動生成する。 一例として、ビットワイズNOT演算プログラムは比較的短時間で取得され、10分の7の速度で実行されることを示す。
  論文  参考訳（メタデータ） (2022-12-08T06:18:44Z)
• CGEMs: A Metric Model for Automatic Code Generation using GPT-3 [0.0]
  本研究は,理論的証明を用いて,あるいはモンテカルロシミュレーション法を用いてAI生成コンテンツを検証することを目的とする。 この場合、後者の手法を用いて統計的にかなりの数のサンプルを検査・検証する。 コンパイル、ロジック変換へのNL記述、必要な編集数、一般的に使用されている静的コードメトリクスとNLPメトリクス。
  論文  参考訳（メタデータ） (2021-08-23T13:28:57Z)
• Using Machine Learning for Particle Track Identification in the CLAS12 Detector [0.0]
  本稿では、有効なトラック候補を特定することによって、トラッキングを支援する4つの機械学習(ML)モデルの開発について述べる。 CLAS12再構成ソフトウェアの一部として、推奨トラック候補を持つアルゴリズムが実装された。 その結果、ソフトウェアは99%以上の精度を達成し、既存のアルゴリズムと比較してエンドツーエンドのスピードアップは35%になった。
  論文  参考訳（メタデータ） (2020-08-28T21:57:38Z)
• Strong Generalization and Efficiency in Neural Programs [69.18742158883869]
  本稿では,ニューラルプログラム誘導の枠組みを強く一般化する効率的なアルゴリズムを学習する問題について検討する。 ニューラルネットワークの入力/出力インターフェースを慎重に設計し、模倣することで、任意の入力サイズに対して正しい結果を生成するモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2020-07-07T17:03:02Z)
• Hybrid Models for Learning to Branch [81.93868699246214]
  我々はCPUマシン上で効率的な分岐を行うための新しいハイブリッドアーキテクチャを提案する。 提案アーキテクチャは,GNNの表現力と分岐処理のための計算コストの低い多層パーセプトロン(MLP)を組み合わせる。
  論文  参考訳（メタデータ） (2020-06-26T21:03:45Z)
• Channel Assignment in Uplink Wireless Communication using Machine Learning Approach [54.012791474906514]
  本稿では,アップリンク無線通信システムにおけるチャネル割り当て問題について検討する。 我々の目標は、整数チャネル割り当て制約を受ける全ユーザの総和率を最大化することです。 計算複雑性が高いため、機械学習アプローチは計算効率のよい解を得るために用いられる。
  論文  参考訳（メタデータ） (2020-01-12T15:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。