論文の概要: Generating Interpretable Networks using Hypernetworks

• arxiv url: http://arxiv.org/abs/2312.03051v1
• Date: Tue, 5 Dec 2023 18:55:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 17:01:40.742360
• Title: Generating Interpretable Networks using Hypernetworks
• Title（参考訳）: Hypernetworks を用いた解釈可能なネットワークの生成
• Authors: Isaac Liao, Ziming Liu, Max Tegmark
• Abstract要約: 我々は、ハイパーネットワークを用いて、基盤となるアルゴリズムがまだ分かっていない解釈可能なネットワークを生成する可能性を探る。 L1ノルムを計算するタスクでは、ハイパーネットワークスは3つのアルゴリズムを見つける: (a) 両面アルゴリズム、 (b) 凸性アルゴリズム、 (c) プリンアルゴリズム。 訓練されたハイパーネットワークは、トレーニングで見えない入力次元のモデルを正しく構築でき、体系的な一般化を実証できることを示す。
• 参考スコア（独自算出の注目度）: 16.876961991785507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An essential goal in mechanistic interpretability to decode a network, i.e., to convert a neural network's raw weights to an interpretable algorithm. Given the difficulty of the decoding problem, progress has been made to understand the easier encoding problem, i.e., to convert an interpretable algorithm into network weights. Previous works focus on encoding existing algorithms into networks, which are interpretable by definition. However, focusing on encoding limits the possibility of discovering new algorithms that humans have never stumbled upon, but that are nevertheless interpretable. In this work, we explore the possibility of using hypernetworks to generate interpretable networks whose underlying algorithms are not yet known. The hypernetwork is carefully designed such that it can control network complexity, leading to a diverse family of interpretable algorithms ranked by their complexity. All of them are interpretable in hindsight, although some of them are less intuitive to humans, hence providing new insights regarding how to "think" like a neural network. For the task of computing L1 norms, hypernetworks find three algorithms: (a) the double-sided algorithm, (b) the convexity algorithm, (c) the pudding algorithm, although only the first algorithm was expected by the authors before experiments. We automatically classify these algorithms and analyze how these algorithmic phases develop during training, as well as how they are affected by complexity control. Furthermore, we show that a trained hypernetwork can correctly construct models for input dimensions not seen in training, demonstrating systematic generalization.
• Abstract（参考訳）: ニューラルネットワークの生重量を解釈可能なアルゴリズムに変換するという、ネットワークをデコードする機械論的解釈可能性の重要な目標である。 復号化問題の難しさを考えると、より簡単な符号化問題、すなわち解釈可能なアルゴリズムをネットワーク重みに変換することが進歩している。 これまでの研究は、定義によって解釈可能な既存のアルゴリズムをネットワークにエンコードすることに重点を置いていた。 しかし、エンコーディングに焦点を合わせることで、人間が一度も見つからなかった新しいアルゴリズムを発見する可能性には限界があるが、それでも解釈可能である。 本研究では、ハイパーネットワークを用いて、基盤となるアルゴリズムがまだ分かっていない解釈可能なネットワークを生成する可能性を検討する。 ハイパーネットワークは、ネットワークの複雑さを制御できるように慎重に設計されており、その複雑さによってランク付けされる様々な解釈可能なアルゴリズム群に繋がる。 これらはすべて後見で解釈できるが、一部は人間に直感的ではないため、ニューラルネットワークのように「考える」方法についての新しい洞察を与える。 L1ノルムの計算では、ハイパーネットは3つのアルゴリズムを見つける。 (a)二重化アルゴリズム。 (b)凸性アルゴリズム。 (c) プディングアルゴリズムは, 実験前に著者が期待した最初のアルゴリズムに過ぎなかった。 これらのアルゴリズムを自動的に分類し、トレーニング中にアルゴリズムのフェーズがどのように発達するかを分析し、複雑さの制御によってどのように影響を受けるかを分析する。 さらに、トレーニングされたハイパーネットワークは、トレーニングで見えない入力次元のモデルを正しく構築でき、体系的な一般化を実証できることを示す。

関連論文リスト

• The Deep Equilibrium Algorithmic Reasoner [20.375241527453447]
  グラフニューラルネットワーク(GNN)が古典的アルゴリズムの実行を学習できることを示す。 我々は、ネットワークをトレーニングしてアルゴリズムの問題を解き、直接平衡を求めることができることを予想し、実証的に検証する。
  論文  参考訳（メタデータ） (2024-02-09T14:46:50Z)
• Convolutional neural network based decoders for surface codes [0.0]
  本稿では,畳み込みニューラルネットワークに基づくデコーダの研究について報告する。 その結果,畳み込みニューラルネットワークに基づくデコーダの性能は良好であり,異なるノイズモデルに適応できることがわかった。
  論文  参考訳（メタデータ） (2023-12-06T14:07:31Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Learning with Differentiable Algorithms [6.47243430672461]
  この論文は、古典的なアルゴリズムとニューラルネットワークのような機械学習システムを組み合わせることを探求している。 この論文はアルゴリズムの監督という概念を定式化し、ニューラルネットワークがアルゴリズムから、あるいは、アルゴリズムと連動して学ぶことを可能にする。 さらに、この論文では、微分可能なソートネットワーク、微分可能なソートゲート、微分可能な論理ゲートネットワークなど、微分可能なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-01T17:30:00Z)
• Graph Neural Networks are Dynamic Programmers [0.0]
  グラフニューラルネットワーク(GNN)は動的プログラミング(DP)と一致すると主張される ここでは、理論と抽象代数学の手法を用いて、GNNとDPの間に複雑な関係が存在することを示す。
  論文  参考訳（メタデータ） (2022-03-29T13:27:28Z)
• Artificial Neural Networks generated by Low Discrepancy Sequences [59.51653996175648]
  我々は、高密度ネットワークグラフ上のランダムウォーキングとして、人工ニューラルネットワークを生成する。 このようなネットワークはスクラッチからスパースを訓練することができ、高密度ネットワークをトレーニングし、その後圧縮する高価な手順を避けることができる。 我々は,低差分シーケンスで生成された人工ニューラルネットワークが,より低い計算複雑性で,密度の高いニューラルネットワークの到達範囲内で精度を達成できることを実証した。
  論文  参考訳（メタデータ） (2021-03-05T08:45:43Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Learning to Accelerate Heuristic Searching for Large-Scale Maximum Weighted b-Matching Problems in Online Advertising [51.97494906131859]
  バイパルタイトbマッチングはアルゴリズム設計の基本であり、経済市場や労働市場などに広く適用されている。 既存の正確で近似的なアルゴリズムは、通常そのような設定で失敗する。 我々は、以前の事例から学んだ知識を活用して、新しい問題インスタンスを解決するtextttNeuSearcherを提案する。
  論文  参考訳（メタデータ） (2020-05-09T02:48:23Z)
• Lagrangian Decomposition for Neural Network Verification [148.0448557991349]
  ニューラルネットワーク検証の基本的なコンポーネントは、出力が取ることのできる値のバウンダリの計算である。 ラグランジアン分解に基づく新しい手法を提案する。 ランニングタイムのごく一部で、既成の解法に匹敵するバウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2020-02-24T17:55:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。