論文の概要: Engineering Monosemanticity in Toy Models

• arxiv url: http://arxiv.org/abs/2211.09169v1
• Date: Wed, 16 Nov 2022 19:32:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 15:25:35.709345
• Title: Engineering Monosemanticity in Toy Models
• Title（参考訳）: 玩具モデルにおける工学的モノセマンティクス
• Authors: Adam S. Jermyn, Nicholas Schiefer, and Evan Hubinger
• Abstract要約: 一部のニューラルネットワークでは、個々のニューロンは入力中の「自然な特徴」に対応する。 トレーニングプロセスが求める局所的な最小限を変更するだけで、損失を増大させることなく、モデルをより単調にすることができることが分かりました。 我々は、残留する多節性ニューロンを含むこれらのモデルを機械的に解釈し、単純だが驚くべきアルゴリズムを明らかにすることができる。
• 参考スコア（独自算出の注目度）: 0.1474723404975345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In some neural networks, individual neurons correspond to natural ``features'' in the input. Such \emph{monosemantic} neurons are of great help in interpretability studies, as they can be cleanly understood. In this work we report preliminary attempts to engineer monosemanticity in toy models. We find that models can be made more monosemantic without increasing the loss by just changing which local minimum the training process finds. More monosemantic loss minima have moderate negative biases, and we are able to use this fact to engineer highly monosemantic models. We are able to mechanistically interpret these models, including the residual polysemantic neurons, and uncover a simple yet surprising algorithm. Finally, we find that providing models with more neurons per layer makes the models more monosemantic, albeit at increased computational cost. These findings point to a number of new questions and avenues for engineering monosemanticity, which we intend to study these in future work.
• Abstract（参考訳）: 一部のニューラルネットワークでは、個々のニューロンは入力の自然な ``features''' に対応する。 このような<emph{monosemantic}ニューロンは、きれいに理解できるので、解釈可能性の研究に大いに役立つ。 本研究は,玩具モデルにおけるモノセマンティクス工学の予備的試みについて報告する。 トレーニングプロセスが求める局所的な最小限を変更するだけで、損失を増やすことなく、モデルをより単調にすることができる。 よりモノセマンティックな損失最小値は、緩やかな負のバイアスを持ち、この事実を利用して高モノセマンティックなモデルを構築することができる。 残留する多節性ニューロンを含むこれらのモデルを機械的に解釈し、単純だが驚くべきアルゴリズムを明らかにすることができる。 最後に、層ごとにより多くのニューロンを持つモデルを提供することで、計算コストが増大するにもかかわらず、モデルはより単調になる。 これらの知見は,工学的一様性に対する新たな疑問と道のりを示唆しており,今後の研究で研究する予定である。

関連論文リスト

• Beyond Interpretability: The Gains of Feature Monosemanticity on Model Robustness [68.69369585600698]
  ディープラーニングモデルは多意味性による解釈可能性の欠如に悩まされることが多い。 神経細胞が一貫したセマンティクスと異なるセマンティクスに対応するモノセマンティクスの最近の進歩は、解釈可能性を大幅に改善した。 モノセマンティックな特徴は解釈可能性を高めるだけでなく、モデル性能の具体的な向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-10-27T18:03:20Z)
• Don't Cut Corners: Exact Conditions for Modularity in Biologically Inspired Representations [52.48094670415497]
  我々は、生物にインスパイアされた表現が、ソース変数(ソース)に関してモジュール化されるときの理論を開発する。 我々は、最適な生物学的にインスパイアされたリニアオートエンコーダのニューロンがモジュラー化されるかどうかを判断する情報源のサンプルに対して、必要かつ十分な条件を導出する。 我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。
  論文  参考訳（メタデータ） (2024-10-08T17:41:37Z)
• Encourage or Inhibit Monosemanticity? Revisit Monosemanticity from a Feature Decorrelation Perspective [30.290777756014748]
  単意味ニューロンは単一の概念と特定の概念に特化しており、ニューロンと概念の間に1対1の相関関係を形成する。 単調性探索の広範な研究にもかかわらず、単調性がモデル能力に有益か有害かは定かではない。
  論文  参考訳（メタデータ） (2024-06-25T22:51:08Z)
• Learning from Emergence: A Study on Proactively Inhibiting the Monosemantic Neurons of Artificial Neural Networks [10.390475063385756]
  オンライン計算の効率性を保証するため,ニューロンのモノセマンティリティを測定するための新しい指標を提案する。 モノセマンティリティが異なるモデルスケールで性能変化をもたらすという予想を検証する。
  論文  参考訳（メタデータ） (2023-12-17T14:42:46Z)
• A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
  ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
  論文  参考訳（メタデータ） (2023-12-06T20:58:07Z)
• On Modifying a Neural Network's Perception [3.42658286826597]
  本研究では,人間の定義した概念に対して,人工ニューラルネットワークが知覚しているものを修正する手法を提案する。 提案手法を異なるモデルで検証し、実行された操作がモデルによって適切に解釈されているかどうかを評価し、それらに対してどのように反応するかを解析する。
  論文  参考訳（メタデータ） (2023-03-05T12:09:37Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• Interpreting Neural Networks through the Polytope Lens [0.2359380460160535]
  機械的解釈可能性(Mechanistic Interpretability)は、ニューラルネットワークがナッツ・アンド・ボルトレベルで学んだことを説明することを目的としている。 我々は、活性化空間を多くの離散ポリトープに分割する方法について検討する。 ポリトープレンズはニューラルネットワークの挙動を具体的に予測する。
  論文  参考訳（メタデータ） (2022-11-22T15:03:48Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。