論文の概要: Mechanistic Interpretability of Binary and Ternary Transformers

• arxiv url: http://arxiv.org/abs/2405.17703v1
• Date: Mon, 27 May 2024 23:22:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 23:01:26.803849
• Title: Mechanistic Interpretability of Binary and Ternary Transformers
• Title（参考訳）: 二元変圧器と三元変圧器の機械的解釈可能性
• Authors: Jason Li,
• Abstract要約: 完全精度の変圧器ネットワークと比較して,二進変圧器ネットワークと三進変圧器ネットワークが明らかに異なるアルゴリズムや類似のアルゴリズムを学習するかどうかを検討する。 これは、Large Language Modelsの設定において、より解釈可能な代替手段としてバイナリと3次ネットワークを使用する可能性を示す証拠を提供する。
• 参考スコア（独自算出の注目度）: 1.3715396507106912
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent research (arXiv:2310.11453, arXiv:2402.17764) has proposed binary and ternary transformer networks as a way to significantly reduce memory and improve inference speed in Large Language Models (LLMs) while maintaining accuracy. In this work, we apply techniques from mechanistic interpretability to investigate whether such networks learn distinctly different or similar algorithms when compared to full-precision transformer networks. In particular, we reverse engineer the algorithms learned for the toy problem of modular addition where we find that binary and ternary networks learn similar algorithms as full precision networks. This provides evidence against the possibility of using binary and ternary networks as a more interpretable alternative in the LLM setting.
• Abstract（参考訳）: 最近の研究 (arXiv:2310.11453, arXiv:2402.17764) は、メモリを大幅に削減し、精度を保ちながらLarge Language Models (LLMs) における推論速度を改善する方法としてバイナリおよび3次トランスフォーマーネットワークを提案した。 本研究では,完全精度変換器ネットワークと比較して,そのようなネットワークが明らかに異なるアルゴリズムや類似のアルゴリズムを学習するかどうかを調べるために,機械論的解釈可能性の手法を適用した。 特に、モジュール追加のおもちゃ問題で学んだアルゴリズムをリバースエンジニアリングし、二進ネットワークと三進ネットワークが完全精度ネットワークと同じようなアルゴリズムを学習していることに気付きました。 このことは、LLM設定においてより解釈可能な代替手段としてバイナリと3次ネットワークを使用する可能性を示す証拠となる。

関連論文リスト

• InterpBench: Semi-Synthetic Transformers for Evaluating Mechanistic Interpretability Techniques [1.075853016351821]
  我々は、Strict IIT(SIIT)と呼ばれる、より厳格なIIT(Interchange Intervention Training)を用いて、単純なニューラルネットワークを訓練する。 我々は,Tracr ツールが生成するスパース変換器上でSIITを評価し,SIIT モデルがトラクラのオリジナル回路をよりリアルに維持していることを確認した。
  論文  参考訳（メタデータ） (2024-07-19T17:46:51Z)
• Transformers meet Neural Algorithmic Reasoners [16.5785372289558]
  我々は、トランスフォーマー言語理解とグラフニューラルネットワーク(GNN)に基づくニューラルネットワーク推論(NAR)の堅牢性を組み合わせた新しいアプローチを提案する。 CLRS-30ベンチマークのテキストベースバージョンであるCLRS-Text上で得られたTransNARモデルを評価し,アルゴリズム推論のためのTransformerのみのモデルよりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-13T16:42:06Z)
• NAR-Former V2: Rethinking Transformer for Universal Neural Network Representation Learning [25.197394237526865]
  本稿では,トランスフォーマーに基づく汎用ニューラルネットワーク表現学習モデル NAR-Former V2 を提案する。 具体的には、ネットワークをグラフとして取り、簡単なトークン化器を設計して、ネットワークをシーケンスにエンコードする。 我々は,GNNの帰納的表現学習能力をTransformerに組み込んだ。
  論文  参考訳（メタデータ） (2023-06-19T09:11:04Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Centered Self-Attention Layers [89.21791761168032]
  変圧器の自己保持機構とグラフニューラルネットワークのメッセージ通過機構を繰り返し適用する。 我々は、このアプリケーションが必然的に、より深い層での同様の表現に過剰なスムーシングをもたらすことを示す。 これらの機構の集約演算子に補正項を提示する。
  論文  参考訳（メタデータ） (2023-06-02T15:19:08Z)
• Error Correction Code Transformer [92.10654749898927]
  本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。 我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。 提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
  論文  参考訳（メタデータ） (2022-03-27T15:25:58Z)
• Multitask Learning and Joint Optimization for Transformer-RNN-Transducer Speech Recognition [13.198689566654107]
  本稿では,マルチタスク学習,共同最適化,および変換器-RNN-トランスデューサシステムの共同復号法について検討する。 提案手法は, 単語誤り率(WER)を16.6 %, 13.3 %削減できることを示す。
  論文  参考訳（メタデータ） (2020-11-02T06:38:06Z)
• High-Capacity Expert Binary Networks [56.87581500474093]
  ネットワークバイナライゼーションは、効率的なディープモデルを作成するための、ハードウェア対応の有望な方向性である。 メモリと計算上の優位性にもかかわらず、バイナリモデルとその実数値モデルの間の精度のギャップを縮めることは、未解決の課題である。 本稿では,入力特徴に基づく時間に1つのデータ固有のエキスパートバイナリフィルタを選択することを学習することで,初めてバイナリネットワークに条件付きコンピューティングを適合させる専門家バイナリ畳み込みを提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:58:10Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)
• Exploring the Connection Between Binary and Spiking Neural Networks [1.329054857829016]
  両立ニューラルネットワークとスパイクニューラルネットワークの訓練における最近のアルゴリズムの進歩を橋渡しする。 極端量子化システムにおけるスパイキングニューラルネットワークのトレーニングは,大規模データセット上でのほぼ完全な精度向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-02-24T03:46:51Z)
• Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
  我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。 畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
  論文  参考訳（メタデータ） (2020-02-18T17:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。