論文の概要: Rethinking Circuit Completeness in Language Models: AND, OR, and ADDER Gates

• arxiv url: http://arxiv.org/abs/2505.10039v1
• Date: Thu, 15 May 2025 07:35:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.2213
• Title: Rethinking Circuit Completeness in Language Models: AND, OR, and ADDER Gates
• Title（参考訳）: 言語モデルにおける回路完全性の再考:AND,OR,ADDERゲート
• Authors: Hang Chen, Jiaying Zhu, Xinyu Yang, Wenya Wang,
• Abstract要約: 論理ゲートはAND,OR,ADDERの3種類の論理ゲートを導入し,回路を論理ゲートの組み合わせに分解する。 本稿では,既存の回路発見手法に容易に組み込むことが可能な,ノイズ発生に基づく介入と雑音発生に基づく介入を組み合わせたフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 31.608080868988825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Circuit discovery has gradually become one of the prominent methods for mechanistic interpretability, and research on circuit completeness has also garnered increasing attention. Methods of circuit discovery that do not guarantee completeness not only result in circuits that are not fixed across different runs but also cause key mechanisms to be omitted. The nature of incompleteness arises from the presence of OR gates within the circuit, which are often only partially detected in standard circuit discovery methods. To this end, we systematically introduce three types of logic gates: AND, OR, and ADDER gates, and decompose the circuit into combinations of these logical gates. Through the concept of these gates, we derive the minimum requirements necessary to achieve faithfulness and completeness. Furthermore, we propose a framework that combines noising-based and denoising-based interventions, which can be easily integrated into existing circuit discovery methods without significantly increasing computational complexity. This framework is capable of fully identifying the logic gates and distinguishing them within the circuit. In addition to the extensive experimental validation of the framework's ability to restore the faithfulness, completeness, and sparsity of circuits, using this framework, we uncover fundamental properties of the three logic gates, such as their proportions and contributions to the output, and explore how they behave among the functionalities of language models.
• Abstract（参考訳）: 回路発見は機械的解釈可能性の顕著な方法の1つとなり、回路完全性の研究も注目されている。 完全性を保証しない回路発見法は、異なるランで固定されていない回路だけでなく、重要な機構を省略する。 不完全性の性質は、回路内のORゲートの存在から生じ、しばしば標準的な回路発見法で部分的にのみ検出される。 この目的のために,論理ゲートを論理ゲートとOR,ADDERの3種類の論理ゲートを体系的に導入し,回路を論理ゲートの組み合わせに分解する。 これらの門の概念を通じて、忠実性と完全性を達成するために必要な最低限の要件を導出する。 さらに,従来の回路発見手法に容易に組み込むことができ,計算複雑性を大幅に増大させることなく,ノイズ発生に基づく介入とノイズ発生に基づく介入を組み合わせるフレームワークを提案する。 このフレームワークは論理ゲートを完全に識別し、回路内でそれらを識別することができる。 回路の忠実さ、完全性、疎さを復元するフレームワークの能力の広範な実験的検証に加えて、このフレームワークを用いて、3つの論理ゲートの基本的特性(比例や出力への寄与など)を明らかにし、それらが言語モデルの機能性の中でどのように振る舞うかを考察する。

関連論文リスト

• Functional Faithfulness in the Wild: Circuit Discovery with Differentiable Computation Graph Pruning [14.639036250438517]
  本稿では、DiscoGPとともにCircuit Discoveryと呼ばれるタスクを包括的に再構築する。 DiscoGPは、回路発見のための識別可能なマスキングに基づく、新しく効果的なアルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-04T09:42:25Z)
• Kerr-effect-based quantum logical gates in decoherence-free subspace [1.194799054956877]
  脱コヒーレンスフリーサブスペース(DFS)は、脱コヒーレンス効果の影響を効果的に減少させる。 制御NOT (CNOT) やトフォリ (Toffoli) 、フレドキン (Fredkin) といった量子制御ゲート群を2つまたは3つの論理量子ビットに対して設定する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T02:18:01Z)
• Direct pulse-level compilation of arbitrary quantum logic gates on superconducting qutrits [36.30869856057226]
  任意のqubitおよびqutritゲートを高忠実度で実現でき、ゲート列の長さを大幅に削減できることを示す。 最適制御ゲートは少なくとも3時間ドリフトでき、同じ校正パラメータを全ての実装ゲートに利用できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T22:15:43Z)
• On the role of entanglement in qudit-based circuit compression [0.0]
  ゲートベースの普遍量子計算は、局所的なシングルキュービットゲートと2キュービットのエンタングゲートという2種類の演算で定式化されている。 我々は,quditエンコーディングを用いることで,マルチキュービット回路の複雑さを大幅に低下させることができることを示す。
  論文  参考訳（メタデータ） (2022-09-29T06:48:48Z)
• Efficient Quantum Circuit Design with a Standard Cell Approach, with an Application to Neutral Atom Quantum Computers [45.66259474547513]
  従来の回路設計から借用した標準セルアプローチを用いて量子回路を設計する。 本稿では,自動ルーティング方式と比較してレイアウト対応ルータが大幅に高速で,より浅い3D回路を実現することを示す。
  論文  参考訳（メタデータ） (2022-06-10T10:54:46Z)
• Logical blocks for fault-tolerant topological quantum computation [55.41644538483948]
  本稿では,プラットフォームに依存しない論理ゲート定義の必要性から,普遍的なフォールトトレラント論理の枠組みを提案する。 資源オーバーヘッドを改善するユニバーサル論理の新しいスキームについて検討する。 境界のない計算に好適な論理誤差率を動機として,新しい計算手法を提案する。
  論文  参考訳（メタデータ） (2021-12-22T19:00:03Z)
• Refined Gate: A Simple and Effective Gating Mechanism for Recurrent Units [68.30422112784355]
  本稿では,この問題に対処する一般ゲートリカレントニューラルネットワークにおける新しいゲーティング機構を提案する。 提案したゲートは、抽出された入力特徴とバニラゲートの出力を直接的にショートする。 LSTM, GRU, MGUの3種類のゲートRNNに対して, 提案したゲーティング機構を検証する。
  論文  参考訳（メタデータ） (2020-02-26T07:51:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。