論文の概要: IBCircuit: Towards Holistic Circuit Discovery with Information Bottleneck

• arxiv url: http://arxiv.org/abs/2602.22581v1
• Date: Thu, 26 Feb 2026 03:33:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.510416
• Title: IBCircuit: Towards Holistic Circuit Discovery with Information Bottleneck
• Title（参考訳）: IBCircuit:Information Bottleneckによるホロスティック回路発見を目指して
• Authors: Tian Bian, Yifan Niu, Chaohao Yuan, Chengzhi Piao, Bingzhe Wu, Long-Kai Huang, Yu Rong, Tingyang Xu, Hong Cheng, Jia Li,
• Abstract要約: IBCircuitと呼ばれるInformation Bottleneckの原理に基づくエンドツーエンドの手法を提案し,情報回路の論理的同定を行う。 IBCircuitは、全体的な回路探索のための最適化フレームワークであり、面倒な動作設計をせずに任意のタスクに適用することができる。
• 参考スコア（独自算出の注目度）: 39.572087058128645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Circuit discovery has recently attracted attention as a potential research direction to explain the non-trivial behaviors of language models. It aims to find the computational subgraphs, also known as circuits, within the model that are responsible for solving specific tasks. However, most existing studies overlook the holistic nature of these circuits and require designing specific corrupted activations for different tasks, which is inaccurate and inefficient. In this work, we propose an end-to-end approach based on the principle of Information Bottleneck, called IBCircuit, to identify informative circuits holistically. IBCircuit is an optimization framework for holistic circuit discovery and can be applied to any given task without tediously corrupted activation design. In both the Indirect Object Identification (IOI) and Greater-Than tasks, IBCircuit identifies more faithful and minimal circuits in terms of critical node components and edge components compared to recent related work.
• Abstract（参考訳）: 回路発見は近年,言語モデルの非自明な振る舞いを説明する研究の方向性として注目されている。 特定のタスクを解く責任を負うモデルの中に、計算サブグラフ(サーキットとしても知られる)を見つけることを目的としている。 しかし、既存のほとんどの研究は、これらの回路の全体性を見落とし、不正確で非効率な異なるタスクのために特定の劣化したアクティベーションを設計する必要がある。 そこで本研究では,情報回路の論理的同定を行うため,IBCircuit と呼ばれるインフォメーション・ボトルネックの原理に基づくエンドツーエンドアプローチを提案する。 IBCircuitは、全体的な回路探索のための最適化フレームワークであり、退屈な動作設計をせずに任意のタスクに適用することができる。 Indirect Object Identification (IOI) と Greater-Than タスクの両方において、IBCircuit は、最近の関連する作業と比較して、クリティカルノードコンポーネントとエッジコンポーネントの点において、より忠実で最小限の回路を識別する。

関連論文リスト

• Certified Circuits: Stability Guarantees for Mechanistic Circuits [80.30622018787835]
  Certified Circuitsは、回路発見のための証明可能な安定性を保証する。 ImageNetとOODデータセットでは、認定回路は91%高い精度を達成する。
  論文  参考訳（メタデータ） (2026-02-26T13:07:31Z)
• Rethinking Circuit Completeness in Language Models: AND, OR, and ADDER Gates [35.90665719234101]
  論理ゲートはAND,OR,ADDERの3種類の論理ゲートを導入し,回路を論理ゲートの組み合わせに分解する。 本稿では,既存の回路発見手法に容易に組み込むことが可能な,ノイズ発生に基づく介入と雑音発生に基づく介入を組み合わせたフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-15T07:35:14Z)
• Position-aware Automatic Circuit Discovery [59.64762573617173]
  我々は既存の回路探索手法のギャップを同定し、モデル成分を入力位置間で等しく関連するものとして扱う。 可変長例を含むタスクであっても,回路に位置性を組み込むための2つの改良を提案する。 提案手法により, 位置感応回路の完全自動検出が可能となり, 従来よりも回路サイズと忠実度とのトレードオフが良好になる。
  論文  参考訳（メタデータ） (2025-02-07T00:18:20Z)
• Transformer Circuit Faithfulness Metrics are not Robust [0.04260910081285213]
  回路の「忠実さ」を、モデルの計算の一部を損なうことによって測定する。 既存の回路忠実度スコアは、研究者の方法論的選択と回路の実際の構成要素の両方を反映していると結論付けている。 機械的解釈可能性の研究の最終的な目標は、ニューラルネットワークを理解することです。
  論文  参考訳（メタデータ） (2024-07-11T17:59:00Z)
• Sheaf Discovery with Joint Computation Graph Pruning and Flexible Granularity [18.71252449465396]
  ニューラルネットワークモデル(LM)から自己完結型モジュールユニットを抽出するフレームワークであるDiscoGPを紹介する。 筆者らのフレームワークは,両者をグラデーション・ベース・プルーニング・アルゴリズムを用いてせん断を同定し,この手法により元のLMを,特定のコア機能を保持するスパーススケルトンに還元する。
  論文  参考訳（メタデータ） (2024-07-04T09:42:25Z)
• CktGNN: Circuit Graph Neural Network for Electronic Design Automation [67.29634073660239]
  本稿では,回路トポロジ生成とデバイスサイズを同時に行う回路グラフニューラルネットワーク(CktGNN)を提案する。 オープンサーキットベンチマーク(OCB: Open Circuit Benchmark)は、オープンソースのデータセットで、10ドル(約10万円)の異なるオペレーショナルアンプを含む。 我々の研究は、アナログ回路のための学習ベースのオープンソース設計自動化への道を開いた。
  論文  参考訳（メタデータ） (2023-08-31T02:20:25Z)
• Adaptive Planning Search Algorithm for Analog Circuit Verification [53.97809573610992]
  シミュレーションの少ない機械学習(ML)アプローチを提案する。 提案手法により,OCCを全回路の仕様に近づけることができることを示す。
  論文  参考訳（メタデータ） (2023-06-23T12:57:46Z)
• Circuit Routing Using Monte Carlo Tree Search and Deep Neural Networks [1.987599364275123]
  回路ルーティングを逐次決定問題としてモデル化し,モンテカルロ木探索(MCTS)とディープニューラルネットワーク(DNN)のロールアウトによって解決する。 ランダムに生成された単層回路の実験は、複雑な回路をルーティングする可能性を示している。 提案手法は、逐次A*法やLeeのアルゴリズムのようなベンチマーク手法では解けない問題を解くことができ、バニラMCTS法よりも優れている。
  論文  参考訳（メタデータ） (2020-06-24T10:34:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。