論文の概要: Exploring the Cryptographic Limits of Transformer Networks

• arxiv url: http://arxiv.org/abs/2606.29389v1
• Date: Sun, 28 Jun 2026 13:26:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.902701
• Title: Exploring the Cryptographic Limits of Transformer Networks
• Title（参考訳）: 変圧器ネットワークの暗号限界を探る
• Abstract要約: 近年の研究では、AIエージェントがステガノグラフィー手法を使って悪意のある情報を交換できることが示されている。 この研究は、トランスフォーマーの計算能力に関する構造的保証を導出するための方法論を確立することで貢献する。
• 参考スコア（独自算出の注目度）: 20.614828377572348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent work it has been shown that colluding AI agents can use steganographic methods to exchange malicious information. Whether a transformer can implement steganographic methods depends on what cryptographic functions it can implement, since a transformer that can implement a cryptographic function within its layers has source-free randomness access. Despite existing circuit-complexity results, no prior work maps specific cryptographic constructions to transformer architectures. As Merrill et al. have shown that saturated transformers can be seen as threshold circuits, we first generate threshold circuits for three different cryptographic constructions (Keccak functions, Merkle--Damgard constructions and Merkle Trees) and then map these circuits to different transformer architectures. We derive verified scaling laws for the width and depth of the circuits which implement each cryptographic construction and propose two different mappings: no-attention mapping, tokens-as-gates mapping. Beyond its security implications, this work contributes to by establishing a methodology for deriving structural guarantees on transformer computational capacity. Specifically, we derive constructive upper bounds on what a transformer of a given depth and width could plausibly compute, providing a principled foundation for capability evaluations of transformer-based AI systems.
• Abstract（参考訳）: 近年の研究では、AIエージェントがステガノグラフィー手法を使って悪意のある情報を交換できることが示されている。 トランスフォーマーがステガノグラフィーメソッドを実装できるかどうかは、どの暗号関数が実装できるかによって異なり、レイヤ内で暗号化関数を実装することができるトランスフォーマーは、ソースフリーなランダムアクセスを持つ。 既存の回路複雑な結果にもかかわらず、以前の作業では特定の暗号構造をトランスフォーマーアーキテクチャにマッピングすることはなかった。 Merrillらは飽和変圧器をしきい値回路と見なすことができることを示したので、まず3つの異なる暗号構造(ケッカック関数、メルクルダンガード構造、メルクルツリー)のしきい値回路を生成し、これらの回路を異なる変圧器アーキテクチャにマッピングする。 我々は,各暗号構造を実装する回路の幅と深さのスケーリング法則を導出し,無アテンションマッピング,トークン・アズ・ゲートマッピングという2つの異なるマッピングを提案する。 この研究は、セキュリティ上の意味を超えて、トランスフォーマーの計算能力に関する構造的保証を導出するための方法論を確立することで貢献する。 具体的には、所定の深さと幅の変圧器が少なくとも計算可能なものに基づいて構築的な上限を導出し、変圧器に基づくAIシステムの性能評価の原則的基礎を提供する。

関連論文リスト

• Lost in Tokenization: Fundamental Trade-offs in Graph Tokenization for Transformers [50.98108117044413]
  グラフ・ツー・トケン写像の選択は変換器の表現性の基本成分であることを示す。 既存の多くのグラフトークン化のためのビルディングブロックとして機能する3つのトークン化(スペクトル、ランダムウォーク、隣接トークン化)について検討する。
  論文  参考訳（メタデータ） (2026-05-21T13:32:20Z)
• Seeing Through Circuits: Faithful Mechanistic Interpretability for Vision Transformers [54.2202951543048]
  視覚変換器の計算グラフから有用なメカニスティック回路を同定できるかどうかを検討する。 分類のためのクラス固有の回路を復元するビジュアル・サーキット・ディスカバリー(Vi-CD)の効果的な手法を提案する。 これらのモデルの内部計算に透明性を加えることで、視覚変換器から洞察に富み、行動可能なエッジベース回路を復元できることが判明した。
  論文  参考訳（メタデータ） (2026-04-15T23:25:46Z)
• Distinct mechanisms underlying in-context learning in transformers [5.844274234531923]
  現代の分散ネットワーク、特にトランスフォーマーは、その計算を入力統計に適応させる顕著な能力(文脈内学習)を取得する。 我々は、離散マルコフ連鎖の有限集合$S$で訓練された変圧器において、この挙動の完全な力学的特徴を与える。
  論文  参考訳（メタデータ） (2026-04-14T00:01:14Z)
• Finding Clustering Algorithms in the Transformer Architecture [16.336124248778496]
  変換器は$k$-meansクラスタリングのための基本的かつ広く使用されるアルゴリズムを実装可能であることを示す。 我々はこの変換器を数値的に実装し、我々のアーキテクチャとロイドのアルゴリズムの正確な対応を実験で実証する。 我々の研究結果は、トランスに正確なアルゴリズムを実装する上で、明確かつ解釈可能な視点を提供する。
  論文  参考訳（メタデータ） (2025-06-23T20:52:01Z)
• On the Existence of Universal Simulators of Attention [17.01811978811789]
  注意出力と基礎となる基本行列を同一に再現し、RASPを介してアクティベーション操作を行う方法を提案する。 我々の証明は、これまで学習によってのみ近似することが知られていたアルゴリズムによって達成可能なデータ非依存の解の存在を初めて示すものである。
  論文  参考訳（メタデータ） (2025-06-23T15:15:25Z)
• Algorithmic Capabilities of Random Transformers [49.73113518329544]
  埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。 これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。 以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
  論文  参考訳（メタデータ） (2024-10-06T06:04:23Z)
• How Transformers Learn Causal Structure with Gradient Descent [44.31729147722701]
  自己注意はトランスフォーマーが因果構造をエンコードすることを可能にする。 我々は、潜在因果構造を学習する必要があるコンテキスト内学習タスクを導入する。 我々は、文脈内学習タスクで訓練されたトランスフォーマーが、様々な因果構造を回復できることを示す。
  論文  参考訳（メタデータ） (2024-02-22T17:47:03Z)
• AlgoFormer: An Efficient Transformer Framework with Algorithmic Structures [80.28359222380733]
  アルゴリズム機能を備えたトランスフォーマーを実現するために,AlgoFormerと呼ばれる新しいトランスフォーマーフレームワークを設計する。 特に、人間の設計した学習アルゴリズムの構造に触発されて、我々のトランスフォーマーフレームワークは、タスク前処理に責任を持つ事前変換器で構成されています。 いくつかの理論的および実証的な結果は、設計されたトランスフォーマーがアルゴリズム表現と学習を行う可能性があることを示すために提示される。
  論文  参考訳（メタデータ） (2024-02-21T07:07:54Z)
• TransCMD: Cross-Modal Decoder Equipped with Transformer for RGB-D Salient Object Detection [86.94578023985677]
  本研究では,グローバルな情報アライメントと変革の観点から,この課題を再考する。 具体的には、トランスCMD(TransCMD)は、複数のクロスモーダル統合ユニットをカスケードして、トップダウントランスフォーマーベースの情報伝達経路を構築する。 7つのRGB-D SODベンチマークデータセットの実験結果から、単純な2ストリームエンコーダデコーダフレームワークが、最先端のCNNベースの手法を超越できることが示されている。
  論文  参考訳（メタデータ） (2021-12-04T15:45:34Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。