Fugu-MT 論文翻訳(概要): A Smaller Transformer in Your Transformer

論文の概要: A Smaller Transformer in Your Transformer

arxiv url: http://arxiv.org/abs/2609.20100v1
Date: Thu, 17 Sep 2026 12:01:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-20 08:55:54.252345
Title: A Smaller Transformer in Your Transformer
Title（参考訳）: 変圧器の小型変圧器
Abstract要約: 我々は、特定の代理介入から幾何学を分離するブロック冗長性の統一的な見解を定式化する。次に,Transformer-Within-Transformer (TWT)を紹介した。
参考スコア（独自算出の注目度）: 9.537146822132906
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent findings indicate that Vision Transformers settle into locally similar computational phases, implying a level of depthwise computational redundancy. However, existing methods to exploit this redundancy either fail to reduce inference compute or severely degrade model expressivity. In this work, we formalise a unified view of block redundancy that decouples the geometry from specific surrogate interventions. We then introduce Transformer-Within-Transformer (TWT), a post-hoc method that fuses contiguous groups of redundant layers into a single learned surrogate layer. TWT reduces parameter count and inference compute while remaining competitive with original models using half the depth on natural images, and in several downstream histopathology settings, TWT matches or even improves on the original baseline.
Abstract（参考訳）: 最近の知見は、ビジョントランスフォーマーが局所的に類似した計算フェーズに落ち着き、深さの計算冗長性のレベルが示唆されていることを示している。しかし、この冗長性を利用する既存の手法は、推論計算の削減に失敗するか、モデル表現性を著しく低下させるかのいずれかである。本研究では,ブロック冗長性の統一的なビューを定式化し,特定の代理的介入から幾何学を分離する。次に,Transformer-Within-Transformer (TWT)を紹介した。 TWTは、自然画像の深さの半分の深さを用いてオリジナルのモデルと競合しながらパラメータ数と推論の計算を減らし、下流の病理設定では、TWTは元のベースラインにマッチするか、改善する。

関連論文リスト

Structured Multidimensional Representation Learning for Large Language Models [0.0]
トランスフォーマーアーキテクチャは、幅広いパターン認識と自然言語処理タスクで最先端のパフォーマンスを達成する。三次元テンソルのL-積に基づく埋め込み空間の構造的スペクトル分解を導入する。提案するL-Transformerは,少ない埋め込みで動作するp並列変換器とスペクトル的に等価であることを示す。
論文参考訳（メタデータ） (2026-03-05T22:34:45Z)
A Constrained Optimization Perspective of Unrolled Transformers [77.12297732942095]
我々は、最適化降下アルゴリズムのように振る舞う変圧器の訓練のための制約付き最適化フレームワークを導入する。拘束型変圧器は摂動の強靭性を実現し,より高い分布分布一般化を維持する。
論文参考訳（メタデータ） (2026-01-24T02:12:39Z)
Rethinking Vision Transformer Depth via Structural Reparameterization [16.12815682992294]
本稿では,訓練期間中に機能する分岐型構造パラメータ化手法を提案する。提案手法では, 変圧器ブロック内の並列分岐を利用して, 合理化シングルパスモデルに体系的に統合する。 ViT-Tinyに適用した場合、このフレームワークは、ImageNet-1Kの分類精度を維持しながら、元の12層アーキテクチャを6層、4層、もしくは3層に改善する。
論文参考訳（メタデータ） (2025-11-24T21:28:55Z)
MoEUT: Mixture-of-Experts Universal Transformers [75.96744719516813]
ユニバーサルトランスフォーマー(UT)は、合成一般化の学習において標準トランスフォーマーよりも有利である。層共有は、同じ次元を持つ非共有モデルと比較してパラメータ数を大幅に削減する。従来の作業では、言語モデリングのようなパラメータ数の支配的なタスクと競合する共有層トランスフォーマー設計の提案に成功しなかった。
論文参考訳（メタデータ） (2024-05-25T03:24:32Z)
A Neural ODE Interpretation of Transformer Layers [8.839601328192957]
マルチヘッドアテンションとマルチレイヤパーセプトロン(MLP)レイヤの交互パターンを使用するトランスフォーマーレイヤは、さまざまな機械学習問題に対して効果的なツールを提供する。我々は、この接続を構築し、トランス層の内部構造を変更することを提案する。実験により, この簡単な修正により, 複数のタスクにおけるトランスフォーマーネットワークの性能が向上することが示された。
論文参考訳（メタデータ） (2022-12-12T16:18:58Z)
TORE: Token Reduction for Efficient Human Mesh Recovery with Transformer [34.46696132157042]
本稿では,モノクロ画像からトランスフォーマーをベースとしたHuman Meshリカバリのための簡易かつ効果的なToken Reduction戦略を提案する。本稿では,2つの重要な側面,すなわち3次元幾何学構造と2次元画像特徴に基づくトークン削減戦略を提案する。本手法はトランスフォーマーにおける高複雑さ相互作用に関与するトークンの数を大幅に削減する。
論文参考訳（メタデータ） (2022-11-19T14:06:58Z)
Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging [142.11622043078867]
圧縮画像と物理マスクからパラメータを推定し,これらのパラメータを用いて各イテレーションを制御する,DAUF(Degradation-Aware Unfolding Framework)を提案する。 HST を DAUF に接続することにより,HSI 再構成のための変換器の深部展開法であるデグレーション・アウェア・アンフォールディング・ハーフシャッフル変換器 (DAUHST) を確立した。
論文参考訳（メタデータ） (2022-05-20T11:37:44Z)
Towards Lightweight Transformer via Group-wise Transformation for Vision-and-Language Tasks [126.33843752332139]
本稿では,LW-Transformerと呼ばれる視覚・言語タスクのための,普遍的で軽量なトランスフォーマーに対するグループワイズ変換を提案する。 LW-Transformerを一組のTransformerベースのネットワークに適用し、3つの視覚・言語タスクと6つのベンチマークデータセットで定量的に測定する。実験の結果,LW-Transformerは多数のパラメータや計算を節約しながら,視覚・言語タスクのためのトランスフォーマーネットワークと非常に競合する性能を発揮することがわかった。
論文参考訳（メタデータ） (2022-04-16T11:30:26Z)
Rewiring the Transformer with Depth-Wise LSTMs [55.50278212605607]
カスケードトランスとサブ層を接続する奥行きLSTMを用いたトランスフォーマーを提案する。 6層トランスを用いた実験では、WMT 14英語/ドイツ語/フランス語タスクとOPUS-100多言語NMTタスクの両方でBLEUが大幅に改善された。
論文参考訳（メタデータ） (2020-07-13T09:19:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。