論文の概要: Toy Combinatorial Interpretability Models Reveal Lottery Tickets in Early Feature Space
- arxiv url: http://arxiv.org/abs/2605.17704v1
- Date: Mon, 18 May 2026 00:00:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:48.404821
- Title: Toy Combinatorial Interpretability Models Reveal Lottery Tickets in Early Feature Space
- Title（参考訳）: Toy Combinatorial Interpretability Model: 初期の特徴空間におけるロテリティチケットの発見
- Abstract要約: 「宝くじの仮説は、密集したネットワークにはスパースワークがあり、勝ち札だ」
重み空間における当選チケットは、既に最終符号に近い特徴空間における前者位置に対応することを示す。
スパース再トレーニングは、しばしば異なる行で同じ節/テンプレートファミリーを再表現するので、保存されたオブジェクトは、顕微鏡的な行のアイデンティティではなく、ファミリーレベルである。
- 参考スコア（独自算出の注目度）: 3.3741859235160523
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The lottery ticket hypothesis posits that dense networks contain sparse subnetworks, ``winning tickets,'' that, when rewound to their initial weights and retrained in isolation, match the performance of the full model. We ask a more mechanistic question: what internal object does a winning ticket preserve? We work in a combinatorial, clause-structured toy setting that admits an interpretable feature-space representation with well-defined combinatorial distances between features. We show that winning tickets in weight space correspond to precursor locations in feature space that are already near, at initialization, to the final feature-channel codes. Dense SGD resolves these locations through structured selection: proximal locations either converge to final codes or are rejected, with rejection concentrated at more crowded neurons, implicating competition under superposition. A winning ticket is thus a family of compatible code locations that jointly balance proximity to final codes with low inter-feature interference. Sparse retraining often re-expresses the same clause/template family on a different row, so the preserved object is family-level rather than microscopic row identity. We validate this account with lightweight probes based on feature-space distance and motion; in our setting, these probes frequently outperform established weight-based ticket discovery methods in both accuracy and exact code recovery. Although these findings are grounded in a toy setting, they suggest that the lottery ticket structure is governed by hidden feature-space geometry rather than weight-space subnetwork identity.
- Abstract（参考訳）: 宝くじの仮説は、密集ネットワークがスパースサブネットである ''winning ticket'' を含むことを仮定し、初期重みに逆らって独立して再訓練された場合、完全なモデルの性能にマッチする。
我々は、より機械的な質問をする: 勝利したチケットはどの内部オブジェクトを保存するのか?
我々は、特徴間をうまく定義した組合せ距離を持つ解釈可能な特徴空間表現を許容する、組合せ的、節構造的な玩具設定で作業する。
重量空間における当選チケットは、初期化時に既に近い特徴空間における前駆的な位置と最終特徴チャネル符号に対応することを示す。
Dense SGDは、これらの位置を構造化された選択によって解決する: 近位位置は最終符号に収束するか、拒絶される。
したがって、入賞券は互換性のある符号位置のファミリーであり、最終的な符号に近接して、機能間干渉が低い。
スパース再トレーニングは、しばしば異なる行で同じ節/テンプレートファミリーを再表現するので、保存されたオブジェクトは、顕微鏡的な行のアイデンティティではなく、ファミリーレベルである。
特徴空間距離と動きに基づく軽量なプローブによる検証を行い、これらのプローブは、精度と精度の両方において、確立されたウェイトベースのチケット発見方法よりも頻繁に優れていることを示す。
これらの知見はおもちゃの設定で裏付けられているが、宝くじの構造は、重み空間のサブネットワークアイデンティティではなく、隠れた特徴空間幾何学によって管理されていることを示唆している。
関連論文リスト
- Double-Scoring: Reliable Extraction of Strong Lottery Tickets [0.0]
宝くじの仮説は、大きなランダムニューラルネットワークにはスパースワークが含まれており、同等のトレーニング後に高密度モデルのパフォーマンスと一致することを示唆している。
既存の理論では、このような強力な宝くじは存在するが、信頼できる抽出は依然として困難である。
我々は,強力なチケットを抽出するフリーズウェイトスコアトレーニング手法であるエッジポップアップを再検討し,階層幅選択を中心的ボトルネックとして同定する。
拡張スコア空間における固定密度マスキングは、全ての原座標マスクへのアクセスを保ち、結果として得られる手法がゼロ拡張ネットワーク上でエッジポップアップとして解釈可能であることを示す。
論文 参考訳（メタデータ） (2026-07-15T20:20:43Z) - Disentangled Lottery Tickets: Identifying and Assembling Core and Specialist Subnetworks [0.2730969268472861]
Lottery Ticket仮説は、大きなニューラルネットワークでは、スパースでトレーニング可能な"勝利チケット"が存在することを示唆している。
本稿では,ディスタングル・ロタリー・チケット(DiLT)仮説を提案する。この仮説は,交叉マスクが普遍的でタスクに依存しない「コア」サブネットワークであることを示すものである。
ImageNetと、ResNetやVision Transformerアーキテクチャを使ったStanford Carsのようなきめ細かいデータセットの実験では、"core"チケットは優れた転送学習性能を提供し、"specialist"チケットはモジュラーアセンブリを可能にするドメイン固有の特徴を保持し、完全に再組み立てされた"union"チケットはCOLTを上回っている。
論文 参考訳（メタデータ） (2025-08-23T06:24:15Z) - Spatial regularisation for improved accuracy and interpretability in keypoint-based registration [5.286949071316761]
教師なしキーポイント検出に基づく最近のアプローチは、解釈可能性に非常に有望である。
本稿では,特徴量の空間分布を正規化するための3倍の損失を提案する。
我々の損失は特徴の解釈可能性を大幅に改善し、現在では正確で解剖学的に意味のあるランドマークに対応しています。
論文 参考訳（メタデータ） (2025-03-06T14:48:25Z) - ZeroReg: Zero-Shot Point Cloud Registration with Foundation Models [77.84408427496025]
最先端の3Dポイントクラウド登録方法は、トレーニングのためにラベル付き3Dデータセットに依存している。
我々は2次元基礎モデルを用いて3次元対応を予測するゼロショット登録手法であるZeroRegを紹介する。
論文 参考訳（メタデータ） (2023-12-05T11:33:16Z) - REGTR: End-to-end Point Cloud Correspondences with Transformers [79.52112840465558]
我々は、注意機構が明示的な特徴マッチングとRANSACの役割を置き換えることができると推測する。
本稿では,最終文集合を直接予測するエンドツーエンドフレームワークを提案する。
提案手法は3DMatchおよびModelNetベンチマークにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2022-03-28T06:01:00Z) - Dual Lottery Ticket Hypothesis [71.95937879869334]
Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。
本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。
本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
論文 参考訳（メタデータ） (2022-03-08T18:06:26Z) - Coarsening the Granularity: Towards Structurally Sparse Lottery Tickets [127.56361320894861]
ロッテリーチケット仮説 (LTH) は、密集したモデルには厳密なスパースワーク(すなわち当選チケット)が含まれており、完全な正確性に合わせるために単独で訓練できることを示した。
本稿では,構造的にスパースな入賞券が一般に有効に発見できるという,最初の肯定的な結果を示す。
具体的には、まず、重要と考えられるいくつかのチャネルで「再充填」された要素を返却し、次に非ゼロ要素を「再群」して、柔軟なグループ単位の構造パターンを作成します。
論文 参考訳（メタデータ） (2022-02-09T21:33:51Z) - The Elastic Lottery Ticket Hypothesis [106.79387235014379]
Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。
そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。
我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
論文 参考訳（メタデータ） (2021-03-30T17:53:45Z) - PointDSC: Robust Point Cloud Registration using Deep Spatial Consistency [38.93610732090426]
本稿では,空間的整合性を明確に組み込んだ新しいディープニューラルネットワークであるPointDSCを提案する。
本手法は,いくつかの実世界のデータセットにおいて,最先端の手作りおよび学習に基づく異常者拒絶アプローチを上回っている。
論文 参考訳（メタデータ） (2021-03-09T14:56:08Z) - Location-Aware Feature Selection Text Detection Network [98.35434435947462]
我々は新しい位置認識機能選択テキスト検出ネットワーク(LASNet)を提案する。
LASNetは、異なる場所から適切な機能を選択し、バウンディングボックスの5つのコンポーネントを別々に予測し、これらのコンポーネントの組み合わせによって最終バウンディングボックスを取得する。
LASNetは、単一のモデルと単一スケールのテストで最先端のパフォーマンスを達成し、既存の回帰ベースの検出器よりも優れています。
論文 参考訳（メタデータ） (2020-04-23T06:45:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。