論文の概要: Routing the Lottery: Adaptive Subnetworks for Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2601.22141v1
• Date: Thu, 29 Jan 2026 18:56:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:50.102997
• Title: Routing the Lottery: Adaptive Subnetworks for Heterogeneous Data
• Title（参考訳）: 宝くじのルーティング:不均一データのための適応サブネット
• Authors: Grzegorz Stefanski, Alberto Presta, Michal Byra,
• Abstract要約: Lottery Ticket仮説は、大きなネットワークにはスパースワークや勝利チケットが含まれており、密集したネットワークのパフォーマンスに合わせて個別にトレーニングすることができると仮定している。 本稿では,適応チケット(Adaptive ticket)と呼ばれる,複数の専用プルーニングワークを発見する適応型プルーニングフレームワークであるRouting Lottery(RTL)を提案する。 我々の結果は、プラニングをデータ不均一性とモデル構造を整合させるメカニズムとして再考し、よりモジュラーでコンテキスト対応の深層学習への道を開いた。
• 参考スコア（独自算出の注目度）: 2.5157688901171995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In pruning, the Lottery Ticket Hypothesis posits that large networks contain sparse subnetworks, or winning tickets, that can be trained in isolation to match the performance of their dense counterparts. However, most existing approaches assume a single universal winning ticket shared across all inputs, ignoring the inherent heterogeneity of real-world data. In this work, we propose Routing the Lottery (RTL), an adaptive pruning framework that discovers multiple specialized subnetworks, called adaptive tickets, each tailored to a class, semantic cluster, or environmental condition. Across diverse datasets and tasks, RTL consistently outperforms single- and multi-model baselines in balanced accuracy and recall, while using up to 10 times fewer parameters than independent models and exhibiting semantically aligned. Furthermore, we identify subnetwork collapse, a performance drop under aggressive pruning, and introduce a subnetwork similarity score that enables label-free diagnosis of oversparsification. Overall, our results recast pruning as a mechanism for aligning model structure with data heterogeneity, paving the way toward more modular and context-aware deep learning.
• Abstract（参考訳）: プルーニングにおいて、Lottery Ticket仮説(英語版)は、大きなネットワークにはスパースサブネット(英語版)(英語版)が含まれており、密集したネットワークの性能に合わせて個別に訓練することができると仮定している。 しかし、既存のほとんどのアプローチは、実世界のデータ固有の不均一性を無視して、全ての入力間で共有される単一の普遍的な勝利チケットを仮定している。 本研究では,適応チケット(Adaptive ticket)と呼ばれる複数の特化サブネットワークを,クラスやセマンティッククラスタ,環境条件に合わせた適応型プルーニングフレームワークであるRoute the Lottery(RTL)を提案する。 さまざまなデータセットやタスクにわたって、RTLは、独立モデルよりも最大10倍のパラメータを使用し、セマンティックアライメントを示す一方で、バランスの取れた精度とリコールにおいて、シングルモデルとマルチモデルベースラインを一貫して上回る。 さらに,アグレッシブプルーニングによるサブネットワーク崩壊,アグレッシブプルーニングによるパフォーマンス低下を同定し,ラベルのないオーバースパーシフィケーション診断を可能にするサブネットワーク類似度スコアを導入する。 全体として、我々はプルーニングをデータ不均一性とモデル構造を整合させるメカニズムとして再考し、よりモジュール的でコンテキスト対応の深層学習への道を開いた。

関連論文リスト

• Disentangled Lottery Tickets: Identifying and Assembling Core and Specialist Subnetworks [0.2730969268472861]
  Lottery Ticket仮説は、大きなニューラルネットワークでは、スパースでトレーニング可能な"勝利チケット"が存在することを示唆している。 本稿では,ディスタングル・ロタリー・チケット(DiLT)仮説を提案する。この仮説は,交叉マスクが普遍的でタスクに依存しない「コア」サブネットワークであることを示すものである。 ImageNetと、ResNetやVision Transformerアーキテクチャを使ったStanford Carsのようなきめ細かいデータセットの実験では、"core"チケットは優れた転送学習性能を提供し、"specialist"チケットはモジュラーアセンブリを可能にするドメイン固有の特徴を保持し、完全に再組み立てされた"union"チケットはCOLTを上回っている。
  論文  参考訳（メタデータ） (2025-08-23T06:24:15Z)
• Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。 このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• Flexible inference in heterogeneous and attributed multilayer networks [21.349513661012498]
  我々は任意の種類の情報を持つ多層ネットワークで推論を行う確率的生成モデルを開発した。 インド農村部における社会支援ネットワークにおける様々なパターンを明らかにする能力を示す。
  論文  参考訳（メタデータ） (2024-05-31T15:21:59Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Learning Prototype-oriented Set Representations for Meta-Learning [85.19407183975802]
  集合構造データから学ぶことは、近年注目を集めている根本的な問題である。 本稿では,既存の要約ネットワークを改善するための新しい最適輸送方式を提案する。 さらに、少数ショット分類と暗黙的メタ生成モデリングの事例にインスタンス化する。
  論文  参考訳（メタデータ） (2021-10-18T09:49:05Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• A Multi-Semantic Metapath Model for Large Scale Heterogeneous Network Representation Learning [52.83948119677194]
  大規模不均一表現学習のためのマルチセマンティックメタパス(MSM)モデルを提案する。 具体的には,マルチセマンティックなメタパスに基づくランダムウォークを生成し,不均衡な分布を扱うヘテロジニアスな近傍を構築する。 提案するフレームワークに対して,AmazonとAlibabaの2つの挑戦的なデータセットに対して,体系的な評価を行う。
  論文  参考訳（メタデータ） (2020-07-19T22:50:20Z)
• Ensembled sparse-input hierarchical networks for high-dimensional datasets [8.629912408966145]
  サンプルサイズが小さい環境では,高密度ニューラルネットワークが実用的なデータ解析ツールであることを示す。 提案手法は,L1-ペナルティパラメータを2つだけ調整することで,ネットワーク構造を適切に調整する。 EASIER-netは、異なるサイズの実世界のデータセットのコレクションにおいて、データ適応方式でネットワークアーキテクチャを選択し、平均的なオフザシェルフ手法よりも高い予測精度を達成した。
  論文  参考訳（メタデータ） (2020-05-11T02:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。