論文の概要: On Transferring Transferability: Towards a Theory for Size Generalization
- arxiv url: http://arxiv.org/abs/2505.23599v1
- Date: Thu, 29 May 2025 16:12:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-30 18:14:07.973265
- Title: On Transferring Transferability: Towards a Theory for Size Generalization
- Title（参考訳）: 転送可能性について:大域的一般化の理論に向けて
- Authors: Eitan Levin, Yuxin Ma, Mateo Díaz, Soledad Villar,
- Abstract要約: グラフニューラルネットワークに関する最近の研究は、低次元データで訓練されたモデルがその性能を高次元入力に転送できるかどうかを探求している。
本稿では,次元間での転送可能性に関する一般的な枠組みを紹介する。
転送性は、小さな問題インスタンスと等価な大きな問題インスタンスを識別することによって形成される極限空間の連続性と正確に一致することを示す。
- 参考スコア（独自算出の注目度）: 12.425843960985846
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many modern learning tasks require models that can take inputs of varying sizes. Consequently, dimension-independent architectures have been proposed for domains where the inputs are graphs, sets, and point clouds. Recent work on graph neural networks has explored whether a model trained on low-dimensional data can transfer its performance to higher-dimensional inputs. We extend this body of work by introducing a general framework for transferability across dimensions. We show that transferability corresponds precisely to continuity in a limit space formed by identifying small problem instances with equivalent large ones. This identification is driven by the data and the learning task. We instantiate our framework on existing architectures, and implement the necessary changes to ensure their transferability. Finally, we provide design principles for designing new transferable models. Numerical experiments support our findings.
- Abstract（参考訳）: 多くの現代の学習タスクは、様々な大きさの入力を取ることができるモデルを必要とする。
その結果、入力がグラフ、集合、点雲である領域に対して次元に依存しないアーキテクチャが提案されている。
グラフニューラルネットワークに関する最近の研究は、低次元データで訓練されたモデルがその性能を高次元入力に転送できるかどうかを探求している。
我々は、次元をまたいだ転送可能性のための一般的なフレームワークを導入することで、この仕事の本体を拡張します。
転送性は、小さな問題インスタンスと等価な大きな問題インスタンスを識別することによって形成される極限空間の連続性と正確に一致することを示す。
この識別は、データと学習タスクによって駆動される。
既存のアーキテクチャのフレームワークをインスタンス化し、転送可能性を保証するために必要な変更を実装します。
最後に、新しい転送可能なモデルを設計するための設計原則を提供する。
数値実験は我々の発見を裏付ける。
関連論文リスト
- Interpretable deformable image registration: A geometric deep learning perspective [9.13809412085203]
解釈可能な登録フレームワークを設計するための理論的基盤を提示する。
粗い方法で変換を洗練するエンドツーエンドのプロセスを定式化します。
我々は、最先端のアプローチよりもパフォーマンスの指標が大幅に改善されたと結論付けている。
論文 参考訳（メタデータ） (2024-12-17T19:47:10Z) - Self-Supervised Learning for Ordered Three-Dimensional Structures [0.0]
近年の研究では、自己教師型タスクで大規模言語モデルをトレーニングし、それらのモデルを微調整して、トランスファーラーニング環境で新しいタスクを完了させることが強力なアイデアであることが証明されている。
本研究では,秩序な3次元構造の大規模研究に適した幾何的タスクの集合を定式化する。
我々は、幾何学的代数に基づく深部回転・置換同変ニューラルネットワークを構築し、これらを用いて、理想化された3次元構造とシミュレートされた3次元構造の両方においてこれらの課題を解決する。
論文 参考訳（メタデータ） (2024-11-22T02:24:15Z) - LaVin-DiT: Large Vision Diffusion Transformer [99.98106406059333]
LaVin-DiTは、20以上のコンピュータビジョンタスクを生成フレームワークで扱うために設計された、スケーラブルで統一された基盤モデルである。
視覚タスクの生成性能を最適化するための重要なイノベーションを紹介する。
このモデルは0.1Bから3.4Bのパラメータに拡張され、様々な視覚タスクにまたがる相当なスケーラビリティと最先端の性能を示す。
論文 参考訳（メタデータ） (2024-11-18T12:05:27Z) - Pre-Trained Model Recommendation for Downstream Fine-tuning [22.343011779348682]
モデル選択は、市販の事前訓練されたモデルをランク付けし、新しいターゲットタスクに最も適したモデルを選択することを目的としている。
既存のモデル選択テクニックはスコープ内で制約されることが多く、モデルとタスク間の微妙な関係を見落としてしまう傾向があります。
我々は,多種多様な大規模モデルリポジトリを探索する実用的フレームワーク textbfFennec を提案する。
論文 参考訳（メタデータ） (2024-03-11T02:24:32Z) - Composable Function-preserving Expansions for Transformer Architectures [2.579908688646812]
最先端のニューラルネットワークのトレーニングには、計算と時間の面で高いコストが必要となる。
本稿では,変圧器ベースニューラルネットワークのサイズを漸進的に増加させるために,構成可能な6つの変換を提案する。
論文 参考訳（メタデータ） (2023-08-11T12:27:22Z) - On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。
現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。
トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
論文 参考訳（メタデータ） (2020-07-16T18:39:04Z) - Uniform Priors for Data-Efficient Transfer [65.086680950871]
もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。
我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
論文 参考訳（メタデータ） (2020-06-30T04:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。