論文の概要: On Transferring Transferability: Towards a Theory for Size Generalization

• arxiv url: http://arxiv.org/abs/2505.23599v1
• Date: Thu, 29 May 2025 16:12:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.973265
• Title: On Transferring Transferability: Towards a Theory for Size Generalization
• Title（参考訳）: 転送可能性について:大域的一般化の理論に向けて
• Authors: Eitan Levin, Yuxin Ma, Mateo Díaz, Soledad Villar,
• Abstract要約: グラフニューラルネットワークに関する最近の研究は、低次元データで訓練されたモデルがその性能を高次元入力に転送できるかどうかを探求している。 本稿では,次元間での転送可能性に関する一般的な枠組みを紹介する。 転送性は、小さな問題インスタンスと等価な大きな問題インスタンスを識別することによって形成される極限空間の連続性と正確に一致することを示す。
• 参考スコア（独自算出の注目度）: 12.425843960985846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many modern learning tasks require models that can take inputs of varying sizes. Consequently, dimension-independent architectures have been proposed for domains where the inputs are graphs, sets, and point clouds. Recent work on graph neural networks has explored whether a model trained on low-dimensional data can transfer its performance to higher-dimensional inputs. We extend this body of work by introducing a general framework for transferability across dimensions. We show that transferability corresponds precisely to continuity in a limit space formed by identifying small problem instances with equivalent large ones. This identification is driven by the data and the learning task. We instantiate our framework on existing architectures, and implement the necessary changes to ensure their transferability. Finally, we provide design principles for designing new transferable models. Numerical experiments support our findings.
• Abstract（参考訳）: 多くの現代の学習タスクは、様々な大きさの入力を取ることができるモデルを必要とする。 その結果、入力がグラフ、集合、点雲である領域に対して次元に依存しないアーキテクチャが提案されている。 グラフニューラルネットワークに関する最近の研究は、低次元データで訓練されたモデルがその性能を高次元入力に転送できるかどうかを探求している。 我々は、次元をまたいだ転送可能性のための一般的なフレームワークを導入することで、この仕事の本体を拡張します。 転送性は、小さな問題インスタンスと等価な大きな問題インスタンスを識別することによって形成される極限空間の連続性と正確に一致することを示す。 この識別は、データと学習タスクによって駆動される。 既存のアーキテクチャのフレームワークをインスタンス化し、転送可能性を保証するために必要な変更を実装します。 最後に、新しい転送可能なモデルを設計するための設計原則を提供する。 数値実験は我々の発見を裏付ける。

関連論文リスト

• Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [55.914891182214475]
  モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。 本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。 残る技術的課題や倫理的考察も分析する。
  論文  参考訳（メタデータ） (2025-06-05T05:42:27Z)
• Interpretable deformable image registration: A geometric deep learning perspective [9.13809412085203]
  解釈可能な登録フレームワークを設計するための理論的基盤を提示する。 粗い方法で変換を洗練するエンドツーエンドのプロセスを定式化します。 我々は、最先端のアプローチよりもパフォーマンスの指標が大幅に改善されたと結論付けている。
  論文  参考訳（メタデータ） (2024-12-17T19:47:10Z)
• Self-Supervised Learning for Ordered Three-Dimensional Structures [0.0]
  近年の研究では、自己教師型タスクで大規模言語モデルをトレーニングし、それらのモデルを微調整して、トランスファーラーニング環境で新しいタスクを完了させることが強力なアイデアであることが証明されている。 本研究では,秩序な3次元構造の大規模研究に適した幾何的タスクの集合を定式化する。 我々は、幾何学的代数に基づく深部回転・置換同変ニューラルネットワークを構築し、これらを用いて、理想化された3次元構造とシミュレートされた3次元構造の両方においてこれらの課題を解決する。
  論文  参考訳（メタデータ） (2024-11-22T02:24:15Z)
• LaVin-DiT: Large Vision Diffusion Transformer [99.98106406059333]
  LaVin-DiTは、20以上のコンピュータビジョンタスクを生成フレームワークで扱うために設計された、スケーラブルで統一された基盤モデルである。 視覚タスクの生成性能を最適化するための重要なイノベーションを紹介する。 このモデルは0.1Bから3.4Bのパラメータに拡張され、様々な視覚タスクにまたがる相当なスケーラビリティと最先端の性能を示す。
  論文  参考訳（メタデータ） (2024-11-18T12:05:27Z)
• Pre-Trained Model Recommendation for Downstream Fine-tuning [22.343011779348682]
  モデル選択は、市販の事前訓練されたモデルをランク付けし、新しいターゲットタスクに最も適したモデルを選択することを目的としている。 既存のモデル選択テクニックはスコープ内で制約されることが多く、モデルとタスク間の微妙な関係を見落としてしまう傾向があります。 我々は,多種多様な大規模モデルリポジトリを探索する実用的フレームワーク textbfFennec を提案する。
  論文  参考訳（メタデータ） (2024-03-11T02:24:32Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• Composable Function-preserving Expansions for Transformer Architectures [2.579908688646812]
  最先端のニューラルネットワークのトレーニングには、計算と時間の面で高いコストが必要となる。 本稿では,変圧器ベースニューラルネットワークのサイズを漸進的に増加させるために,構成可能な6つの変換を提案する。
  論文  参考訳（メタデータ） (2023-08-11T12:27:22Z)
• CrossTransformers: spatially-aware few-shot transfer [92.33252608837947]
  非常に少ないデータを持つ新しいタスクを考えると、現代の視覚システムは驚くほど急速に低下する。 現代の視覚システムを支えるニューラルネットワーク表現が、どのようにして監督の崩壊にさらされているかを示す。 そこで我々は,伝達を良くする汎用的な機能を促進するために,自己指導型学習を提案する。
  論文  参考訳（メタデータ） (2020-07-22T15:37:08Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。