論文の概要: Towards Better Generalization via Distributional Input Projection Network

• arxiv url: http://arxiv.org/abs/2506.04690v1
• Date: Thu, 05 Jun 2025 07:13:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.575075
• Title: Towards Better Generalization via Distributional Input Projection Network
• Title（参考訳）: 分散入力射影ネットワークによるより良い一般化に向けて
• Authors: Yifan Hao, Yanxin Lu, Xinwei Shen, Tong Zhang,
• Abstract要約: 本稿では,各層で学習可能な分布に入力を投影する新しいフレームワークDIPNetを紹介する。 DIPNetは局所的滑らか度測定とネットワークのリプシッツ定数の両方を低減し,一般化性能の向上に寄与することを示す。 提案手法は既存のモデルにシームレスに組み込むことができ、現代のディープラーニングにおける一般化性能を高めるための汎用的で効果的なアプローチを提供する。
• 参考スコア（独自算出の注目度）: 10.060095755446234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As overparameterized models become increasingly prevalent, training loss alone offers limited insight into generalization performance. While smoothness has been linked to improved generalization across various settings, directly enforcing smoothness in neural networks remains challenging. To address this, we introduce Distributional Input Projection Networks (DIPNet), a novel framework that projects inputs into learnable distributions at each layer. This distributional representation induces a smoother loss landscape with respect to the input, promoting better generalization. We provide theoretical analysis showing that DIPNet reduces both local smoothness measures and the Lipschitz constant of the network, contributing to improved generalization performance. Empirically, we validate DIPNet across a wide range of architectures and tasks, including Vision Transformers (ViTs), Large Language Models (LLMs), ResNet and MLPs. Our method consistently enhances test performance under standard settings, adversarial attacks, out-of-distribution inputs, and reasoning benchmarks. We demonstrate that the proposed input projection strategy can be seamlessly integrated into existing models, providing a general and effective approach for boosting generalization performance in modern deep learning.
• Abstract（参考訳）: 過パラメータ化モデルがますます普及するにつれて、トレーニング損失だけでは一般化性能に関する限られた洞察が得られる。 滑らかさは様々な設定における一般化の改善に結びついているが、ニューラルネットワークのスムーズさを直接強制することは依然として困難である。 そこで我々は,各層で学習可能な分布に入力を投影する新しいフレームワークであるDIPNetを紹介した。 この分布表現は、入力に関してより滑らかなロスランドスケープを誘導し、より良い一般化を促進する。 DIPNetは局所的滑らか度測定とネットワークのリプシッツ定数の両方を低減し,一般化性能の向上に寄与することを示す。 実証的には、視覚変換器(ViT)、Large Language Models(LLM)、ResNet、MLPなど、幅広いアーキテクチャやタスクでDIPNetを検証する。 提案手法は,標準設定,敵攻撃,アウト・オブ・ディストリビューション・インプット,推論ベンチマークなどのテスト性能を継続的に向上する。 提案手法は既存のモデルにシームレスに組み込むことができ、現代のディープラーニングにおける一般化性能を高めるための汎用的で効果的なアプローチを提供する。

関連論文リスト

• Diffusion Models as Network Optimizers: Explorations and Analysis [71.69869025878856]
  生成拡散モデル(GDM)は,ネットワーク最適化の新しいアプローチとして期待されている。 本研究ではまず,生成モデルの本質的な特徴について考察する。 本稿では,識別的ネットワーク最適化よりも生成モデルの利点を簡潔かつ直感的に示す。
  論文  参考訳（メタデータ） (2024-11-01T09:05:47Z)
• DiffSG: A Generative Solver for Network Optimization with Diffusion Model [75.27274046562806]
  生成拡散モデルは、様々なクロスドメインアプリケーションで人気がある。 これらのモデルは複雑なネットワーク最適化問題に対処する上で有望である。 本稿では拡散モデルに基づく解生成という,拡散モデル生成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T07:56:21Z)
• Multi-Scale and Multi-Layer Contrastive Learning for Domain Generalization [5.124256074746721]
  深部畳み込みニューラルネットワークの一般化能力は、ネットワークの多層的および多スケール的表現を活用することで向上できると論じる。 画像分類器の領域一般化を目的とした,低レベル特徴と高レベル特徴を複数スケールで組み合わせたフレームワークを提案する。 我々のモデルは従来のDG手法よりも優れており、全てのデータセットにおいて競争力と最先端の結果を連続的に生成できることを示す。
  論文  参考訳（メタデータ） (2023-08-28T08:54:27Z)
• Sparsity-aware generalization theory for deep neural networks [12.525959293825318]
  本稿では、ディープフィードフォワードReLUネットワークの一般化を解析するための新しいアプローチを提案する。 空間性と一般化の基本的なトレードオフを示す。
  論文  参考訳（メタデータ） (2023-07-01T20:59:05Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Predicting Deep Neural Network Generalization with Perturbation Response Curves [58.8755389068888]
  トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。 具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。 PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
  論文  参考訳（メタデータ） (2021-06-09T01:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。