論文の概要: Mode Connectivity Beyond Classifiers: Evidence from Generative and Contrastive Models

• arxiv url: http://arxiv.org/abs/2608.30366v1
• Date: Mon, 31 Aug 2026 07:24:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.280118
• Title: Mode Connectivity Beyond Classifiers: Evidence from Generative and Contrastive Models
• Title（参考訳）: 分類器を超えたモード接続性:生成モデルとコントラストモデルによるエビデンス
• Abstract要約: 複雑なネットワークのためのアーキテクチャ対応接続構築アルゴリズムを提案する。 我々は独立に訓練されたDDPMとNanoCLIPモードのモード接続性を実証した。
• 参考スコア（独自算出の注目度）: 1.1685514058765543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The loss landscape of Deep Neural Networks (DNNs) exhibits highly complex and non-convex properties. Recent studies have revealed the phenomenon of mode connectivity, demonstrating that independently trained network modes can be connected via a continuous low-loss path. However, existing mode connectivity research is predominantly confined to classifier-based models, leaving it an open question whether similar geometric properties exist in modern complex models. In this paper, we extend the boundaries of mode connectivity to generative and contrastive domains (specifically DDPM and NanoCLIP). Addressing the unique architecture of DDPM and CLIP, we propose an architecture-aware connection building algorithm. Extensive empirical results demonstrate for the first time that we successfully discover mode connectivity between independently trained DDPM and NanoCLIP modes. Our work provides a novel perspective for understanding the geometric properties of the loss landscapes in modern generative and contrastive models.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)のロスランドスケープは、非常に複雑で非凸性を示す。 近年の研究では、モード接続の現象が明らかにされており、独立に訓練されたネットワークモードが連続的な低損失経路を介して接続可能であることが示されている。 しかし、既存のモード接続の研究は、主に分類器ベースのモデルに限られており、現代の複雑なモデルに類似した幾何学的性質が存在するかどうかに疑問が残る。 本稿では,モード接続の境界を生成領域とコントラスト領域(特にDDPMとNanoCLIP)に拡張する。 DDPMとCLIPのユニークなアーキテクチャに対処し,アーキテクチャを意識した接続構築アルゴリズムを提案する。 DDPMモードとNanoCLIPモードのモード接続性について実験を行った。 我々の研究は、現代の生成的および対照的なモデルにおける損失景観の幾何学的性質を理解するための新しい視点を提供する。

関連論文リスト

• POINTS-Seeker: Towards Training a Multimodal Agentic Search Model from Scratch [84.73366911912512]
  エージェント・シーディング(Agenic Seeding)は,エージェント行動の抽出に必要な前駆体を織り込むための専用フェーズである。 本稿では、最近の対話を高忠実に保ちながら、歴史的コンテキストをレンダリングを介して視覚空間に折り畳みながら、適応的履歴認識圧縮方式であるV-Foldを提案する。 我々は,最新のマルチモーダルエージェントサーチモデルであるPOINTS-Seeker-8Bを開発した。
  論文  参考訳（メタデータ） (2026-04-15T16:09:37Z)
• NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
  NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。 NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。 さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
  論文  参考訳（メタデータ） (2025-10-15T16:25:18Z)
• On Linear Mode Connectivity of Mixture-of-Experts Architectures [1.6747713135100666]
  ニューラルネットワークにおける線形モード接続(LMC)現象について検討する。 LMCは、ニューラルネットワークのロスランドスケープにおいて顕著な現象であり、独立に訓練されたモデルが、アルゴリズムの様々な対称性まで接続されることになっている。
  論文  参考訳（メタデータ） (2025-09-14T16:51:41Z)
• Connecting Independently Trained Modes via Layer-Wise Connectivity [0.4094848360328623]
  本稿では,従来のアーキテクチャを超越して一般化した,独立に訓練されたモードを接続するための新しい経験的アルゴリズムを提案する。 より広い適用性に加えて、提案手法は、独立に訓練されたモードペア間でより一貫した接続経路を得る。
  論文  参考訳（メタデータ） (2025-05-05T12:16:55Z)
• Unveiling Mode Connectivity in Graph Neural Networks [30.854487554682628]
  本研究は,グラフニューラルネットワーク(GNN)におけるモード接続性の最初の研究である。 我々は、GNNが完全に接続されたネットワークやCNNで観測されるパターンから逸脱して、非線形な接続性を示すことを明らかにした。 我々は、モード接続性と一般化のリンクを確立し、損失障壁に基づく一般化を提案し、診断ツールとしての有用性を明らかにする。
  論文  参考訳（メタデータ） (2025-02-18T07:46:10Z)
• Topological Deep Learning with State-Space Models: A Mamba Approach for Simplicial Complexes [4.787059527893628]
  本稿では,Mamba状態空間モデルをバックボーンとして利用して,単純な複素数を扱うように設計された新しいアーキテクチャを提案する。 提案手法は, 隣接セルをベースとしたノードのシーケンスを生成し, ランクに関わらず, 上位構造間の直接通信を可能にする。
  論文  参考訳（メタデータ） (2024-09-18T14:49:25Z)
• Multilinear Operator Networks [60.7432588386185]
  ポリノミアルネットワーク(Polynomial Networks)は、アクティベーション関数を必要としないモデルのクラスである。 マルチリニア演算子のみに依存するMONetを提案する。
  論文  参考訳（メタデータ） (2024-01-31T16:52:19Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• ModeRNN: Harnessing Spatiotemporal Mode Collapse in Unsupervised Predictive Learning [75.2748374360642]
  そこで本研究では,繰り返し状態間の隠れ構造表現を学習するための新しい手法であるModeRNNを提案する。 データセット全体にわたって、異なるモードがスロットの混合に対して異なるレスポンスをもたらすため、ModeRNNが構造化された表現を構築する能力が向上する。
  論文  参考訳（メタデータ） (2021-10-08T03:47:54Z)
• Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
  画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。 そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。 画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
  論文  参考訳（メタデータ） (2020-02-18T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。