論文の概要: Theoretical Analysis of Measure Consistency Regularization for Partially Observed Data

• arxiv url: http://arxiv.org/abs/2602.01437v1
• Date: Sun, 01 Feb 2026 21:03:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.782917
• Title: Theoretical Analysis of Measure Consistency Regularization for Partially Observed Data
• Title（参考訳）: 部分観測データに対する測定一貫性規則化の理論解析
• Authors: Yinsong Wang, Shahin Shahrampour,
• Abstract要約: MCR(Consistency Regularization)手法は、インプットされたデータと完全に観察されたデータの一貫性を強制する。 本稿では、MCRが部分可観測性の下で、なぜ、いつ、どのように、計算品質を向上するかに関する理論的知見を提供する。 一般化の利点を保った早期停止点を決定するために,双対性ギャップを監視する新しいトレーニングプロトコルを提案する。
• 参考スコア（独自算出の注目度）: 11.201029351368092
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The problem of corrupted data, missing features, or missing modalities continues to plague the modern machine learning landscape. To address this issue, a class of regularization methods that enforce consistency between imputed and fully observed data has emerged as a promising approach for improving model generalization, particularly in partially observed settings. We refer to this class of methods as Measure Consistency Regularization (MCR). Despite its empirical success in various applications, such as image inpainting, data imputation and semi-supervised learning, a fundamental understanding of the theoretical underpinnings of MCR remains limited. This paper bridges this gap by offering theoretical insights into why, when, and how MCR enhances imputation quality under partial observability, viewed through the lens of neural network distance. Our theoretical analysis identifies the term responsible for MCR's generalization advantage and extends to the imperfect training regime, demonstrating that this advantage is not always guaranteed. Guided by these insights, we propose a novel training protocol that monitors the duality gap to determine an early stopping point that preserves the generalization benefit. We then provide detailed empirical evidence to support our theoretical claims and to show the effectiveness and accuracy of our proposed stopping condition. We further provide a set of real-world data simulations to show the versatility of MCR under different model architectures designed for different data sources.
• Abstract（参考訳）: 破損したデータ、欠落した機能、あるいは欠落したモダリティの問題は、現代の機械学習の状況に悩まされ続けている。 この問題に対処するために、特に部分的に観察された設定において、インプットされたデータと完全に観察されたデータの一貫性を強制する正規化手法のクラスが、モデル一般化を改善するための有望なアプローチとして登場した。 本稿では,この手法をMCR(Message Consistency Regularization)と呼ぶ。 イメージインペイント、データインプット、半教師付き学習など、様々な応用において経験的な成功にもかかわらず、MCRの理論的基盤に関する根本的な理解は依然として限られている。 本稿では、ニューラルネットワーク距離のレンズを通して見る部分可観測性の下で、なぜ、いつ、どのように、MCRが計算品質を向上するかに関する理論的洞察を提供することにより、このギャップを埋める。 我々の理論的分析は、MCRの一般化の優位性に責任がある用語を特定し、不完全な訓練体制にまで拡張し、この利点が常に保証されているわけではないことを示す。 これらの知見に導かれて、一般化の利点を保った早期停止点を決定するために、双対性ギャップを監視する新しいトレーニングプロトコルを提案する。 次に,理論的主張を支持し,提案した停止条件の有効性と精度を示すための詳細な実証的証拠を提供する。 さらに、異なるデータソース用に設計された異なるモデルアーキテクチャ下でのMCRの汎用性を示すために、実世界のデータシミュレーションのセットを提供する。

関連論文リスト

• MIRRAMS: Learning Robust Tabular Models under Unseen Missingness Shifts [2.5357049657770516]
  欠落した値はしばしばデータ収集ポリシーのバリエーションを反映し、時間や場所によって変化することがある。 このようなトレーニングとテストインプットの間の不足分布の変化は、堅牢な予測性能を達成する上で大きな課題となる。 この課題に対処するために設計された,新しいディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-11T03:03:30Z)
• Model Reprogramming Demystified: A Neural Tangent Kernel Perspective [49.42322600160337]
  本稿では,ニューラルタンジェントカーネル(NTK)フレームワークのレンズを用いて,モデル再プログラミング(MR)の包括的理論的解析を行う。 目的とするデータセット上でのNTK行列の固有値スペクトルによってMRの成功が制御されることを示す。 我々の貢献には、MRの新たな理論フレームワーク、ソースモデルとターゲットモデルの関係に関する洞察、そして我々の発見を検証した広範な実験が含まれる。
  論文  参考訳（メタデータ） (2025-05-31T16:15:04Z)
• Beyond Progress Measures: Theoretical Insights into the Mechanism of Grokking [50.465604300990904]
  グロキング(Grokking)とは、オーバーフィッティングの拡張後のテスト精度の急激な改善を指す。 本研究では、素数演算のタスクにおいて、Transformerの基盤となるグルーキング機構について検討する。
  論文  参考訳（メタデータ） (2025-04-04T04:42:38Z)
• Global Convergence of Continual Learning on Non-IID Data [51.99584235667152]
  回帰モデルの連続学習のための総合的・包括的理論的解析を行う。 一般データ条件下で連続学習のほぼ確実に収束する結果を初めて確立する。
  論文  参考訳（メタデータ） (2025-03-24T10:06:07Z)
• Revisiting Spurious Correlation in Domain Generalization [12.745076668687748]
  データ生成プロセスにおける因果関係を記述するために,構造因果モデル(SCM)を構築した。 さらに、スプリアス相関に基づくメカニズムを徹底的に分析する。 そこで本研究では,OOD一般化における共起バイアスの制御について,相対性スコア重み付き推定器を導入して提案する。
  論文  参考訳（メタデータ） (2024-06-17T13:22:00Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Matrix Completion-Informed Deep Unfolded Equilibrium Models for Self-Supervised k-Space Interpolation in MRI [8.33626757808923]
  正規化モデル駆動型ディープラーニング(DL)は,DLの強力な表現能力を活用する能力から注目されている。 理論的に保証され,完全サンプリングラベルに依存しない加速MRIのための自己教師型DLアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-24T07:25:06Z)
• Modeling Multiple Views via Implicitly Preserving Global Consistency and Local Complementarity [61.05259660910437]
  複数の視点から表現を学習するために,グローバルな一貫性と相補性ネットワーク(CoCoNet)を提案する。 グローバルな段階では、重要な知識はビュー間で暗黙的に共有され、そのような知識を捕捉するためのエンコーダの強化は、学習された表現の識別性を向上させることができる。 最後に、局所的な段階において、横断的な識別的知識を結合する相補的要素を提案し、また、エンコーダが視点的識別性だけでなく、横断的な相補的情報も学習するように誘導する。
  論文  参考訳（メタデータ） (2022-09-16T09:24:00Z)
• A Comprehensive Empirical Study of Vision-Language Pre-trained Model for Supervised Cross-Modal Retrieval [19.2650103482509]
  CMR(Cross-Modal Retrieval)はマルチモーダルコンピューティングと情報検索における重要な研究トピックである。 私たちはCLIPを現在の視覚言語事前訓練モデルとして、総合的な実証的研究を行う。 本稿では,プレトレーニングCLIPをバックボーンネットワークとして利用し,教師付きCMRを実現する新しいモデルCLIP4CMRを提案する。
  論文  参考訳（メタデータ） (2022-01-08T06:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。