論文の概要: Rethinking the Information Bottleneck: Structured Decomposition under Label-Induced Partitions

• arxiv url: http://arxiv.org/abs/2610.01175v1
• Date: Thu, 01 Oct 2026 06:50:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.951828
• Title: Rethinking the Information Bottleneck: Structured Decomposition under Label-Induced Partitions
• Title（参考訳）: インフォメーション・ボトルネックの再考: ラベルによる分割下での構造的分解
• Abstract要約: 医用画像の応用では、取得条件、背景要因、または被写体特有の外観の残差がしばしば発生する。 この問題は、モデルがそのようなバリエーションを過度に適合させ、一般化を妨げるような、データ制限の設定において特に顕著になる。 条件付きKLは、条件内情報項と事前ミスマッチ項とを正確に分解し、設計目的との整合性を説明する。
• 参考スコア（独自算出の注目度）: 15.873206617398102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard information bottleneck (IB) regularization constrains representations via a single scalar I(Z;X), implicitlytreating all information as homogeneous. However, a single global compression control couples label-relevant structurewith residual within-condition variation, rather than regulating their allocation independently, allowing nuisanceinformation to persist in learned representations. For example, in medical imaging applications, residual variation oftenstems from acquisition conditions, background factors, or subject-specific appearance. This issue becomes particularlypronounced in data-limited settings, where models tend to overfit such variation, hindering generalization. While existingregularization methods can stabilize training, control capacity, or shape representation geometry, they do not explicitlyseparate nuisance-like variation from task-supporting structure. To address this limitation, we revisit IB from a structuredperspective based on a label-induced partition, where condition-level structure and within-condition information playdistinct roles. This leads to a dual-bottleneck formulation: a standard KL term controls global information capacity, while aconditional KL term targets within-condition information. We show that the conditional KL admits an exact decompositioninto a within-condition information term and a prior-mismatch term, explaining its alignment with the design objective.With a simplex-structured conditional prior, the method provides controllable latent geometry and integrates seamlesslyinto existing pipelines. Experiments on classification and segmentation show the clearest gains in low-data classificationand consistent improvements across dense prediction benchmarks.
• Abstract（参考訳）: 標準情報ボトルネック(IB)正規化は単一のスカラーI(Z;X)を介して表現を制約し、すべての情報を均質として暗黙的に扱う。 しかし、単一のグローバル圧縮制御は、その割り当てを独立に規制するのではなく、ラベル関連構造を条件内での残差で結合し、ヌーサンス情報を学習表現に持続させる。 例えば、医用画像の応用では、取得条件、背景要因、または被写体特有の外観の残差がしばしば発生する。 この問題は、モデルがそのようなバリエーションを過度に適合させ、一般化を妨げるような、データ制限の設定において特に顕著になる。 既存の正規化手法は訓練、制御能力、形状表現幾何を安定化させることができるが、それらはタスク支援構造からニュアンスのような変化を明示的に分離するものではない。 この制限に対処するため、我々は、条件レベルの構造と条件内情報に固有の役割を持つラベル付きパーティションに基づいて、構造化パースペクティブからIBを再検討する。 標準的なKL項はグローバル情報容量を制御し、条件付きKL項は条件内情報を対象とする。 条件付きKLは内部条件情報項と事前ミスマッチ項とを正確に分解し,設計目標との整合性を説明する。 分類とセグメンテーションの実験は、高密度な予測ベンチマークで低データの分類と一貫した改善において、最も顕著な利得を示している。

関連論文リスト

• Structure-agnostic Causal Representation Learning [29.12751904333385]
  因果表現学習は、データ生成の根底にある因果構造を利用して、堅牢な特徴を発見することを目的としている。 因果構造を共同で識別し,それに対応する不変表現を事前の構造知識なしで学習するフレームワークであるSaCRLを紹介する。
  論文  参考訳（メタデータ） (2026-10-01T02:59:02Z)
• Towards Robust Time Series Learning via Capacity-Centric Modulation [76.23489485385964]
  本稿では,CCM(Capacity-Centric Modulation)を相補的,サンプル適応正規化原理として提案する。 SACM(Sample-Adaptive Capacity Modulation)は,スペクトル空間の分散を利用して,サンプルワイドドロップアウト確率を割り当てるタスク非依存のフレームワークである。 301個の実世界のデータセット-バックボーンペアのうち、SACMは平均でMSEの予測を6.7%削減し、分類精度を3.04%改善し、ポイント調整されたF1を17.05%改善した。
  論文  参考訳（メタデータ） (2026-09-30T10:51:23Z)
• Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
  カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。 既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。 動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-25T09:57:46Z)
• A Data-Informed Variational Clustering Framework for Noisy High-Dimensional Data [0.0]
  DIVIは、グローバル機能ゲーティングと分割ベースの適応型構造成長を組み合わせた、データインフォームの変動クラスタリングフレームワークである。 その結果、DIVIは厳しい特徴雑音下で競合的に動作し、計算可能のままであり、解釈可能な特徴ゲーティング動作が得られることがわかった。 全体として、DIVIはベイズ生成の完全な解というよりは、ノイズの多い高次元データのための実用的な変動クラスタリングフレームワークであると見なされている。
  論文  参考訳（メタデータ） (2026-04-08T09:25:44Z)
• Weight-Informed Self-Explaining Clustering for Mixed-Type Tabular Data [63.62853416081748]
  WISEは表現、特徴重み付け、クラスタリング、解釈を統一するフレームワークである。 クラスタリングを駆動する同じプリミティブに根ざした、忠実で人間解釈可能な説明を生成する。
  論文  参考訳（メタデータ） (2026-04-07T13:18:31Z)
• From Core to Detail: Unsupervised Disentanglement with Entropy-Ordered Flows [8.351253396371686]
  エントロピー順序付き流れ (EOFlows) は、その説明エントロピーにより遅延次元を順序付けする。 EOFlowsは独立メカニズム分析、主成分フロー、マニフォールドエントロピーメトリックからの洞察に基づいて構築される。 確率ベーストレーニングと局所ジャコビアン正規化と雑音増強を併用して,画像などの高次元データによく対応できる手法を提案する。
  論文  参考訳（メタデータ） (2026-02-06T18:41:03Z)
• TwinTURBO: Semi-Supervised Fine-Tuning of Foundation Models via Mutual Information Decompositions for Downstream Task and Latent Spaces [10.86297454943578]
  本稿では,限られたラベル付きデータに対するトレーニングの課題に対処する,半教師付き微調整フレームワークを提案する。 いくつかのデータセットの実験では、極低ラベル条件下での分類タスクが大幅に改善された。
  論文  参考訳（メタデータ） (2025-03-10T20:56:54Z)
• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• Representation Disentaglement via Regularization by Causal Identification [3.9160947065896803]
  本稿では,不整合表現学習における基礎となるデータ生成過程の仮定を記述するために,因果コライダー構造モデルを提案する。 そこで本研究では,大規模生成モデルの挙動を因果同定によって課される絡み合った制約に整合させるモジュール型正規化エンジンReIを提案する。
  論文  参考訳（メタデータ） (2023-02-28T23:18:54Z)
• Calibrated Feature Decomposition for Generalizable Person Re-Identification [82.64133819313186]
  Calibrated Feature Decomposition (CFD)モジュールは、人物の再識別の一般化能力の向上に焦点を当てている。 キャリブレーション・アンド・スタンダード化されたバッチ正規化(CSBN)は、キャリブレーションされた人物表現を学習するために設計されている。
  論文  参考訳（メタデータ） (2021-11-27T17:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。