論文の概要: Trustworthy Representation Learning via Information Funnels and Bottlenecks

• arxiv url: http://arxiv.org/abs/2211.01446v2
• Date: Wed, 05 Nov 2025 15:35:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 20:32:09.32557
• Title: Trustworthy Representation Learning via Information Funnels and Bottlenecks
• Title（参考訳）: 情報ファンネルとボトルネックによる信頼できる表現学習
• Authors: João Machado de Freitas, Bernhard C. Geiger,
• Abstract要約: 副次情報付き条件付きプライバシ・ファンネル(CPFSI)について紹介する。 CPFSIは、完全に制御された設定と半教師付き設定の両方に適用できる。 CPFSIは競合する目標のバランスを効果的に保ち、既存のアプローチよりも頻繁に優れていることを示す。
• 参考スコア（独自算出の注目度）: 6.750492479021436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring trustworthiness in machine learning -- by balancing utility, fairness, and privacy -- remains a critical challenge, particularly in representation learning. In this work, we investigate a family of closely related information-theoretic objectives, including information funnels and bottlenecks, designed to extract invariant representations from data. We introduce the Conditional Privacy Funnel with Side-information (CPFSI), a novel formulation within this family, applicable in both fully and semi-supervised settings. Given the intractability of these objectives, we derive neural-network-based approximations via amortized variational inference. We systematically analyze the trade-offs between utility, invariance, and representation fidelity, offering new insights into the Pareto frontiers of these methods. Our results demonstrate that CPFSI effectively balances these competing objectives and frequently outperforms existing approaches. Furthermore, we show that by intervening on sensitive attributes in CPFSI's predictive posterior enhances fairness while maintaining predictive performance. Finally, we focus on the real-world applicability of these approaches, particularly for learning robust and fair representations from tabular datasets in data scarce-environments -- a modality where these methods are often especially relevant.
• Abstract（参考訳）: ユーティリティ、公平性、プライバシのバランスをとることによって、マシンラーニングにおける信頼性を確保することは、特に表現学習において重要な課題である。 本研究では,データから不変表現を抽出するために設計された情報ファンネルやボトルネックを含む,密接に関連する情報理論的目的のファミリーについて検討する。 本稿では,この家族内での新しい定式化であるCPFSI(Conditional Privacy Funnel with Side-information)を紹介する。 これらの目的の難易度を考慮し、アモータライズされた変分推論を用いてニューラルネットワークに基づく近似を導出する。 実用性,不変性,表現忠実性のトレードオフを系統的に分析し,これらの手法のParetoフロンティアに対する新たな洞察を提供する。 以上の結果から,CPFSIはこれらの競合する目標を効果的にバランスさせ,既存手法よりも優れていることが示唆された。 さらに,CPFSIの予測後部における感度特性を介入することにより,予測性能を維持しながら公平性を高めることを示す。 最後に、これらのアプローチの現実的な適用性、特にデータ不足環境におけるグラフデータセットから堅牢で公正な表現を学ぶことに焦点を当てます。

関連論文リスト

• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Ignorance is Bliss: Robust Control via Information Gating [60.17644038829572]
  情報パーシモニーは、ノイズや突発的相関に頑健であることにより、より良い一般化を実現する学習表現に有用な帰納的バイアスを提供する。 本稿では,タスクに必要な最小限の情報を識別する類似表現を学習する手段として,テキスト情報ゲーティングを提案する。
  論文  参考訳（メタデータ） (2023-03-10T18:31:50Z)
• RevUp: Revise and Update Information Bottleneck for Event Representation [16.54912614895861]
  機械学習では、潜在変数は基礎となるデータ構造をキャプチャする上で重要な役割を果たすが、しばしば教師なしである。 本稿では,側知識を用いて個別潜伏変数の学習を指示する半教師付き情報ボトルネックモデルを提案する。 提案手法は,既存のパラメータ注入法を一般化し,言語に基づくイベントモデリングにおけるアプローチの実証的なケーススタディを行う。
  論文  参考訳（メタデータ） (2022-05-24T17:54:59Z)
• Information-Theoretic Odometry Learning [83.36195426897768]
  生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。 提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
  論文  参考訳（メタデータ） (2022-03-11T02:37:35Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Robust Representation Learning via Perceptual Similarity Metrics [18.842322467828502]
  Contrastive Input Morphing (CIM) はデータの入力空間変換を学習する表現学習フレームワークである。 CIMは他の相互情報に基づく表現学習技術と相補的であることを示す。
  論文  参考訳（メタデータ） (2021-06-11T21:45:44Z)
• Conditional Contrastive Learning: Removing Undesirable Information in Self-Supervised Representations [108.29288034509305]
  我々は,自己指導型表現において望ましくない情報を除去するために,条件付きコントラスト学習を開発する。 提案手法は,下流タスクの自己教師付き表現をうまく学習できることを実証的に実証する。
  論文  参考訳（メタデータ） (2021-06-05T10:51:26Z)
• Nonlinear Invariant Risk Minimization: A Causal Approach [5.63479133344366]
  非線形環境下での分布外一般化を可能にする学習パラダイムを提案する。 我々は、非常に単純な変換までデータ表現の識別性を示す。 合成データと実世界のデータセットの両方に関する広範な実験は、我々のアプローチが様々なベースラインメソッドを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-02-24T15:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。