論文の概要: FUNCK: Information Funnels and Bottlenecks for Invariant Representation Learning

• arxiv url: http://arxiv.org/abs/2211.01446v1
• Date: Wed, 2 Nov 2022 19:37:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-11-04 13:34:18.272956
• Title: FUNCK: Information Funnels and Bottlenecks for Invariant Representation Learning
• Title（参考訳）: FUNCK:不変表現学習のための情報ファンネルとボトルネック
• Authors: Jo\~ao Machado de Freitas and Bernhard C. Geiger
• Abstract要約: データから不変表現を学習すると主張する一連の関連する情報漏えいとボトルネック問題について検討する。 本稿では,この情報理論の目的である「側情報付き条件付きプライバシ・ファンネル」の新たな要素を提案する。 一般に難解な目的を考慮し、ニューラルネットワークによってパラメータ化された補正変分推論を用いて、抽出可能な近似を導出する。
• 参考スコア（独自算出の注目度）: 7.804994311050265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning invariant representations that remain useful for a downstream task is still a key challenge in machine learning. We investigate a set of related information funnels and bottleneck problems that claim to learn invariant representations from the data. We also propose a new element to this family of information-theoretic objectives: The Conditional Privacy Funnel with Side Information, which we investigate in fully and semi-supervised settings. Given the generally intractable objectives, we derive tractable approximations using amortized variational inference parameterized by neural networks and study the intrinsic trade-offs of these objectives. We describe empirically the proposed approach and show that with a few labels it is possible to learn fair classifiers and generate useful representations approximately invariant to unwanted sources of variation. Furthermore, we provide insights about the applicability of these methods in real-world scenarios with ordinary tabular datasets when the data is scarce.
• Abstract（参考訳）: 下流タスクに有用な不変表現の学習は、マシンラーニングにおいて依然として重要な課題である。 データから不変表現を学習すると主張する一連の関連する情報漏えいとボトルネック問題について検討する。 また,この情報理論の目的である条件付きプライバシファンネル(条件付きプライバシファンネル)に対して,完全かつ半教師付き設定で検討する新たな要素を提案する。 一般の難解な目的を考慮し、ニューラルネットワークによってパラメータ化された補正された変分推論を用いて、抽出可能な近似を導出し、これらの目的の本質的なトレードオフを研究する。 提案手法を実証的に記述し,いくつかのラベルを用いて公平な分類法を学習し,望ましくない変分源に近似不変な有用な表現を生成することができることを示す。 さらに,データ不足時の通常の表型データセットを用いた実世界シナリオにおけるこれらの手法の適用可能性について考察する。

関連論文リスト

• Reliable and Reproducible Demographic Inference for Fairness in Face Analysis [63.46525489354455]
  本稿では、従来のエンドツーエンドトレーニングをモジュラートランスファー学習アプローチで置き換える、完全に再現可能なDAIパイプラインを提案する。 このパイプラインは、正確性、公正性、そしてアイデンティティ内整合性によって定義される、新たに導入された堅牢性の概念の3つの次元にわたって監査する。 以上の結果から,提案手法は特に民族性において,強い基準線を上回り,その特性はより困難であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-23T12:22:02Z)
• FedGPS: Statistical Rectification Against Data Heterogeneity in Federated Learning [103.45987800174724]
  フェデレートラーニング(FL)は、データ不均一(data heterogeneity)として知られる重要な課題に直面し、モデルの性能と収束を損なう。 統計分布と勾配情報をシームレスに統合する新しいフレームワークである textbfFedGPS を提案する。
  論文  参考訳（メタデータ） (2025-10-23T06:10:11Z)
• Fairness Regularization in Federated Learning [1.4773243280881763]
  フェデレートラーニング(FL)は、現代の機械学習において重要なパラダイムとして登場した。 この研究は、クライアント間のパフォーマンスの違いを最小限に抑えることを目的とした、パフォーマンスの公平性に焦点を当てている。 FairGrad (approximate) と FairGrad* (exact) が不均一なデータ設定における公平性と全体的なモデルパフォーマンスを改善することを実証的に示す。
  論文  参考訳（メタデータ） (2025-08-16T13:32:41Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• ARBEx: Attentive Feature Extraction with Reliability Balancing for Robust Facial Expression Learning [5.648318448953635]
  ARBExはVision Transformerによって駆動される新しい注意的特徴抽出フレームワークである。 ラベル分布とマルチヘッド自己保持機構を備えた埋め込み空間において学習可能なアンカーポイントを用いて、弱い予測に対する性能を最適化する。 我々の戦略は、様々な文脈で実施された広範な実験により、現在の最先端の方法論よりも優れています。
  論文  参考訳（メタデータ） (2023-05-02T15:10:01Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Ignorance is Bliss: Robust Control via Information Gating [60.17644038829572]
  情報パーシモニーは、ノイズや突発的相関に頑健であることにより、より良い一般化を実現する学習表現に有用な帰納的バイアスを提供する。 本稿では,タスクに必要な最小限の情報を識別する類似表現を学習する手段として,テキスト情報ゲーティングを提案する。
  論文  参考訳（メタデータ） (2023-03-10T18:31:50Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• RevUp: Revise and Update Information Bottleneck for Event Representation [16.54912614895861]
  機械学習では、潜在変数は基礎となるデータ構造をキャプチャする上で重要な役割を果たすが、しばしば教師なしである。 本稿では,側知識を用いて個別潜伏変数の学習を指示する半教師付き情報ボトルネックモデルを提案する。 提案手法は,既存のパラメータ注入法を一般化し,言語に基づくイベントモデリングにおけるアプローチの実証的なケーススタディを行う。
  論文  参考訳（メタデータ） (2022-05-24T17:54:59Z)
• Information-Theoretic Odometry Learning [83.36195426897768]
  生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。 提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
  論文  参考訳（メタデータ） (2022-03-11T02:37:35Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Fair Representation Learning using Interpolation Enabled Disentanglement [9.043741281011304]
  a) 下流タスクに対する学習された表現の有用性を確保しつつ、公平な不整合表現を同時に学べるか、(b) 提案手法が公正かつ正確であるかどうかに関する理論的知見を提供する。 前者に対応するために,補間可能外乱を用いた公正表現学習法FRIEDを提案する。
  論文  参考訳（メタデータ） (2021-07-31T17:32:12Z)
• Robust Representation Learning via Perceptual Similarity Metrics [18.842322467828502]
  Contrastive Input Morphing (CIM) はデータの入力空間変換を学習する表現学習フレームワークである。 CIMは他の相互情報に基づく表現学習技術と相補的であることを示す。
  論文  参考訳（メタデータ） (2021-06-11T21:45:44Z)
• Conditional Contrastive Learning: Removing Undesirable Information in Self-Supervised Representations [108.29288034509305]
  我々は,自己指導型表現において望ましくない情報を除去するために,条件付きコントラスト学習を開発する。 提案手法は,下流タスクの自己教師付き表現をうまく学習できることを実証的に実証する。
  論文  参考訳（メタデータ） (2021-06-05T10:51:26Z)
• Nonlinear Invariant Risk Minimization: A Causal Approach [5.63479133344366]
  非線形環境下での分布外一般化を可能にする学習パラダイムを提案する。 我々は、非常に単純な変換までデータ表現の識別性を示す。 合成データと実世界のデータセットの両方に関する広範な実験は、我々のアプローチが様々なベースラインメソッドを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-02-24T15:38:41Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。