論文の概要: Learning Optimal Representations with the Decodable Information Bottleneck

• arxiv url: http://arxiv.org/abs/2009.12789v2
• Date: Fri, 16 Jul 2021 09:22:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 03:26:04.852833
• Title: Learning Optimal Representations with the Decodable Information Bottleneck
• Title（参考訳）: Deodable Information Bottleneckによる最適表現の学習
• Authors: Yann Dubois, Douwe Kiela, David J. Schwab, Ramakrishna Vedantam
• Abstract要約: 機械学習では、我々のゴールは圧縮ではなく、むしろ一般化であり、予測ファミリや関心のデコーダと密接に関連している。 本稿では,情報保持と圧縮を所望の予測族の観点から考慮した,情報保持可能な情報ボトルネック(DIB)を提案する。 結果として、DIBは期待されるテスト性能の観点で最適であり、保証とともに推定できる表現を生み出します。
• 参考スコア（独自算出の注目度）: 43.30367159353152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the question of characterizing and finding optimal representations for supervised learning. Traditionally, this question has been tackled using the Information Bottleneck, which compresses the inputs while retaining information about the targets, in a decoder-agnostic fashion. In machine learning, however, our goal is not compression but rather generalization, which is intimately linked to the predictive family or decoder of interest (e.g. linear classifier). We propose the Decodable Information Bottleneck (DIB) that considers information retention and compression from the perspective of the desired predictive family. As a result, DIB gives rise to representations that are optimal in terms of expected test performance and can be estimated with guarantees. Empirically, we show that the framework can be used to enforce a small generalization gap on downstream classifiers and to predict the generalization ability of neural networks.
• Abstract（参考訳）: 教師あり学習における最適な表現を特徴付けることの課題に対処する。 従来、この質問は、デコーダに依存しない方法で、ターゲットに関する情報を保持しながら入力を圧縮する情報ボトルネックを使って取り組まれてきた。 しかし機械学習では、目標は圧縮ではなく一般化であり、予測ファミリや関心のあるデコーダ(線形分類器など)と密接に関連している。 本稿では,情報保持と圧縮を所望の予測族の観点から考慮した,情報保持可能な情報ボトルネック(DIB)を提案する。 結果として、DIBは期待されるテスト性能の観点で最適であり、保証とともに推定できる表現を生み出します。 実験により、このフレームワークは下流の分類器に小さな一般化ギャップを課し、ニューラルネットワークの一般化能力を予測するのに利用できることを示す。

関連論文リスト

• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Prediction-Oriented Bayesian Active Learning [51.426960808684655]
  予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-04-17T10:59:57Z)
• FUNCK: Information Funnels and Bottlenecks for Invariant Representation Learning [7.804994311050265]
  データから不変表現を学習すると主張する一連の関連する情報漏えいとボトルネック問題について検討する。 本稿では,この情報理論の目的である「側情報付き条件付きプライバシ・ファンネル」の新たな要素を提案する。 一般に難解な目的を考慮し、ニューラルネットワークによってパラメータ化された補正変分推論を用いて、抽出可能な近似を導出する。
  論文  参考訳（メタデータ） (2022-11-02T19:37:55Z)
• Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
  本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。 MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。 ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-20T17:58:30Z)
• Interpretable by Design: Learning Predictors by Composing Interpretable Queries [8.054701719767293]
  機械学習アルゴリズムは設計によって解釈されるべきである。 正確な予測に必要なクエリの数を最小限に抑える。 視覚とNLPタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2022-07-03T02:40:34Z)
• Approximability and Generalisation [0.0]
  予測器の完全精度と近似設定の両方において、学習における近似性の役割について検討する。 軽度の条件下では、より小さなラベル付きサンプルから近似可能なターゲット概念が学習可能であることを示す。 近似も同じ一般化保証を享受する優れた予測器を保証するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-03-15T15:21:48Z)
• Representation Learning for Sequence Data with Deep Autoencoding Predictive Components [96.42805872177067]
  本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。 我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。 提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
  論文  参考訳（メタデータ） (2020-10-07T03:34:01Z)
• The Variational Bandwidth Bottleneck: Stochastic Evaluation on an Information Budget [164.65771897804404]
  多くのアプリケーションにおいて、複雑な入力データから関連する情報のみを抽出することが望ましい。 情報ボトルネック法は、これを情報理論最適化問題として定式化する。 本稿では,特権情報の推定値について,各例について決定する帯域幅のばらつきボトルネックを提案する。
  論文  参考訳（メタデータ） (2020-04-24T18:29:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。