論文の概要: Understanding Probe Behaviors through Variational Bounds of Mutual Information

• arxiv url: http://arxiv.org/abs/2312.10019v1
• Date: Fri, 15 Dec 2023 18:38:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 14:30:41.984218
• Title: Understanding Probe Behaviors through Variational Bounds of Mutual Information
• Title（参考訳）: 相互情報の変動境界によるプローブ挙動の理解
• Authors: Kwanghee Choi, Jee-weon Jung, Shinji Watanabe
• Abstract要約: 情報理論を利用した新しい数学的枠組みを構築することで線形探索のガイドラインを提供する。 まず、プローブ設計を緩和するために、相互情報の変動境界(MI)と探索を結合し、線形探索と微調整を同一視する。 中間表現は、分離性の向上とMIの減少のトレードオフのため、最大のMI推定値を持つことが示される。
• 参考スコア（独自算出の注目度）: 53.520525292756005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the success of self-supervised representations, researchers seek a better understanding of the information encapsulated within a representation. Among various interpretability methods, we focus on classification-based linear probing. We aim to foster a solid understanding and provide guidelines for linear probing by constructing a novel mathematical framework leveraging information theory. First, we connect probing with the variational bounds of mutual information (MI) to relax the probe design, equating linear probing with fine-tuning. Then, we investigate empirical behaviors and practices of probing through our mathematical framework. We analyze the layer-wise performance curve being convex, which seemingly violates the data processing inequality. However, we show that the intermediate representations can have the biggest MI estimate because of the tradeoff between better separability and decreasing MI. We further suggest that the margin of linearly separable representations can be a criterion for measuring the "goodness of representation." We also compare accuracy with MI as the measuring criteria. Finally, we empirically validate our claims by observing the self-supervised speech models on retaining word and phoneme information.
• Abstract（参考訳）: 自己監督型表現の成功により、研究者は表現の中にカプセル化された情報の理解を深める。 様々な解釈方法のうち,分類に基づく線形探索に注目する。 本稿では,情報理論を活用した新しい数学的枠組みを構築し,線形探索の指針を提供する。 まず, プローブ設計を緩和するために, プローブと相互情報(mi)の変動境界を接続し, 線形プローブと微調整を同一視する。 次に, 数学的枠組みを通して探索の実証的行動と実践について検討する。 我々はデータ処理の不等式に反するように見える凸層性能曲線を解析する。 しかし,中間表現は分離性の向上とmiの低減のトレードオフにより,最大mi推定値が得られることを示した。 さらに、線形分離可能な表現のマージンが「表現の良さ」を測定する基準となることを示唆する。 また,測定基準として精度とmiを比較した。 最後に,単語と音素情報を保持する自己教師型音声モデルを観察することにより,我々の主張を実証的に検証する。

関連論文リスト

• Analyzing Generative Models by Manifold Entropic Metrics [8.477943884416023]
  抽出可能な情報理論評価指標を新たに導入する。 EMNISTデータセット上の各種正規化フローアーキテクチャと$beta$-VAEを比較した。 私たちの実験で最も興味深い発見は、トレーニング中に整列および非整合表現に収束する誘導バイアスの観点から、モデルアーキテクチャとトレーニング手順のランク付けです。
  論文  参考訳（メタデータ） (2024-10-25T09:35:00Z)
• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• MOUNTAINEER: Topology-Driven Visual Analytics for Comparing Local Explanations [6.835413642522898]
  トポロジカルデータ解析(TDA)は、属性を一様グラフ表現に変換するために使用できるため、この領域で有効な方法である。 我々は、新しいトポロジ駆動視覚分析ツールであるMountaineerを紹介し、機械学習の実践者がこれらの表現をインタラクティブに分析し比較できるようにする。 我々は、Mountaineerによって、ブラックボックスMLの説明と、異なる説明の相違の原因を識別する領域を比較できることを示す。
  論文  参考訳（メタデータ） (2024-06-21T19:28:50Z)
• Measuring the Interpretability of Unsupervised Representations via Quantized Reverse Probing [97.70862116338554]
  本稿では,自己教師付き表現の解釈可能性の測定問題について検討する。 我々は、後者を、表現と手動でラベル付けされた概念の空間の間の相互情報を推定するものとして定式化する。 提案手法は,多人数の自己教師付き表現の評価に利用し,解釈可能性による評価を行う。
  論文  参考訳（メタデータ） (2022-09-07T16:18:50Z)
• Fair Representation Learning using Interpolation Enabled Disentanglement [9.043741281011304]
  a) 下流タスクに対する学習された表現の有用性を確保しつつ、公平な不整合表現を同時に学べるか、(b) 提案手法が公正かつ正確であるかどうかに関する理論的知見を提供する。 前者に対応するために,補間可能外乱を用いた公正表現学習法FRIEDを提案する。
  論文  参考訳（メタデータ） (2021-07-31T17:32:12Z)
• From Canonical Correlation Analysis to Self-supervised Graph Neural Networks [99.44881722969046]
  本稿では,グラフデータを用いた自己教師付き表現学習のための概念的単純かつ効果的なモデルを提案する。 古典的カノニカル相関解析にインスパイアされた,革新的な特徴レベルの目的を最適化する。 提案手法は、7つの公開グラフデータセット上で競合的に動作する。
  論文  参考訳（メタデータ） (2021-06-23T15:55:47Z)
• GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
  オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。 本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。 提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
  論文  参考訳（メタデータ） (2021-02-22T19:42:40Z)
• DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
  連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。 近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。 提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
  論文  参考訳（メタデータ） (2020-10-05T04:19:27Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。