論文の概要: Structured IB: Improving Information Bottleneck with Structured Feature Learning

• arxiv url: http://arxiv.org/abs/2412.08222v1
• Date: Wed, 11 Dec 2024 09:17:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:00:44.311706
• Title: Structured IB: Improving Information Bottleneck with Structured Feature Learning
• Title（参考訳）: Structured IB: 構造化特徴学習による情報基盤の改善
• Authors: Hanzhe Yang, Youlong Wu, Dingzhu Wen, Yong Zhou, Yuanming Shi,
• Abstract要約: 我々は、潜在的に構造化された機能を調べるためのフレームワークであるStructured IBを紹介した。 IBラグランジアン法と比較し,予測精度とタスク関連情報を比較検討した。
• 参考スコア（独自算出の注目度）: 32.774660308233635
• License:
• Abstract: The Information Bottleneck (IB) principle has emerged as a promising approach for enhancing the generalization, robustness, and interpretability of deep neural networks, demonstrating efficacy across image segmentation, document clustering, and semantic communication. Among IB implementations, the IB Lagrangian method, employing Lagrangian multipliers, is widely adopted. While numerous methods for the optimizations of IB Lagrangian based on variational bounds and neural estimators are feasible, their performance is highly dependent on the quality of their design, which is inherently prone to errors. To address this limitation, we introduce Structured IB, a framework for investigating potential structured features. By incorporating auxiliary encoders to extract missing informative features, we generate more informative representations. Our experiments demonstrate superior prediction accuracy and task-relevant information preservation compared to the original IB Lagrangian method, even with reduced network size.
• Abstract（参考訳）: Information Bottleneck(IB)原則は、ディープニューラルネットワークの一般化、堅牢性、解釈可能性を高め、画像セグメンテーション、文書クラスタリング、セマンティックコミュニケーションにおける有効性を実証するための有望なアプローチとして登場した。 IB実装の中で、ラグランジアン乗算器を用いたIBラグランジアン法が広く採用されている。 IBラグランジアンを変動境界とニューラル推定器に基づいて最適化する多くの手法は実現可能であるが、その性能は設計の品質に大きく依存している。 この制限に対処するため、潜在的に構造化された特徴を調査するためのフレームワークであるStructured IBを紹介した。 補助エンコーダを組み込んで、不足する情報的特徴を抽出することにより、より情報的表現を生成する。 IBラグランジアン法と比較して,ネットワークサイズが小さくても予測精度とタスク関連情報保存が優れていることを示した。

関連論文リスト

• BiDense: Binarization for Dense Prediction [62.70804353158387]
  BiDenseは、効率よく正確な密度予測タスクのために設計された一般化されたバイナリニューラルネットワーク(BNN)である。 BiDenseは2つの重要なテクニックを取り入れている: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。
  論文  参考訳（メタデータ） (2024-11-15T16:46:04Z)
• Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
  本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
  論文  参考訳（メタデータ） (2024-09-09T12:56:02Z)
• Enhancing Adversarial Transferability via Information Bottleneck Constraints [18.363276470822427]
  IBTAと呼ばれるブラックボックス転送可能な敵攻撃を行うためのフレームワークを提案する。 最適化不能な相互情報に対する課題を克服するために,計算を近似するためのシンプルで効率的な相互情報低境界(MILB)を提案する。 ImageNetデータセットの実験では、IBTAとMILBの効率性とスケーラビリティがよく示されている。
  論文  参考訳（メタデータ） (2024-06-08T17:25:31Z)
• Tighter Bounds on the Information Bottleneck with Application to Deep Learning [6.206127662604578]
  Deep Neural Nets (DNN)は、下流タスク、目的関数、その他のパラメータによって誘導される潜在表現を学習する。 Information Bottleneck (IB)は、データモデリングのための仮説上最適なフレームワークを提供するが、しばしば難解である。 近年のDNNとIBの連携により,VAEにインスパイアされた変分法を相互情報のバウンダリ近似に適用し,敵攻撃に対するロバスト性の向上を実現している。
  論文  参考訳（メタデータ） (2024-02-12T13:24:32Z)
• Information-Theoretic Odometry Learning [83.36195426897768]
  生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。 提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
  論文  参考訳（メタデータ） (2022-03-11T02:37:35Z)
• Gated Information Bottleneck for Generalization in Sequential Environments [13.795129636387623]
  深層ニューラルネットワークは、基礎となるデータ分布がトレーニングセットのそれと異なる場合、一般化が悪く、目に見えない環境に苦しむ。 ゲート情報ボトルネック(GIB)と呼ばれるニューラルネットワークに基づく新しいISBアプローチを提案する。 我々は、敵対的ロバスト性およびアウト・オブ・ディストリビューション検出において、他の一般的なニューラルネットワークベースのIBアプローチよりもGIBの方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-12T14:58:38Z)
• Explainability-aided Domain Generalization for Image Classification [0.0]
  説明可能性文献から手法やアーキテクチャを適用することで、ドメインの一般化という困難な課題に対して最先端のパフォーマンスを達成できることを示す。 そこで我々は,勾配に基づくクラスアクティベーションマップを用いて学習中にネットワークが指導を受ける手法であるDivCAMを含む新しいアルゴリズムを開発し,多様な識別機能に焦点をあてる。 これらの手法は、説明可能性に加えて競合性能を提供するため、深層ニューラルネットワークアーキテクチャのロバスト性を改善するツールとして使用できると論じる。
  論文  参考訳（メタデータ） (2021-04-05T02:27:01Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)
• Graph Information Bottleneck [77.21967740646784]
  グラフニューラルネットワーク(GNN)は、ネットワーク構造とノード機能から情報を融合する表現的な方法を提供する。 GIBは、一般的なInformation Bottleneck (IB) を継承し、与えられたタスクに対する最小限の表現を学習することを目的としている。 提案したモデルが最先端のグラフ防御モデルよりも堅牢であることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:13:00Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)
• The Dual Information Bottleneck [1.6559345531428509]
  Information Bottleneck (IB) フレームワークは、精度と複雑さのバランスをとるための原則化されたアプローチを用いて得られる最適な表現の一般的な特徴付けである。 IBの欠点を解消する新しいフレームワークであるDual Information Bottleneck(DualIB)を提案する。
  論文  参考訳（メタデータ） (2020-06-08T14:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。