論文の概要: Structured IB: Improving Information Bottleneck with Structured Feature Learning

• arxiv url: http://arxiv.org/abs/2412.08222v1
• Date: Wed, 11 Dec 2024 09:17:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:00:44.311706
• Title: Structured IB: Improving Information Bottleneck with Structured Feature Learning
• Title（参考訳）: Structured IB: 構造化特徴学習による情報基盤の改善
• Authors: Hanzhe Yang, Youlong Wu, Dingzhu Wen, Yong Zhou, Yuanming Shi,
• Abstract要約: 我々は、潜在的に構造化された機能を調べるためのフレームワークであるStructured IBを紹介した。 IBラグランジアン法と比較し,予測精度とタスク関連情報を比較検討した。
• 参考スコア（独自算出の注目度）: 32.774660308233635
• License:
• Abstract: The Information Bottleneck (IB) principle has emerged as a promising approach for enhancing the generalization, robustness, and interpretability of deep neural networks, demonstrating efficacy across image segmentation, document clustering, and semantic communication. Among IB implementations, the IB Lagrangian method, employing Lagrangian multipliers, is widely adopted. While numerous methods for the optimizations of IB Lagrangian based on variational bounds and neural estimators are feasible, their performance is highly dependent on the quality of their design, which is inherently prone to errors. To address this limitation, we introduce Structured IB, a framework for investigating potential structured features. By incorporating auxiliary encoders to extract missing informative features, we generate more informative representations. Our experiments demonstrate superior prediction accuracy and task-relevant information preservation compared to the original IB Lagrangian method, even with reduced network size.
• Abstract（参考訳）: Information Bottleneck(IB)原則は、ディープニューラルネットワークの一般化、堅牢性、解釈可能性を高め、画像セグメンテーション、文書クラスタリング、セマンティックコミュニケーションにおける有効性を実証するための有望なアプローチとして登場した。 IB実装の中で、ラグランジアン乗算器を用いたIBラグランジアン法が広く採用されている。 IBラグランジアンを変動境界とニューラル推定器に基づいて最適化する多くの手法は実現可能であるが、その性能は設計の品質に大きく依存している。 この制限に対処するため、潜在的に構造化された特徴を調査するためのフレームワークであるStructured IBを紹介した。 補助エンコーダを組み込んで、不足する情報的特徴を抽出することにより、より情報的表現を生成する。 IBラグランジアン法と比較して,ネットワークサイズが小さくても予測精度とタスク関連情報保存が優れていることを示した。

関連論文リスト

• Rethinking Latent Representations in Behavior Cloning: An Information Bottleneck Approach for Robot Manipulation [34.46089300038851]
  行動クローニング(BC)は、ロボット操作において広く採用されている視覚模倣学習手法である。 我々は,潜在表現における冗長性を定量化し緩和するために相互情報を導入する。 本研究は, 様々な方法, バックボーン, 実験環境における潜在表現の冗長性に関する最初の包括的研究である。
  論文  参考訳（メタデータ） (2025-02-05T03:13:04Z)
• Quantized and Interpretable Learning Scheme for Deep Neural Networks in Classification Task [0.0]
  本稿では,サリエンシ誘導学習と量子化技術を組み合わせて,解釈可能かつ資源効率のよいモデルを構築するアプローチを提案する。 以上の結果から,Saliency-Guided Training と PACT-based Quantization の併用は,分類性能を維持するだけでなく,より効率的かつ解釈可能なモデルを生成することが示唆された。
  論文  参考訳（メタデータ） (2024-12-05T06:34:06Z)
• Preserving Information: How does Topological Data Analysis improve Neural Network performance? [0.0]
  本稿では,画像認識におけるトポロジカルデータ解析(TDA)と畳み込みニューラルネットワーク(CNN)の統合手法を提案する。 我々のアプローチは、ベクトルスチッチ(Vector Stitching)と呼ばれ、生画像データと追加のトポロジ情報を組み合わせたものである。 実験の結果は,追加データ解析の結果をネットワークの推論プロセスに組み込むことの可能性を強調した。
  論文  参考訳（メタデータ） (2024-11-27T14:56:05Z)
• BiDense: Binarization for Dense Prediction [62.70804353158387]
  BiDenseは、効率よく正確な密度予測タスクのために設計された一般化されたバイナリニューラルネットワーク(BNN)である。 BiDenseは2つの重要なテクニックを取り入れている: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。
  論文  参考訳（メタデータ） (2024-11-15T16:46:04Z)
• Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
  本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
  論文  参考訳（メタデータ） (2024-09-09T12:56:02Z)
• Enhancing Adversarial Transferability via Information Bottleneck Constraints [18.363276470822427]
  IBTAと呼ばれるブラックボックス転送可能な敵攻撃を行うためのフレームワークを提案する。 最適化不能な相互情報に対する課題を克服するために,計算を近似するためのシンプルで効率的な相互情報低境界(MILB)を提案する。 ImageNetデータセットの実験では、IBTAとMILBの効率性とスケーラビリティがよく示されている。
  論文  参考訳（メタデータ） (2024-06-08T17:25:31Z)
• Tighter Bounds on the Information Bottleneck with Application to Deep Learning [6.206127662604578]
  Deep Neural Nets (DNN)は、下流タスク、目的関数、その他のパラメータによって誘導される潜在表現を学習する。 Information Bottleneck (IB)は、データモデリングのための仮説上最適なフレームワークを提供するが、しばしば難解である。 近年のDNNとIBの連携により,VAEにインスパイアされた変分法を相互情報のバウンダリ近似に適用し,敵攻撃に対するロバスト性の向上を実現している。
  論文  参考訳（メタデータ） (2024-02-12T13:24:32Z)
• Information-Theoretic Odometry Learning [83.36195426897768]
  生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。 提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
  論文  参考訳（メタデータ） (2022-03-11T02:37:35Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)
• Graph Information Bottleneck [77.21967740646784]
  グラフニューラルネットワーク(GNN)は、ネットワーク構造とノード機能から情報を融合する表現的な方法を提供する。 GIBは、一般的なInformation Bottleneck (IB) を継承し、与えられたタスクに対する最小限の表現を学習することを目的としている。 提案したモデルが最先端のグラフ防御モデルよりも堅牢であることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:13:00Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。