論文の概要: Upper Bound of Bayesian Generalization Error in Partial Concept Bottleneck Model (CBM): Partial CBM outperforms naive CBM

• arxiv url: http://arxiv.org/abs/2403.09206v1
• Date: Thu, 14 Mar 2024 09:19:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-15 21:16:56.381948
• Title: Upper Bound of Bayesian Generalization Error in Partial Concept Bottleneck Model (CBM): Partial CBM outperforms naive CBM
• Title（参考訳）: 部分概念ボトルネックモデル(CBM)におけるベイズ一般化誤差の上界:部分的CBMは単純CBMより優れている
• Authors: Naoki Hayashi, Yoshihide Sawada,
• Abstract要約: 概念ボトルネックモデル(Concept Bottleneck Model, CBM)は、ニューラルネットワークを説明する手法である。 部分的なCBM(PCBM)は部分的に観察された概念を使用する。 本稿では,PCBMにおけるベイズ一般化誤差を3層線形アーキテクチャで明らかにする。
• 参考スコア（独自算出の注目度）: 0.21485350418225244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Concept Bottleneck Model (CBM) is a methods for explaining neural networks. In CBM, concepts which correspond to reasons of outputs are inserted in the last intermediate layer as observed values. It is expected that we can interpret the relationship between the output and concept similar to linear regression. However, this interpretation requires observing all concepts and decreases the generalization performance of neural networks. Partial CBM (PCBM), which uses partially observed concepts, has been devised to resolve these difficulties. Although some numerical experiments suggest that the generalization performance of PCBMs is almost as high as that of the original neural networks, the theoretical behavior of its generalization error has not been yet clarified since PCBM is singular statistical model. In this paper, we reveal the Bayesian generalization error in PCBM with a three-layered and linear architecture. The result indcates that the structure of partially observed concepts decreases the Bayesian generalization error compared with that of CBM (full-observed concepts).
• Abstract（参考訳）: 概念ボトルネックモデル(Concept Bottleneck Model, CBM)は、ニューラルネットワークを説明する手法である。 CBMでは、観測値として最後の中間層に出力の理由に対応する概念を挿入する。 線形回帰と同様の出力と概念の関係を解釈できることが期待される。 しかし、この解釈はすべての概念を観察し、ニューラルネットワークの一般化性能を低下させる必要がある。 部分的に観測された概念を用いる部分的なCBM(PCBM)は、これらの困難を解決するために考案されている。 いくつかの数値実験では、PCBMの一般化性能は元のニューラルネットワークとほぼ同等であることが示唆されているが、PCBMは特異統計モデルであるため、その一般化誤差の理論的挙動はまだ明らかになっていない。 本稿では,PCBMにおけるベイズ一般化誤差を3層線形アーキテクチャで明らかにする。 その結果、部分的に観察された概念の構造は、CBM (full-observed concept) と比較してベイズ一般化誤差を減少させることが示された。

関連論文リスト

• MCCE: Missingness-aware Causal Concept Explainer [4.56242146925245]
  我々は、すべての概念が観測可能でない場合に因果概念効果を推定するために、ミススティングネス対応因果概念記述器(MCCE)を導入する。 本フレームワークでは,概念不足による残差を考慮し,これらの概念とブラックボックス機械学習モデルの出力の関係を線形予測器を用いてモデル化する。 我々は実世界のデータセットを用いて検証を行い、MCCEが因果概念効果推定における最先端の説明手法と比較して有望な性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-11-14T18:03:44Z)
• CogDPM: Diffusion Probabilistic Models via Cognitive Predictive Coding [62.075029712357]
  本研究は認知拡散確率モデル(CogDPM)を紹介する。 CogDPMは拡散モデルの階層的サンプリング能力に基づく精度推定法と拡散モデル固有の性質から推定される精度重み付きガイダンスを備える。 我々は,Universal Kindomの降水量と表面風速データセットを用いた実世界の予測タスクにCogDPMを適用した。
  論文  参考訳（メタデータ） (2024-05-03T15:54:50Z)
• Asymptotic generalization error of a single-layer graph convolutional network [0.0]
  属性ブロックモデルにより生成されたデータに基づいて学習した単一層グラフ畳み込みネットワークの性能を予測する。 我々は,高信号対雑音比の限界について検討し,GCNの収束率を詳細に検討し,一貫性はあるものの,いずれの場合においてもベイズ最適値に達しないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T09:07:26Z)
• Towards Demystifying the Generalization Behaviors When Neural Collapse Emerges [132.62934175555145]
  Neural Collapse(NC)は、トレーニング末期(TPT)におけるディープニューラルネットワークのよく知られた現象である 本稿では,列車の精度が100%に達した後も,継続訓練がテストセットの精度向上に繋がる理由を理論的に説明する。 我々はこの新たに発見された性質を「非保守的一般化」と呼ぶ。
  論文  参考訳（メタデータ） (2023-10-12T14:29:02Z)
• Sparse Linear Concept Discovery Models [11.138948381367133]
  概念ボトルネックモデル(Concept Bottleneck Models, CBM)は、隠蔽層が人間の理解可能な概念に結びついている一般的なアプローチである。 本稿では,Contrastive Language Imageモデルと単一スパース線形層に基づく,シンプルかつ直感的に解釈可能なフレームワークを提案する。 実験により、我々のフレームワークは、最近のCBMアプローチを精度的に上回るだけでなく、一例あたりの疎度も高いことを示す。
  論文  参考訳（メタデータ） (2023-08-21T15:16:19Z)
• Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
  モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。 この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
  論文  参考訳（メタデータ） (2023-07-06T15:19:53Z)
• Bayesian Generalization Error in Linear Neural Networks with Concept Bottleneck Structure and Multitask Formulation [0.5330240017302621]
  概念ボトルネックモデル (CBM) は、概念を用いてニューラルネットワークを解釈できるユビキタスな手法である。 CBMでは、出力層と最後の中間層の間に観測可能な値として概念を挿入する。 本研究では,CBMの3層線形ニューラルネットワークにおけるベイズ一般化誤差と自由エネルギーを数学的に明らかにする。
  論文  参考訳（メタデータ） (2023-03-16T08:34:56Z)
• Post-hoc Concept Bottleneck Models [11.358495577593441]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、入力を解釈可能な概念のセットにマッピングし、その概念を用いて予測を行う。 CBMは、ボトルネックを学ぶためにトレーニングデータに概念ラベルを必要とするため、実際には制限があり、強い事前訓練されたモデルを活用しない。 解釈可能性の利点を保ちながら、モデル性能を犠牲にすることなく、任意のニューラルネットワークをPCBMに変換することができることを示す。
  論文  参考訳（メタデータ） (2022-05-31T00:29:26Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
  予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-02T15:21:37Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。