論文の概要: Learning under Singularity: An Information Criterion improving WBIC and sBIC

• arxiv url: http://arxiv.org/abs/2402.12762v1
• Date: Tue, 20 Feb 2024 07:09:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 16:48:12.205119
• Title: Learning under Singularity: An Information Criterion improving WBIC and sBIC
• Title（参考訳）: 特異性に基づく学習:WBICとsBICを改善する情報基準
• Authors: Lirui Liu and Joe Suzuki
• Abstract要約: 我々は、Singularity(LS)の下での学習と呼ばれる新しい情報基準(IC)を導入する。 LSは規則性制約なしで有効であり、安定性を示す。 このアプローチは、規則性制約のないモデル選択に対して、柔軟で堅牢な方法を提供する。
• 参考スコア（独自算出の注目度）: 1.0878040851637998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a novel Information Criterion (IC), termed Learning under Singularity (LS), designed to enhance the functionality of the Widely Applicable Bayes Information Criterion (WBIC) and the Singular Bayesian Information Criterion (sBIC). LS is effective without regularity constraints and demonstrates stability. Watanabe defined a statistical model or a learning machine as regular if the mapping from a parameter to a probability distribution is one-to-one and its Fisher information matrix is positive definite. In contrast, models not meeting these conditions are termed singular. Over the past decade, several information criteria for singular cases have been proposed, including WBIC and sBIC. WBIC is applicable in non-regular scenarios but faces challenges with large sample sizes and redundant estimation of known learning coefficients. Conversely, sBIC is limited in its broader application due to its dependence on maximum likelihood estimates. LS addresses these limitations by enhancing the utility of both WBIC and sBIC. It incorporates the empirical loss from the Widely Applicable Information Criterion (WAIC) to represent the goodness of fit to the statistical model, along with a penalty term similar to that of sBIC. This approach offers a flexible and robust method for model selection, free from regularity constraints.
• Abstract（参考訳）: 本稿では,広域ベイズ情報基準(WBIC)とSBIC(Singular Bayesian Information Criterion)の機能強化を目的とした,Singularityによる学習(LS)と呼ばれる新しい情報基準を導入する。 LSは規則性制約なしで有効であり、安定性を示す。 ワタナベは、パラメータから確率分布へのマッピングが1対1であり、そのフィッシャー情報行列が正定値であれば、統計モデルや学習機を正則と定義した。 対照的に、これらの条件を満たさないモデルは特異と呼ばれる。 過去10年間に WBIC や sBIC など,特異事例に関するいくつかの情報基準が提案されてきた。 WBICは非正規シナリオに適用できるが、大きなサンプルサイズと既知の学習係数の冗長な推定を伴う課題に直面している。 逆に、sBICは最大推定値に依存するため、より広範な応用に限られている。 LSはこれらの制限に対処し、WBICとsBICの両方の有用性を高める。 これは、統計モデルに適合する善意を表すために、広範適用可能情報基準(WAIC)からの経験的損失と、sBICと同様の罰則を組み込んだものである。 このアプローチは、規則性制約のない、柔軟で堅牢なモデル選択方法を提供する。

関連論文リスト

• Statistically Valid Information Bottleneck via Multiple Hypothesis Testing [35.59201763567714]
  複数仮説テスト(IB-MHT)による情報ボトルネック(IB)問題に対する統計的に有効な解を提案する。 IB-MHTは、利用可能なデータセットのサイズに関係なく、学習した機能が高い確率でIB制約を満たすことを保証します。 IB-MHTは, 統計的堅牢性と信頼性の観点から, 従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-11T15:04:32Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• Flexible and Robust Counterfactual Explanations with Minimal Satisfiable Perturbations [56.941276017696076]
  我々は、最小満足度摂動(CEMSP)を用いた対実的説明法という概念的に単純だが効果的な解を提案する。 CEMSPは、意味論的に意味のある正常範囲の助けを借りて、異常な特徴の値を変更することを制限している。 既存の手法と比較して、我々は合成データセットと実世界のデータセットの両方で包括的な実験を行い、柔軟性を維持しつつ、より堅牢な説明を提供することを示した。
  論文  参考訳（メタデータ） (2023-09-09T04:05:56Z)
• Intuitionistic Fuzzy Broad Learning System: Enhancing Robustness Against Noise and Outliers [0.0]
  本稿では,ファジィ広範学習システム (F-BLS) と直観的ファジィ広範学習システム (IF-BLS) モデルを提案する。 アルツハイマー病(AD)の診断のためのF-BLSモデルとIF-BLSモデルを実装した。
  論文  参考訳（メタデータ） (2023-07-15T21:40:36Z)
• Gibbs-Based Information Criteria and the Over-Parameterized Regime [20.22034560278484]
  二重発散は、補間しきい値を超えた学習アルゴリズムのテスト損失の予期せぬ減少を指す。 我々はこれらの分析を,情報リスク最小化フレームワークを用いて更新し,Gibsアルゴリズムが学習したモデルに対して,Akaike Information Criterion(AIC)とBayesian Information Criterion(BIC)を提供する。
  論文  参考訳（メタデータ） (2023-06-08T22:54:48Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
  本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。 また、局所的な一貫性の結果に基づいた理論的保証も提供する。 この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
  論文  参考訳（メタデータ） (2022-11-17T15:48:06Z)
• Supervised Multivariate Learning with Simultaneous Feature Auto-grouping and Dimension Reduction [7.093830786026851]
  本稿では,クラスタ化低ランク学習フレームワークを提案する。 2つの合同行列正則化を課し、予測因子を構成する特徴を自動的にグループ化する。 低ランクなモデリングよりも解釈可能であり、変数選択における厳密な空間性仮定を緩和する。
  論文  参考訳（メタデータ） (2021-12-17T20:11:20Z)
• Pointwise Feasibility of Gaussian Process-based Safety-Critical Control under Model Uncertainty [77.18483084440182]
  制御バリア関数(CBF)と制御リアプノフ関数(CLF)は、制御システムの安全性と安定性をそれぞれ強化するための一般的なツールである。 本稿では, CBF と CLF を用いた安全クリティカルコントローラにおいて, モデル不確実性に対処するためのガウスプロセス(GP)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-13T23:08:49Z)
• Pool-based sequential active learning with multi kernels [10.203602318836444]
  本研究では,未ラベルデータの大規模なプールから1つのサンプルを毎回クエリする,プールベースシーケンシャルアクティブラーニング(AL)について検討する。 提案する選択基準は,EKDとEKLという2つである。 また、提案したEKDとEKLは、一般的なクエリ・バイ・コミッテ(QBC)と予測モデル・チェンジ(EMC)の概念を一般化することに成功した。
  論文  参考訳（メタデータ） (2020-10-22T03:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。