論文の概要: A Complete Decomposition of KL Error using Refined Information and Mode Interaction Selection
- arxiv url: http://arxiv.org/abs/2410.11964v1
- Date: Tue, 15 Oct 2024 18:08:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-17 13:44:14.182048
- Title: A Complete Decomposition of KL Error using Refined Information and Mode Interaction Selection
- Title（参考訳）: 修正情報とモード間相互作用選択を用いたKL誤差の完全分解
- Authors: James Enouen, Mahito Sugiyama,
- Abstract要約: 我々は高次モード相互作用に着目したログ線形モデルの古典的定式化を再考する。
学習した分布は、実際に利用可能な有限量のデータをより効率的に利用することができる。
- 参考スコア（独自算出の注目度）: 11.994525728378603
- License:
- Abstract: The log-linear model has received a significant amount of theoretical attention in previous decades and remains the fundamental tool used for learning probability distributions over discrete variables. Despite its large popularity in statistical mechanics and high-dimensional statistics, the vast majority of such energy-based modeling approaches only focus on the two-variable relationships, such as Boltzmann machines and Markov graphical models. Although these approaches have easier-to-solve structure learning problems and easier-to-optimize parametric distributions, they often ignore the rich structure which exists in the higher-order interactions between different variables. Using more recent tools from the field of information geometry, we revisit the classical formulation of the log-linear model with a focus on higher-order mode interactions, going beyond the 1-body modes of independent distributions and the 2-body modes of Boltzmann distributions. This perspective allows us to define a complete decomposition of the KL error. This then motivates the formulation of a sparse selection problem over the set of possible mode interactions. In the same way as sparse graph selection allows for better generalization, we find that our learned distributions are able to more efficiently use the finite amount of data which is available in practice. On both synthetic and real-world datasets, we demonstrate our algorithm's effectiveness in maximizing the log-likelihood for the generative task and also the ease of adaptability to the discriminative task of classification.
- Abstract（参考訳）: 対数線形モデルは過去数十年でかなりの数の理論的関心を集めており、離散変数上の確率分布を学習するための基本的なツールとして残っている。
統計力学や高次元統計学において大きな人気があるにもかかわらず、そのようなエネルギーベースのモデリング手法の大多数はボルツマンマシンやマルコフグラフィカルモデルのような2変数の関係にのみ焦点を当てている。
これらの手法は、容易に解ける構造学習問題とパラメトリック分布の最適化が容易であるが、異なる変数間の高次相互作用に存在するリッチな構造を無視することが多い。
情報幾何学の分野からのより最近のツールを用いて、独立分布の1-体モードとボルツマン分布の2-体モードを超えて、高階モード相互作用に焦点を当てたログ線形モデルの古典的な定式化を再考する。
この観点から、KL誤差の完全分解を定義することができる。
このことは、可能なモード相互作用の集合に対するスパース選択問題の定式化を動機付けている。
スパースグラフの選択がより良い一般化を可能にするのと同じように、我々の学習した分布は、実際に利用可能な有限量のデータをより効率的に利用することができる。
合成と実世界の両方のデータセットにおいて、生成タスクのログ類似度を最大化するアルゴリズムの有効性と、識別タスクへの適応性の容易さを実証する。
関連論文リスト
- Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。
因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
論文 参考訳（メタデータ） (2024-06-07T14:29:21Z) - Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。
ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。
これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
論文 参考訳（メタデータ） (2023-11-28T16:46:14Z) - Distribution learning via neural differential equations: a nonparametric
statistical perspective [1.4436965372953483]
この研究は、確率変換によって訓練されたODEモデルによる分布学習のための最初の一般統計収束解析を確立する。
後者はクラス $mathcal F$ の$C1$-metric entropy で定量化できることを示す。
次に、この一般フレームワークを$Ck$-smoothターゲット密度の設定に適用し、関連する2つの速度場クラスに対する最小最適収束率を$mathcal F$:$Ck$関数とニューラルネットワークに設定する。
論文 参考訳（メタデータ） (2023-09-03T00:21:37Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳（メタデータ） (2022-10-21T13:19:45Z) - ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。
ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。
実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
論文 参考訳（メタデータ） (2022-06-24T08:18:05Z) - Graph-LDA: Graph Structure Priors to Improve the Accuracy in Few-Shot
Classification [6.037383467521294]
本稿では、2つのノイズ源で観測されたクラス信号が劣化することが想定されるジェネリックモデルを提案する。
このような信号を分類する最適な手法を導出する。
この手法には単一のパラメータが含まれており、利用可能なデータが不足している場合に特に適している。
論文 参考訳（メタデータ） (2021-08-23T21:55:45Z) - A Meta Learning Approach to Discerning Causal Graph Structure [1.52292571922932]
分布の単純度を最適化することにより,変数間の因果方向を導出するためのメタラーニングの活用について検討する。
潜在変数を含むグラフ表現を導入し、より一般化性とグラフ構造表現を可能にする。
我々のモデルは、潜在共同設立者の影響にもかかわらず、複雑なグラフ構造の因果方向インジケータを学習することができる。
論文 参考訳（メタデータ） (2021-06-06T22:44:44Z) - Removing Bias in Multi-modal Classifiers: Regularization by Maximizing
Functional Entropies [88.0813215220342]
いくつかのモダリティは、他のものよりも分類結果に容易に寄与することができる。
機能的エントロピーと機能的フィッシャー情報とを結合した対数ソボレフの不等式に基づく手法を開発した。
VQA-CPv2 と SocialIQ の2つの挑戦的マルチモーダルデータセットに対して,より均一にモダリティを活用しながら,最先端の結果を得る。
論文 参考訳（メタデータ） (2020-10-21T07:40:33Z) - Variational Mixture of Normalizing Flows [0.0]
生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。
正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。
本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
論文 参考訳（メタデータ） (2020-09-01T17:20:08Z) - LowFER: Low-rank Bilinear Pooling for Link Prediction [4.110108749051657]
本稿では,多モーダル学習においてよく用いられる因子化双線形プールモデルを提案する。
我々のモデルは、他のモデルを一般化することが示されている分解タッカーベースのタッカーモデルを自然に一般化する。
実世界のデータセット、パー・オブ・ザ・アーティファクトのパフォーマンスについて評価する。
論文 参考訳（メタデータ） (2020-08-25T07:33:52Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。