論文の概要: BELIEF in Dependence: Leveraging Atomic Linearity in Data Bits for
Rethinking Generalized Linear Models
- arxiv url: http://arxiv.org/abs/2210.10852v1
- Date: Wed, 19 Oct 2022 19:28:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 15:52:27.979898
- Title: BELIEF in Dependence: Leveraging Atomic Linearity in Data Bits for
Rethinking Generalized Linear Models
- Title（参考訳）: BELIEF in Dependence:一般線形モデル再考のためのデータビットにおけるアトミックリニアリティの活用
- Authors: Benjamin Brown, Kai Zhang, Xiao-Li Meng
- Abstract要約: 我々は,バイナリ拡張線形効果(BELIEF)と呼ばれるフレームワークを開発し,任意の関係をバイナリ結果と評価し,理解する。
BELIEFフレームワークのモデルは、線形モデルの言語におけるバイナリ変数の関連性を記述するため、容易に解釈できる。
- 参考スコア（独自算出の注目度）: 4.812745396695217
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Two linearly uncorrelated binary variables must be also independent because
non-linear dependence cannot manifest with only two possible states. This
inherent linearity is the atom of dependency constituting any complex form of
relationship. Inspired by this observation, we develop a framework called
binary expansion linear effect (BELIEF) for assessing and understanding
arbitrary relationships with a binary outcome. Models from the BELIEF framework
are easily interpretable because they describe the association of binary
variables in the language of linear models, yielding convenient theoretical
insight and striking parallels with the Gaussian world. In particular, an
algebraic structure on the predictors with nonzero slopes governs conditional
independence properties. With BELIEF, one may study generalized linear models
(GLM) through transparent linear models, providing insight into how modeling is
affected by the choice of link. For example, setting a GLM interaction
coefficient to zero does not necessarily lead to the kind of no-interaction
model assumption as understood under their linear model counterparts.
Furthermore, for a binary response, maximum likelihood estimation for GLMs
paradoxically fails under complete separation, when the data are most
discriminative, whereas BELIEF estimation automatically reveals the perfect
predictor in the data that is responsible for complete separation. We explore
these phenomena and provide a host of related theoretical results. We also
provide preliminary empirical demonstration and verification of some
theoretical results.
- Abstract（参考訳）: 2つの線形非相関二項変数は、非線形依存が2つの可能な状態だけでは表せないため、独立でなければならない。
この固有線型性は、いかなる複雑な関係の形式を構成する依存の原子である。
この観察に触発されて,二進展開線形効果(binary expansion linear effect, belief)と呼ばれる枠組みを開発し,二進結果との任意の関係を評価し,理解する。
信念の枠組みのモデルは、線形モデルの言語における二項変数の関連を記述し、便利な理論的洞察とガウス世界との類似性をもたらすので、容易に解釈できる。
特に、非零勾配の予測子上の代数構造は条件付き独立性を支配する。
信念により、透過線形モデルを通じて一般化線形モデル(glm)を研究することができ、モデリングがリンクの選択によってどのように影響を受けるかについての洞察を提供する。
例えば、 GLM の相互作用係数を 0 に設定することは、その線形モデルで理解されるような非相互作用モデル仮定に必ずしも結びつくとは限らない。
さらに、バイナリ応答では、データが最も識別可能な場合、GLMの最大推定は完全分離下では失敗するが、BELIEF推定は完全分離に責任があるデータの完全な予測器を自動的に明らかにする。
これらの現象を探索し、関連する理論的結果を提供する。
また,いくつかの理論的結果の実証実験と検証を行った。
関連論文リスト
- Graph-based Unsupervised Disentangled Representation Learning via Multimodal Large Language Models [42.17166746027585]
複素データ内の因子化属性とその相互関係を学習するための双方向重み付きグラフベースフレームワークを提案する。
具体的には、グラフの初期ノードとして要素を抽出する$beta$-VAEベースのモジュールを提案する。
これらの相補的加群を統合することで、我々は細粒度、実用性、教師なしの絡み合いをうまく達成できる。
論文 参考訳（メタデータ） (2024-07-26T15:32:21Z) - Weight-based Decomposition: A Case for Bilinear MLPs [0.0]
GLU(Gated Linear Units)は、現代の基礎モデルにおいて一般的なビルディングブロックとなっている。
Bilinear 層は "gate" の非線形性を低下させるが、他の GLU に匹敵する性能を持つ。
双線型テンソルを相互作用する固有ベクトルの集合に分解する手法を開発する。
論文 参考訳（メタデータ） (2024-06-06T10:46:51Z) - On the Origins of Linear Representations in Large Language Models [51.88404605700344]
我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。
実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。
また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
論文 参考訳（メタデータ） (2024-03-06T17:17:36Z) - SLEM: Machine Learning for Path Modeling and Causal Inference with Super
Learner Equation Modeling [3.988614978933934]
因果推論は科学の重要な目標であり、研究者は観測データを使って意味のある結論に達することができる。
経路モデル、構造方程式モデル(SEM)および指向非巡回グラフ(DAG)は、現象の根底にある因果構造に関する仮定を明確に特定する手段を提供する。
本稿では,機械学習のスーパーラーナーアンサンブルを統合したパスモデリング手法であるSuper Learner Equation Modelingを提案する。
論文 参考訳（メタデータ） (2023-08-08T16:04:42Z) - Estimation of Bivariate Structural Causal Models by Variational Gaussian
Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
因果機構は構造因果モデルによって記述できる。
最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
論文 参考訳（メタデータ） (2021-09-06T14:52:58Z) - Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。
我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
論文 参考訳（メタデータ） (2021-03-02T06:59:52Z) - Disentangling Observed Causal Effects from Latent Confounders using
Method of Moments [67.27068846108047]
我々は、軽度の仮定の下で、識別性と学習可能性に関する保証を提供する。
我々は,線形制約付き結合テンソル分解に基づく効率的なアルゴリズムを開発し,スケーラブルで保証可能な解を得る。
論文 参考訳（メタデータ） (2021-01-17T07:48:45Z) - LowFER: Low-rank Bilinear Pooling for Link Prediction [4.110108749051657]
本稿では,多モーダル学習においてよく用いられる因子化双線形プールモデルを提案する。
我々のモデルは、他のモデルを一般化することが示されている分解タッカーベースのタッカーモデルを自然に一般化する。
実世界のデータセット、パー・オブ・ザ・アーティファクトのパフォーマンスについて評価する。
論文 参考訳（メタデータ） (2020-08-25T07:33:52Z) - Non-parametric Models for Non-negative Functions [48.7576911714538]
同じ良い線形モデルから非負関数に対する最初のモデルを提供する。
我々は、それが表現定理を認め、凸問題に対する効率的な二重定式化を提供することを証明した。
論文 参考訳（メタデータ） (2020-07-08T07:17:28Z) - ICE-BeeM: Identifiable Conditional Energy-Based Deep Models Based on
Nonlinear ICA [11.919315372249802]
確率モデルの同定可能性理論を考察する。
我々は,独立に修飾されたコンポーネント分析の枠組みにおけるコンポーネントの推定に,我々のモデルを利用できることを示す。
論文 参考訳（メタデータ） (2020-02-26T14:43:30Z) - Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。
そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。
画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
論文 参考訳（メタデータ） (2020-02-18T17:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。