論文の概要: The Implicit Bias of Heterogeneity towards Invariance and Causality
- arxiv url: http://arxiv.org/abs/2403.01420v1
- Date: Sun, 3 Mar 2024 07:38:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 21:38:31.632501
- Title: The Implicit Bias of Heterogeneity towards Invariance and Causality
- Title(参考訳): 不変性と因果性に対する不均一性の暗黙のバイアス
- Authors: Yang Xu, Yihong Gu, Cong Fang
- Abstract要約: 回帰損失の変種を訓練した大規模言語モデル(LLM)は,ある程度の因果関係を明らかにすることができる。
これは「因果関係は因果関係ではない」という伝統的な知恵と伝統的な因果推論のパラダイムに反する。
本稿では,アソシエーション指向トレーニングによる因果関係の出現は,情報源データからのカップリング効果に起因していると主張している。
- 参考スコア(独自算出の注目度): 10.734620509375144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is observed empirically that the large language models (LLM), trained with
a variant of regression loss using numerous corpus from the Internet, can
unveil causal associations to some extent. This is contrary to the traditional
wisdom that ``association is not causation'' and the paradigm of traditional
causal inference in which prior causal knowledge should be carefully
incorporated into the design of methods. It is a mystery why causality, in a
higher layer of understanding, can emerge from the regression task that pursues
associations. In this paper, we claim the emergence of causality from
association-oriented training can be attributed to the coupling effects from
the heterogeneity of the source data, stochasticity of training algorithms, and
over-parameterization of the learning models. We illustrate such an intuition
using a simple but insightful model that learns invariance, a quasi-causality,
using regression loss. To be specific, we consider multi-environment low-rank
matrix sensing problems where the unknown r-rank ground-truth d*d matrices
diverge across the environments but contain a lower-rank invariant, causal
part. In this case, running pooled gradient descent will result in biased
solutions that only learn associations in general. We show that running
large-batch Stochastic Gradient Descent, whose each batch being linear
measurement samples randomly selected from a certain environment, can
successfully drive the solution towards the invariant, causal solution under
certain conditions. This step is related to the relatively strong heterogeneity
of the environments, the large step size and noises in the optimization
algorithm, and the over-parameterization of the model. In summary, we unveil
another implicit bias that is a result of the symbiosis between the
heterogeneity of data and modern algorithms, which is, to the best of our
knowledge, first in the literature.
- Abstract(参考訳): 大規模な言語モデル(LLM)は,インターネット上の多数のコーパスを用いて回帰損失の変種を訓練することにより,ある程度の因果関係を明らかにすることができる。
これは「連想は因果ではない」という従来の知恵や、先行する因果知識をメソッドの設計に慎重に組み込むべき伝統的な因果推論のパラダイムとは対照的である。
因果関係が、より高い理解層において、因果関係を追求する回帰タスクから現れる理由は、謎である。
本稿では,相関指向トレーニングからの因果関係の出現は,ソースデータの多様性,トレーニングアルゴリズムの確率性,学習モデルの過剰パラメータ化による結合効果に起因していると主張する。
このような直観を、回帰損失を用いて準因果性である不変性を学ぶ単純だが洞察力に富んだモデルを用いて示す。
具体的には、未知のr-ランク基底d*d行列が環境に分散するが、下位不変な因果部分を含むマルチ環境低ランクマトリクスセンシング問題を考える。
この場合、プールされた勾配降下は、一般に関連のみを学ぶバイアス付きソリューションをもたらす。
本研究では,ある環境からランダムに選択された線形測定サンプルである大規模確率勾配 Descent の実行が,ある条件下での不変因果解への解の駆動に成功していることを示す。
このステップは、環境の相対的に強い不均一性、最適化アルゴリズムにおける大きなステップサイズとノイズ、モデルの過剰パラメータ化に関連している。
要約すると、我々は、データの不均一性と現代のアルゴリズムの共生の結果である別の暗黙バイアスを、まず文献において、私たちの知識の最も良いところへと明らかにした。
関連論文リスト
- Learning a Gaussian Mixture for Sparsity Regularization in Inverse
Problems [2.375943263571389]
逆問題では、スパーシティ事前の組み込みは、解に対する正則化効果をもたらす。
本稿では,ガウスの混合として事前に定式化された確率的疎性について提案する。
我々は、このネットワークのパラメータを推定するために、教師なしのトレーニング戦略と教師なしのトレーニング戦略をそれぞれ導入した。
論文 参考訳(メタデータ) (2024-01-29T22:52:57Z) - Robust Distributed Learning: Tight Error Bounds and Breakdown Point
under Data Heterogeneity [11.2120847961379]
本稿では,より現実的な不均一性モデル,すなわち(G,B)-段階的な相似性について考察し,既存の理論よりも学習問題を扱えることを示す。
また、分散学習アルゴリズムの学習誤差に新たな低い境界があることも証明する。
論文 参考訳(メタデータ) (2023-09-24T09:29:28Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳(メタデータ) (2023-04-09T20:36:13Z) - Principled Knowledge Extrapolation with GANs [92.62635018136476]
我々は,知識外挿の新たな視点から,対実合成を研究する。
本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。
提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
論文 参考訳(メタデータ) (2022-05-21T08:39:42Z) - Estimation of Bivariate Structural Causal Models by Variational Gaussian
Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
因果機構は構造因果モデルによって記述できる。
最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
論文 参考訳(メタデータ) (2021-09-06T14:52:58Z) - Systematic Evaluation of Causal Discovery in Visual Model Based
Reinforcement Learning [76.00395335702572]
AIと因果関係の中心的な目標は、抽象表現と因果構造を共同で発見することである。
因果誘導を研究するための既存の環境は、複雑なタスク固有の因果グラフを持つため、この目的には適していない。
本研究の目的は,高次変数の学習表現と因果構造の研究を促進することである。
論文 参考訳(メタデータ) (2021-07-02T05:44:56Z) - Causal Discovery in Knowledge Graphs by Exploiting Asymmetric Properties
of Non-Gaussian Distributions [3.1981440103815717]
我々は、知識グラフで原因と影響の関係を発見できるハイブリッドアプローチを定義します。
提案手法は, 非ガウスモデルを用いて, 非実験行列の瞬時因果構造を求めることに基づく。
因果発見には2つのアルゴリズム、知識グラフの分解には1つのアルゴリズムを用いる。
論文 参考訳(メタデータ) (2021-06-02T09:33:05Z) - Disentangling Observed Causal Effects from Latent Confounders using
Method of Moments [67.27068846108047]
我々は、軽度の仮定の下で、識別性と学習可能性に関する保証を提供する。
我々は,線形制約付き結合テンソル分解に基づく効率的なアルゴリズムを開発し,スケーラブルで保証可能な解を得る。
論文 参考訳(メタデータ) (2021-01-17T07:48:45Z) - Understanding Double Descent Requires a Fine-Grained Bias-Variance
Decomposition [34.235007566913396]
ラベルに関連付けられた用語への分散の解釈可能で対称的な分解について述べる。
バイアスはネットワーク幅とともに単調に減少するが、分散項は非単調な振る舞いを示す。
我々はまた、著しく豊かな現象論も分析する。
論文 参考訳(メタデータ) (2020-11-04T21:04:02Z) - A Critical View of the Structural Causal Model [89.43277111586258]
相互作用を全く考慮せずに原因と効果を識別できることが示される。
本稿では,因果モデルの絡み合った構造を模倣する新たな逆行訓練法を提案する。
我々の多次元手法は, 合成および実世界の両方のデータセットにおいて, 文献的手法よりも優れている。
論文 参考訳(メタデータ) (2020-02-23T22:52:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。