論文の概要: Small transformers track Bayesian evidence for latent common causes via a context-invariant mechanism

• arxiv url: http://arxiv.org/abs/2609.35161v1
• Date: Mon, 28 Sep 2026 13:36:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 16:29:04.779667
• Title: Small transformers track Bayesian evidence for latent common causes via a context-invariant mechanism
• Title（参考訳）: 小変圧器は文脈不変機構による潜在共通原因のベイズ的証拠を追跡する
• Abstract要約: 共起原因に関するベイズ的推論の形式が、小さくてトラクタブルな変換器において、コンテキスト横断的な一般化としてどのように現れるかについて、詳細な研究を行う。
• 参考スコア（独自算出の注目度）: 1.7188280334580195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present an in-depth investigation of how a form of Bayesian reasoning about common causes can emerge as a cross-contextual generalization in small, tractable transformers. Incrementing on recent work, our set-up (i) disentangles causal mechanisms in the model from the causal structure of the true data-generating process, (ii) orients more towards natural language prediction by considering inference of latent common causes, and (iii) considers whether and how Bayesian evidence accumulation for latent common causes can be implemented in representations and mechanisms that allow for cross-context generalization to novel test cases.
• Abstract（参考訳）: 共起原因に関するベイズ的推論の形式が、小さくてトラクタブルな変換器において、コンテキスト横断的な一般化としてどのように現れるかについて、詳細な研究を行う。 最近の仕事の積み重ね, セットアップ 一 真のデータ生成過程の因果構造からモデル内の因果機構を歪めること。 (二)遅れた共通原因の推測を考慮し、自然言語の予測を指向し、 (iii) ベイズ的証拠が潜在共通原因に対してどのように蓄積されるかは、新しいテストケースへのクロスコンテクストの一般化を可能にする表現やメカニズムに実装できるかどうかを考察する。

関連論文リスト

• Latent Causal Diffusions for Single-Cell Perturbation Modeling [83.47931153555321]
  測定ノイズ下で観察された定常拡散過程として単細胞遺伝子発現をフレーム化する生成モデルを提案する。 LCDはシングルセルRNAシークエンシングスクリーンにおいて、目に見えない摂動の組み合わせの分布変化を予測するために確立されたアプローチより優れていた。 我々は、摂動応答(CLIPR)を介して因果線形化と呼ばれるアプローチを開発し、全ての遺伝子間の直接的な因果効果を近似する。
  論文  参考訳（メタデータ） (2026-01-20T16:15:38Z)
• Generalization or Hallucination? Understanding Out-of-Context Reasoning in Transformers [80.70134000599391]
  我々は、両方の行動は、アウト・オブ・コンテクスト推論(OCR)として知られる単一のメカニズムに由来すると論じる。 OCRは、関連する概念が因果関係であるかによって、一般化と幻覚の両方を駆動する。 我々の研究は、OCR現象を理解するための理論的基盤を提供し、知識注入から望ましくない行動を分析し緩和するための新しいレンズを提供する。
  論文  参考訳（メタデータ） (2025-06-12T16:50:45Z)
• How do Transformers Learn Implicit Reasoning? [67.02072851088637]
  制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。 原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
  論文  参考訳（メタデータ） (2025-05-29T17:02:49Z)
• Causal Modeling in Multi-Context Systems: Distinguishing Multiple Context-Specific Causal Graphs which Account for Observational Support [12.738813972869528]
  複数のコンテキストからのデータによる因果構造学習は、機会と課題の両方をもたらす。 本稿では,文脈間の観察支援の違いが因果グラフの識別可能性に及ぼす影響について検討する。 構造因果モデルにおける文脈固有の独立性をモデル化する枠組みを提案する。
  論文  参考訳（メタデータ） (2024-10-27T10:34:58Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Learning Causally Disentangled Representations via the Principle of Independent Causal Mechanisms [17.074858228123706]
  本稿では、因果関係の観測ラベルによって教師される因果関係の非絡み合い表現を学習するための枠組みを提案する。 この枠組みは, 極めて不整合な因果関係を生じさせ, 介入の堅牢性を向上し, 反事実発生と相容れないことを示す。
  論文  参考訳（メタデータ） (2023-06-02T00:28:48Z)
• The Combinatorics of Causality [0.0]
  我々は「入力履歴の空間」の概念を導入し探求する。 最も単純な二項入力の場合、利用可能な「因果完全」空間の数は、2つの事象の7つから3つの事象の2644つに増加し、4つの事象の未知数(おそらく約10億個)になる。 言い換えると、非局所性と文脈性に関する以前の文献では、3つの事象に2644の可利用空間の1つを使用し、決定因果性の研究は19の空間を使用し、部分順序から導かれ、不定因果性の研究は25の合計で6つしか使われなかった。
  論文  参考訳（メタデータ） (2022-06-17T17:42:17Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• Case-Based Abductive Natural Language Inference [4.726777092009554]
  事例ベース帰納的自然言語推論(CB-ANLI) 事例ベース帰納的自然言語推論(CB-ANLI)
  論文  参考訳（メタデータ） (2020-09-30T09:50:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。