論文の概要: When Does Pre-Trained Capacity Help Causal Learning? From Scalar Prediction to Counterfactual Post-Training

• arxiv url: http://arxiv.org/abs/2610.33311v1
• Date: Fri, 23 Oct 2026 21:27:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.298462
• Title: When Does Pre-Trained Capacity Help Causal Learning? From Scalar Prediction to Counterfactual Post-Training
• Title（参考訳）: 事前学習能力は因果学習にいつ役立つか : スカラー予測から非現実的ポストトレーニングへ
• Abstract要約: 本稿では,Qwen 2.5ファミリ上に構築されたCausalLLMとCausalGenの2つのシステムについて検討する。 0.5B CausalLLMでは、物語入力により平均sqrt(PEHE)が1.842から1.780に減少する。 結果は、一般的なスケーリング法則や実証された因果メカニズムよりも、キャパシティ適応アライメントに関する仮説を支持する。
• 参考スコア（独自算出の注目度）: 22.124691919057312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How does pre-trained model capacity relate to performance after adaptation for causal tasks? We study two systems built on the Qwen 2.5 family: CausalLLM, which estimates scalar potential outcomes with treatment-specific heads, and CausalGen, which generates treatment-conditioned text or code using soft prefixes and factual supervised fine-tuning (SFT), counterfactual SFT, and preference alignment. Increasing backbone size from 0.5B to 1.5B yields mixed scalar-estimation results on IHDP, but improves CodeGen pass@1 from 0.267 to 0.575 and treatment-effect score from 0.231 to 0.515 after the complete generative pipeline. Within 0.5B CausalLLM, narrative inputs reduce mean sqrt(PEHE) from 1.842 to 1.780, a 3.4% improvement over tabular inputs; the 5.8% improvement over a no-LLM baseline combines changes in representation and input format. These descriptive comparisons motivate a distinction between available and convertible capacity. They do not isolate the contribution of post-training: the two systems differ in dataset, architecture, output modality, and supervision, and intermediate-stage evaluations are unavailable. With only two small backbones and three replications, the results support a hypothesis about capacity--adaptation alignment rather than a general scaling law or a demonstrated causal mechanism.
• Abstract（参考訳）: 因果的タスクへの適応後、事前訓練されたモデル容量はパフォーマンスにどのように関係するか? 本稿では,Qwen 2.5 ファミリー上に構築された2つのシステムについて検討する。カウサルLLM と,ソフトプレフィックスを用いた処理条件付きテキストやコードを生成する CausalGen と,ファクト教師あり微調整 (SFT) ,ファクトファクトファクトファクトファクトファクトファクトファクトタニング,および嗜好アライメントを推定する CausalLLM について検討する。 0.5Bから1.5Bまでの背骨サイズの増加は、IHDPに対して混合スカラー推定結果をもたらすが、CodeGen pass@1を0.267から0.575に改善し、完全な生成パイプラインの後に治療効果スコアを0.231から0.515に改善する。 0.5B CausalLLMでは、物語入力は平均sqrt(PEHE)を1.842から1.780に減らし、表型入力よりも3.4%改善した。 これらの記述的な比較は、利用可能なキャパシティと変換可能なキャパシティの区別を動機付けている。 2つのシステムはデータセット、アーキテクチャ、アウトプットモダリティ、監督において異なり、中間段階の評価は利用できない。 2つの小さなバックボーンと3つの複製だけで、結果は一般的なスケーリング法則や実証された因果メカニズムよりも、キャパシティ適応アライメントに関する仮説を支持する。

関連論文リスト

• Error Correction in Trained TTT Layers [0.0]
  テストタイムトレーニングレイヤは、入力シーケンスを処理しながらメモリを更新する。 我々は,TTT実装における予測に基づく更新の構造と実証的役割について検討した。
  論文  参考訳（メタデータ） (2026-10-12T06:48:31Z)
• AcrossVAM2.0: Conflict-Aware Point Supervision for Parameter-Efficient Video Diffusion Adaptation [7.12251554131085]
  ビデオジェネレータに適応するためには、明示的な点対応が魅力的である。 我々はこのテンションを5.01Bパラメータのテキスト・ビデオ拡散変換器で研究する。 ACROSSVAM2.0は、信頼性の高いトラック・アンド・ビジュアライゼーションヘッド、ゼロd残差フィードバック、非対称PCGradを組み合わせたものである。
  論文  参考訳（メタデータ） (2026-10-10T08:12:08Z)
• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• Evaluating Fine-Tuning and Metrics for Neural Decompilation of Dart AOT Binaries [0.0]
  神経脱コンパイルにおける微調整の有効性と妥当性に関する系統的研究を行った。 CodeBLEU, compile@k, pass@k の3つの指標を用いて, 3つの基本アーキテクチャにまたがる細かなモデル変異を評価した。 Swiftトレーニングからのクロスリンガル干渉は、4B(-2.66 pp, p)で非常に重要である(ただし8Bでゼロと統計的に区別できないが、スケーリング仮説と一致している)。
  論文  参考訳（メタデータ） (2026-07-07T10:36:12Z)
• Customer Churn Prediction on Structured Data Using FT-Transformer and Stacking Ensembles [0.0]
  本研究では,特徴量変換器(FT-Transformer)をキャリブレーション積み重ねによる勾配木と統合したハイブリッドアーキテクチャを提案する。 提案手法は, 統計的検証, 確率, キャリブレーションの持続的ギャップに対処し, 先行研究で確認された。 パブリックバンクチャーンデータセットでは、ハイブリッドモデル62.10% F1、0.861 AUC-ROC、0.647 PR-AUCがMulti-Layer Perceptron(MLP)ベースラインを3.37 F1ポイント、0.027 AUCを95%の信頼区間で上回っている。
  論文  参考訳（メタデータ） (2026-05-26T23:02:38Z)
• IPA: An Information-Preserving Input Projection Framework for Efficient Foundation Model Adaptation [56.72132739364876]
  隠れた空間の情報を明示的に保存する特徴認識型プロジェクションフレームワークであるIPAを提案する。 IPAはLoRAとDoRAを一貫して改善し、平均1.5ポイントの精度でコモンセンス推論を行う。
  論文  参考訳（メタデータ） (2025-09-04T17:10:01Z)
• A Generative Framework for Causal Estimation via Importance-Weighted Diffusion Distillation [55.53426007439564]
  観察データから個別化された治療効果を推定することは因果推論における中心的な課題である。 逆確率重み付け(IPW)は、この問題に対するよく確立された解決策であるが、現代のディープラーニングフレームワークへの統合は依然として限られている。 本稿では,拡散モデルの事前学習と重み付きスコア蒸留を組み合わせた新しい生成フレームワークであるIWDDを提案する。
  論文  参考訳（メタデータ） (2025-05-16T17:00:52Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Uncovering the Hidden Cost of Model Compression [43.62624133952414]
  視覚プロンプティングは、コンピュータビジョンにおける伝達学習の重要な方法として登場した。 モデル圧縮は視覚的プロンプトベース転送の性能に有害である。 しかし、量子化によってモデルが圧縮されるとき、キャリブレーションに対する負の効果は存在しない。
  論文  参考訳（メタデータ） (2023-08-29T01:47:49Z)
• Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers [57.931830650323]
  本稿では,事前学習および微調整型変圧器によるスケーリングの洞察について述べる。 モデルのサイズだけでなく、モデル形状が下流の微調整に重要であることを示す。 再設計したモデルにより、下流の微調整品質が向上する。
  論文  参考訳（メタデータ） (2021-09-22T12:29:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。