論文の概要: Exploring Sparse Autoencoders in Text-Based Causal Confounding Adjustment

• arxiv url: http://arxiv.org/abs/2609.01322v1
• Date: Tue, 01 Sep 2026 14:40:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.771748
• Title: Exploring Sparse Autoencoders in Text-Based Causal Confounding Adjustment
• Title（参考訳）: テキストベース因果共役調整におけるスパースオートエンコーダの探索
• Authors: Mian Zhong, Katherine A. Keith, Anjalie Field,
• Abstract要約: 本研究では,条件付き独立テストを通じて最小限のSAE特徴を反復的に選択する因果調整パイプラインを提案する。 SAE表現は、二進的共同設立者による標準的な半合成評価において、代替表現よりも優れた調整を実現する。 また、より現実的な半合成評価を導入し、無観測の共同創設者としてマルチラベルデータを使用します。
• 参考スコア（独自算出の注目度）: 5.696801894034388
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many settings, studying causal questions based on text data requires adjusting for confounding information within texts. Yet there is a tradeoff in constructing text representations for adjustment: they must be sufficiently large and/or dense to preserve the confounding variables necessary for unbiased effect estimation, but sufficiently small and/or sparse to satisfy finite-sample overlap and yield low-variance estimates. To address this tradeoff, we turn to sparse autoencoders (SAEs), and propose a novel causal adjustment pipeline that iteratively selects a minimal set of SAE features via conditional independence tests. We find that SAE representations achieve better adjustments (lower bias and and higher coverage) than alternative representations in standard semi-synthetic evaluations with binary confounders, and their interpretability offers opportunities for falsification. We also introduce a more realistic semi-synthetic evaluation that uses multi-label data as the unobserved confounders and find off-the-shelf adjustment methods require increased investigation for these more complex settings. Code: https://github.com/mianzg/sae-text-confounder
• Abstract（参考訳）: 多くの設定において、テキストデータに基づく因果質問の学習には、テキスト内の情報共有の調整が必要である。 しかし、調整のためのテキスト表現の構築にはトレードオフがある:それらは、偏りのない効果推定に必要な境界変数を維持するのに十分な大きさおよび/または密度でなければならないが、有限サンプル重なりを満足し、低分散推定をもたらすのに十分小さく/またはスパースである。 このトレードオフに対処するため、我々はスパースオートエンコーダ(SAE)に目を向け、条件付き独立テストを通じて最小限のSAE機能を反復的に選択する新しい因果調整パイプラインを提案する。 SAE表現は、バイナリー共同設立者との標準的な半合成評価において、代替表現よりも優れた調整(より低いバイアスと高いカバレッジ)を達成し、それらの解釈性は、ファルシフィケーションの機会を提供する。 また、より現実的な半合成評価を導入し、マルチラベルデータを未観測の共著者として利用し、棚外の調整方法を見つけるには、これらのより複雑な設定に対する調査が不可欠である。 コード:https://github.com/mianzg/sae-text-confounder

関連論文リスト

• REAR: Test-time Preference Realignment through Reward Decomposition [68.09214603569744]
  本稿では,タスクを階層化問題としてモデル化する新しいフレームワークを提案する。 これら2つの報酬項の比率を選択的に再スケールするREAR(Realignment Reward)を導出する。 我々は,REARをトークンレベルのポリシログ確率の線形結合として定式化することができ,様々なTSアルゴリズムと容易に統合できることを示す。
  論文  参考訳（メタデータ） (2026-06-29T14:17:53Z)
• What Signals Really Matter for Misinformation Tasks? Evaluating Fake-News Detection and Virality Prediction under Real-World Constraints [0.08496348835248901]
  本稿では,偽ニュース検出とバイラル性予測という,オンライン誤報に関する2つの実践的課題について検討する。 テキストコンテンツだけでは偽ニュース検出の強力な差別化要因であることを示す。 本稿では,現場に現実的に影響を及ぼす評価設計や報告制約の影響について論じる。
  論文  参考訳（メタデータ） (2025-12-02T09:24:16Z)
• Beyond Frequency: Scoring-Driven Debiasing for Object Detection via Blueprint-Prompted Image Synthesis [97.37770785712475]
  オブジェクト検出のための世代ベースデバイアスフレームワークを提案する。 提案手法は,未表現オブジェクト群の性能ギャップを著しく狭める。
  論文  参考訳（メタデータ） (2025-10-21T02:19:12Z)
• DLaVA: Document Language and Vision Assistant for Answer Localization with Enhanced Interpretability and Trustworthiness [34.170341753045776]
  VQA (Document Visual Question Answering) は、テキストの検出、認識、空間的推論の堅牢な統合を要求する。 DLaVAは、マルチモーダル大言語モデル(MLLM)を利用して、ゼロショット応答のローカライゼーションを行う訓練不要パイプラインである。
  論文  参考訳（メタデータ） (2024-11-29T06:17:11Z)
• Analysing Zero-Shot Readability-Controlled Sentence Simplification [54.09069745799918]
  本研究では,異なる種類の文脈情報が,所望の可読性を持つ文を生成するモデルの能力に与える影響について検討する。 結果から,全ての試験されたモデルは,原文の制限や特徴のため,文の簡略化に苦慮していることがわかった。 実験では、RCTSに合わせたより良い自動評価指標の必要性も強調した。
  論文  参考訳（メタデータ） (2024-09-30T12:36:25Z)
• Detecting Errors through Ensembling Prompts (DEEP): An End-to-End LLM Framework for Detecting Factual Errors [11.07539342949602]
  本稿では,テキスト要約における事実誤り検出のためのエンドツーエンドフレームワークを提案する。 我々のフレームワークは、様々なLCMプロンプトを使用して、事実の矛盾を識別する。 我々は、アンサンブルされたモデルを校正し、テキストが実際に一貫した、あるいは幻覚のない、経験的に正確な確率を生成する。
  論文  参考訳（メタデータ） (2024-06-18T18:59:37Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)
• Information-Theoretic Probing with Minimum Description Length [74.29846942213445]
  我々は,最小記述長 (MDL) を持つ情報理論探索法である標準プローブの代替案を提案する。 MDL Probingでは、ラベルを予測するためのプローブのトレーニングが、データを効果的に送信するための教えとして再キャストされる。 これらの手法は結果に一致し、標準プローブよりも情報的かつ安定であることを示す。
  論文  参考訳（メタデータ） (2020-03-27T09:35:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。