論文の概要: Inference Time Causal Probing in LLMs

• arxiv url: http://arxiv.org/abs/2605.07631v1
• Date: Fri, 08 May 2026 11:59:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.025394
• Title: Inference Time Causal Probing in LLMs
• Title（参考訳）: LLMにおける推論時間因果探索
• Authors: Sadegh Khorasani, Saber Salehkaleybar, Negar Kiyavash, Matthias Grossglauser,
• Abstract要約: 因果探索において、介入は、プロパティが異なる値を取るように隠された状態を変更する。 隠れ状態を直接制御するプローブレス勾配法であるHidden-state Driven Margin Intervention (HDMI)を提案する。 HDMIはLGD契約コーパスやCausalGymベンチマークの従来の方法よりも信頼性が高い。
• 参考スコア（独自算出の注目度）: 26.69306706280534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Causal probing methods aim to test and control how internal representations influence the behavior of generative models. In causal probing, an intervention modifies hidden states so that a property takes on a different value. Most existing approaches define such interventions by training an auxiliary probe classifier, which ties the method to a specific task or model and risks misalignment with the model's predictive geometry. We propose Hidden-state Driven Margin Intervention (HDMI), a probe-free, gradient-based technique that directly steers hidden states using the model's native output. HDMI applies a margin objective that increases the probability of a target continuation while decreasing that of the source, without relying on probe classifiers. We further introduce a lookahead variant (LA-HDMI) for text editing that backpropagates through the softmax embeddings, modifying the current hidden state so that the likelihood of user-specified tokens increases in next token generations while preserving fluency. To evaluate interventions, we measure completeness (whether the targeted property changes as intended) and selectivity (whether unrelated properties are preserved), and report their harmonic mean as an overall measure of reliability. HDMI consistently achieves higher reliability than prior methods on the LGD agreement corpus and the CausalGym benchmark, across Meta-Llama-3-8B-Instruct, and Pythia-70M.
• Abstract（参考訳）: 因果探索法は、内部表現が生成モデルの振る舞いにどのように影響するかをテストし、制御することを目的としている。 因果探索において、介入は、プロパティが異なる値を取るように隠された状態を変更する。 既存のほとんどのアプローチは、特定のタスクやモデルにメソッドを結び付け、モデルの予測幾何と誤った調整を危険にさらす補助プローブ分類器を訓練することでそのような介入を定義する。 本研究では,Hidden-state Driven Margin Intervention (HDMI)を提案する。 HDMIは、プローブ分類器に頼ることなく、ソースの出力を減少させながら、ターゲット継続の確率を増加させるマージン目標を適用している。 さらに,テキスト編集のためのLearahead variant (LA-HDMI)を導入し,ソフトマックス埋め込みを通じてバックプロパゲーションを行い,ユーザの指定したトークンの確率が次のトークン世代で増加するように隠蔽状態を変更する。 介入を評価するため、対象のプロパティが意図したように変化するかどうか)と選択性(無関係なプロパティが保存されているかどうか)を計測し、そのハーモニック平均を信頼性の総合的な尺度として報告する。 HDMIはLGD契約コーパスやCausalGymベンチマークのMeta-Llama-3-8B-Instruct、Pythia-70Mよりも信頼性が高い。

関連論文リスト

• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Steering and Rectifying Latent Representation Manifolds in Frozen Multi-modal LLMs for Video Anomaly Detection [52.5174167737992]
  ビデオ異常検出(VAD)は、ビデオ内の異常事象を特定することを目的としている。 本稿では,MLLMに基づくVADを受動的に読み上げから内部表現を積極的に操り,修正するSteerVADを提案する。 本手法は、トレーニングデータの1%しか必要としないチューニングフリーアプローチにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-02-27T13:48:50Z)
• Forward Consistency Learning with Gated Context Aggregation for Video Anomaly Detection [17.79982215633934]
  ビデオ異常検出(VAD)は、リアルタイム監視システムにおける各種イベントの正常パターンからの偏差を測定することを目的としている。 既存のVAD手法の多くは、リソース制限されたエッジデバイスへの実現可能性を制限するため、極端な精度を追求するために大規模なモデルに依存している。 本稿では,Gatedコンテキストアグリゲーションを用いたフォワード整合学習を実現する軽量なVADモデルFoGAを紹介する。
  論文  参考訳（メタデータ） (2026-01-26T04:35:31Z)
• Sample Margin-Aware Recalibration of Temperature Scaling [20.87493013833571]
  近年のディープラーニングの進歩は予測精度を大幅に改善した。 現代のニューラルネットワークは体系的に過信され、安全クリティカルなシナリオに展開するリスクを生じさせる。 本稿では,上位2つのロジット間のマージンに基づいて,ロジットを正確にスケールする軽量でデータ効率の高いリカバリ手法を提案する。
  論文  参考訳（メタデータ） (2025-06-30T03:35:05Z)
• DECIDER: Leveraging Foundation Model Priors for Improved Model Failure Detection and Explanation [18.77296551727931]
  本稿では,大規模言語モデル (LLM) と視覚言語モデル (VLM) の先行情報を利用した画像モデルの故障検出手法であるDECIDERを提案する。 DECIDERは一貫して最先端の故障検出性能を達成し、マシューズ相関係数全体のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-08-01T07:08:11Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
  連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。 提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T15:34:52Z)
• Distributional Shift-Aware Off-Policy Interval Estimation: A Unified Error Quantification Framework [8.572441599469597]
  本研究では、無限水平マルコフ決定過程の文脈における高信頼オフ政治評価について検討する。 目的は、未知の行動ポリシーから事前に収集されたオフラインデータのみを用いて、対象の政策値に対する信頼区間(CI)を確立することである。 提案アルゴリズムは, 非線形関数近似設定においても, サンプル効率, 誤差ローバスト, 既知収束性を示す。
  論文  参考訳（メタデータ） (2023-09-23T06:35:44Z)
• MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
  クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。 本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
  論文  参考訳（メタデータ） (2023-02-09T12:06:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。