論文の概要: Automatically Finding and Validating Unexpected Side-Effects of Interventions on Language Models

• arxiv url: http://arxiv.org/abs/2605.05090v1
• Date: Wed, 06 May 2026 16:27:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.929984
• Title: Automatically Finding and Validating Unexpected Side-Effects of Interventions on Language Models
• Title（参考訳）: 言語モデルに対する介入の意図しない副作用の自動検出と検証
• Abstract要約: 本研究では,大規模言語モデルに対する介入の行動的影響を評価するための,自動化されたコントラスト評価パイプラインを提案する。 我々は, 既知の行動変化を注入することにより, 合成条件下でのアプローチを評価し, パイプラインがそれらを確実に回復することを示す。 全体として、パイプラインは、介入によって引き起こされるモデル行動の変化のホック後の監査のための統計的に根拠付き、解釈可能なツールを提供する。
• 参考スコア（独自算出の注目度）: 0.9099663022952497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present an automated, contrastive evaluation pipeline for auditing the behavioral impact of interventions on large language models. Given a base model $M_1$ and an intervention model $M_2$, our method compares their free-form, multi-token generations across aligned prompt contexts and produces human-readable, statistically validated natural-language hypotheses describing how the models differ, along with recurring themes that summarize patterns across validated hypotheses. We evaluate the approach in synthetic setting by injecting known behavioral changes and showing that the pipeline reliably recovers them. We then apply it to three real-world interventions, reasoning distillation, knowledge editing and unlearning, demonstrating that the method surfaces both intended and unexpected behavioral shifts, distinguishes large from subtle interventions, and does not hallucinate differences when effects are absent or misaligned with the prompt bank. Overall, the pipeline provides a statistically grounded and interpretable tool for post-hoc auditing of intervention-induced changes in model behavior.
• Abstract（参考訳）: 本研究では,大規模言語モデルに対する介入の行動的影響を評価するための,自動化されたコントラスト評価パイプラインを提案する。 基本モデルが$M_1$と介入モデルが$M_2$と与えられた場合、提案手法は、アライメントされたプロンプトコンテキストにまたがる、自由形式のマルチトークン世代を比較し、そのモデルがどのように異なるかを記述する人間可読で統計的に検証された自然言語仮説と、検証された仮説にまたがってパターンを要約する反復的なテーマを生成する。 我々は, 既知の行動変化を注入することにより, 合成条件下でのアプローチを評価し, パイプラインがそれらを確実に回復することを示す。 次に, 蒸留, 知識編集, 未学習の3つの実世界の介入に適用し, 提案手法が意図的かつ予期せぬ行動変化を呈示し, 微妙な介入と大きく区別し, 効果が欠如したり, 即時銀行と不一致であったりした場合の相違を幻覚しないことを示す。 全体として、パイプラインは、介入によって引き起こされるモデル行動の変化のホック後の監査のための統計的に根拠付き、解釈可能なツールを提供する。

関連論文リスト

• Reading Cognition as Decisions Unfold in Words: A Factorized Inverse Decision Model [67.84198127797005]
  逆決定モデリングは、観察された行動から決定過程の潜伏特性を推定する。 本稿では、各個人のタスク実行可能性を行動要因と努力要因に分解する因子化逆決定モデル(FIDM)を提案する。
  論文  参考訳（メタデータ） (2026-08-10T07:46:13Z)
• Internal Causal Mechanisms Robustly Predict Language Model Out-of-Distribution Behaviors [61.92704516732144]
  正当性予測の最も堅牢な特徴は、モデルの振舞いに特徴的な因果的役割を果たすものであることを示す。 モデル出力の正しさを予測するために因果メカニズムを利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2025-05-17T00:31:39Z)
• ACTIVA: Amortized Causal Effect Estimation via Transformer-based Variational Autoencoder [7.987204219322316]
  本稿では,アモータライズされた因果推論のための条件付き変分自動エンコーダアーキテクチャであるACTIVAを提案する。 ACTIVAは、観測入力と介入クエリに条件づけられた潜伏表現を学習し、ゼロショット推論を可能にする。 我々は、ACTIVAが観察的に等価な因果モデルよりも混合として介入分布を予測することを示す理論的洞察を提供する。
  論文  参考訳（メタデータ） (2025-03-03T08:28:25Z)
• Gumbel Counterfactual Generation From Language Models [64.55296662926919]
  対実的推論が介入と概念的に異なることを示す。 そこで本研究では,真の文字列反事実を生成するためのフレームワークを提案する。 提案手法は,従来の介入手法が望ましくない副作用を有意に生み出しているのに対し,本手法は有意義な反事実を生じさせることを示す。
  論文  参考訳（メタデータ） (2024-11-11T17:57:30Z)
• Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models [16.328341121232484]
  文脈介入の効果を測定するために因果効果推定手法を適用した。 本研究はトランスフォーマーの無関係な変化に対する堅牢性と影響の高い変化に対する感受性について検討する。
  論文  参考訳（メタデータ） (2024-04-03T10:22:35Z)
• Representation Surgery: Theory and Practice of Affine Steering [72.61363182652853]
  言語モデルは、しばしば好ましくない振る舞いを示す。 モデルが望ましくない振る舞いを示すのを防ぐための自然な(そして一般的な)アプローチの1つは、モデルの表現を操ることである。 本稿では, ステアリング機能の形式的および経験的特性について検討する。
  論文  参考訳（メタデータ） (2024-02-15T00:20:30Z)
• Semantic Sensitivities and Inconsistent Predictions: Measuring the Fragility of NLI Models [44.56781176879151]
  State-of-the-art Natural Language Inference (NLI)モデルは、表面形状の変化を保存するマイナーセマンティクスに敏感である。 セマンティックな感度は、平均$textbfin-$と$textbfout-of-$ドメイン設定よりも平均$12.92%と$23.71%のパフォーマンス劣化を引き起こす。
  論文  参考訳（メタデータ） (2024-01-25T14:47:05Z)
• Analyzing Semantic Faithfulness of Language Models via Input Intervention on Question Answering [4.799822253865053]
  本研究では,意味的忠実性の概念を定式化し,テキストの意味的内容が質問応答におけるモデルの推論を因果的に判断する。 削除介入と否定介入という2つのセマンティック介入を実行すると、トランスフォーマーモデルは意味的に忠実でないことが示される。 本稿では,削除介入に対する望ましくない効果を,かなりのマージンで軽減できる介入ベーストレーニング体制を提案する。
  論文  参考訳（メタデータ） (2022-12-21T00:00:01Z)
• Differentiable Causal Discovery Under Latent Interventions [3.867363075280544]
  最近の研究は、介入した変数が未知であっても、勾配に基づく手法による介入データを活用することにより因果発見の有望な結果を示している。 複数の介入分布と1つの観察分布からサンプリングされた広範囲なデータセットを用いたシナリオを想定するが、どの分布がそれぞれのサンプルに由来するのか、どのように介入がシステムに影響を及ぼすのかはわからない。 本稿では、ニューラルネットワークと変分推論に基づいて、無限混合物間の共用因果グラフを学習することで、このシナリオに対処する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-04T14:21:28Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。