論文の概要: Quantifying perturbation impacts for large language models

• arxiv url: http://arxiv.org/abs/2412.00868v1
• Date: Sun, 01 Dec 2024 16:13:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:51:22.027107
• Title: Quantifying perturbation impacts for large language models
• Title（参考訳）: 大規模言語モデルにおける摂動の影響の定量化
• Authors: Paulius Rauba, Qiyao Wei, Mihaela van der Schaar,
• Abstract要約: 本稿では、頻繁な仮説テスト問題として摂動解析を再構成するフレームワークDBPAを紹介する。 摂動影響評価におけるDBPAの有効性を示すとともに,摂動解析の汎用性を示す。
• 参考スコア（独自算出の注目度）: 49.1574468325115
• License:
• Abstract: We consider the problem of quantifying how an input perturbation impacts the outputs of large language models (LLMs), a fundamental task for model reliability and post-hoc interpretability. A key obstacle in this domain is disentangling the meaningful changes in model responses from the intrinsic stochasticity of LLM outputs. To overcome this, we introduce Distribution-Based Perturbation Analysis (DBPA), a framework that reformulates LLM perturbation analysis as a frequentist hypothesis testing problem. DBPA constructs empirical null and alternative output distributions within a low-dimensional semantic similarity space via Monte Carlo sampling. Comparisons of Monte Carlo estimates in the reduced dimensionality space enables tractable frequentist inference without relying on restrictive distributional assumptions. The framework is model-agnostic, supports the evaluation of arbitrary input perturbations on any black-box LLM, yields interpretable p-values, supports multiple perturbation testing via controlled error rates, and provides scalar effect sizes for any chosen similarity or distance metric. We demonstrate the effectiveness of DBPA in evaluating perturbation impacts, showing its versatility for perturbation analysis.
• Abstract（参考訳）: 本稿では,入力摂動が大規模言語モデル(LLM)の出力に与える影響を定量化する問題を考える。 この領域における重要な障害は、LLM出力の内在的確率性からモデル応答の有意な変化を解消することである。 そこで我々は, LLM摂動解析を頻繁な仮説テスト問題として再検討するDBPA(Distributed-Based Perturbation Analysis)を導入する。 DBPAはモンテカルロサンプリングを通して低次元意味的類似性空間内に経験的ヌルおよび代替出力分布を構成する。 還元次元空間におけるモンテカルロ推定の比較は、限定的な分布仮定に頼ることなく、抽出可能な頻繁な推論を可能にする。 このフレームワークはモデルに依存しず、任意の入力摂動の評価をブラックボックス LLM 上でサポートし、解釈可能な p-値を出力し、制御された誤差率による複数の摂動テストをサポートし、選択された類似度や距離メトリックに対するスカラー効果サイズを提供する。 摂動影響評価におけるDBPAの有効性を示すとともに,摂動解析の汎用性を示す。

関連論文リスト

• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Quantile-constrained Wasserstein projections for robust interpretability of numerical and machine learning models [18.771531343438227]
  ブラックボックスモデルの研究は、しばしば入力に課される確率構造を含む感度分析に基づいている。 我々の研究は、両方のパラダイムに関連性があり使いやすいツールを提供することで、UQとMLの解釈可能性アプローチを統合することを目的としています。
  論文  参考訳（メタデータ） (2022-09-23T11:58:03Z)
• Robust Output Analysis with Monte-Carlo Methodology [0.0]
  シミュレーションや機械学習を用いた予測モデリングでは,推定値の品質を正確に評価することが重要である。 モンテカルロサンプリングのレンズによるシミュレーションと機械学習の出力の統一的な出力分析フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-27T16:21:59Z)
• A hypothesis-driven method based on machine learning for neuroimaging data analysis [0.0]
  脳画像の空間パターンを識別するための機械学習アプローチは、特徴抽出と線形分類タスクに限定されている。 従来の一般線形モデル(GLM)の推定は,一変量分類タスクに関係していることを示す。 我々は, 線形支持ベクトル回帰(SVR-iGLM)から得られるパラメータに基づいて, GLMを用いた改良された統計的検定を導出する。 マルチサイトイニシアチブの実際のデータを用いて、提案されたMLEベースの推論は、統計的パワーと偽陽性の制御を示し、正規Gよりも優れている。
  論文  参考訳（メタデータ） (2022-02-09T11:13:02Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• A variational inference framework for inverse problems [0.39373541926236766]
  変分ベイズ近似を用いて逆問題モデルに適合するフレームワークを提示する。 この方法論は、幅広いアプリケーションに対する統計モデル仕様への柔軟性を保証する。 バイオメディカルな問題に動機づけられた画像処理アプリケーションとシミュレーションエクササイズは、変分ベイズによって提供される計算上の利点を明らかにする。
  論文  参考訳（メタデータ） (2021-03-10T07:37:20Z)
• Efficient Causal Inference from Combined Observational and Interventional Data through Causal Reductions [68.6505592770171]
  因果効果を推定する際の主な課題の1つである。 そこで本研究では,任意の数の高次元潜入共創者を置き換える新たな因果還元法を提案する。 パラメータ化縮小モデルを観測データと介入データから共同で推定する学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T14:29:07Z)
• Latent Causal Invariant Model [128.7508609492542]
  現在の教師付き学習は、データ適合プロセス中に急激な相関を学習することができる。 因果予測を求める潜在因果不変モデル(LaCIM)を提案する。
  論文  参考訳（メタデータ） (2020-11-04T10:00:27Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。