論文の概要: Quantifying perturbation impacts for large language models

• arxiv url: http://arxiv.org/abs/2412.00868v1
• Date: Sun, 01 Dec 2024 16:13:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:51:22.027107
• Title: Quantifying perturbation impacts for large language models
• Title（参考訳）: 大規模言語モデルにおける摂動の影響の定量化
• Authors: Paulius Rauba, Qiyao Wei, Mihaela van der Schaar,
• Abstract要約: 本稿では、頻繁な仮説テスト問題として摂動解析を再構成するフレームワークDBPAを紹介する。 摂動影響評価におけるDBPAの有効性を示すとともに,摂動解析の汎用性を示す。
• 参考スコア（独自算出の注目度）: 49.1574468325115
• License:
• Abstract: We consider the problem of quantifying how an input perturbation impacts the outputs of large language models (LLMs), a fundamental task for model reliability and post-hoc interpretability. A key obstacle in this domain is disentangling the meaningful changes in model responses from the intrinsic stochasticity of LLM outputs. To overcome this, we introduce Distribution-Based Perturbation Analysis (DBPA), a framework that reformulates LLM perturbation analysis as a frequentist hypothesis testing problem. DBPA constructs empirical null and alternative output distributions within a low-dimensional semantic similarity space via Monte Carlo sampling. Comparisons of Monte Carlo estimates in the reduced dimensionality space enables tractable frequentist inference without relying on restrictive distributional assumptions. The framework is model-agnostic, supports the evaluation of arbitrary input perturbations on any black-box LLM, yields interpretable p-values, supports multiple perturbation testing via controlled error rates, and provides scalar effect sizes for any chosen similarity or distance metric. We demonstrate the effectiveness of DBPA in evaluating perturbation impacts, showing its versatility for perturbation analysis.
• Abstract（参考訳）: 本稿では,入力摂動が大規模言語モデル(LLM)の出力に与える影響を定量化する問題を考える。 この領域における重要な障害は、LLM出力の内在的確率性からモデル応答の有意な変化を解消することである。 そこで我々は, LLM摂動解析を頻繁な仮説テスト問題として再検討するDBPA(Distributed-Based Perturbation Analysis)を導入する。 DBPAはモンテカルロサンプリングを通して低次元意味的類似性空間内に経験的ヌルおよび代替出力分布を構成する。 還元次元空間におけるモンテカルロ推定の比較は、限定的な分布仮定に頼ることなく、抽出可能な頻繁な推論を可能にする。 このフレームワークはモデルに依存しず、任意の入力摂動の評価をブラックボックス LLM 上でサポートし、解釈可能な p-値を出力し、制御された誤差率による複数の摂動テストをサポートし、選択された類似度や距離メトリックに対するスカラー効果サイズを提供する。 摂動影響評価におけるDBPAの有効性を示すとともに,摂動解析の汎用性を示す。

関連論文リスト

• Ensemble based approach to quantifying uncertainty of LLM based classifications [1.6231286831423648]
  モデルを微調整すると、語彙入力のバリエーションに対するモデル出力の感度が低下する。 予測クラスの確実性を推定する確率的手法を提案する。
  論文  参考訳（メタデータ） (2025-02-12T18:42:42Z)
• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
  パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。 パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。 本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
  論文  参考訳（メタデータ） (2025-02-01T18:09:49Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Quantile-constrained Wasserstein projections for robust interpretability of numerical and machine learning models [18.771531343438227]
  ブラックボックスモデルの研究は、しばしば入力に課される確率構造を含む感度分析に基づいている。 我々の研究は、両方のパラダイムに関連性があり使いやすいツールを提供することで、UQとMLの解釈可能性アプローチを統合することを目的としています。
  論文  参考訳（メタデータ） (2022-09-23T11:58:03Z)
• Robust Output Analysis with Monte-Carlo Methodology [0.0]
  シミュレーションや機械学習を用いた予測モデリングでは,推定値の品質を正確に評価することが重要である。 モンテカルロサンプリングのレンズによるシミュレーションと機械学習の出力の統一的な出力分析フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-27T16:21:59Z)
• A variational inference framework for inverse problems [0.39373541926236766]
  変分ベイズ近似を用いて逆問題モデルに適合するフレームワークを提示する。 この方法論は、幅広いアプリケーションに対する統計モデル仕様への柔軟性を保証する。 バイオメディカルな問題に動機づけられた画像処理アプリケーションとシミュレーションエクササイズは、変分ベイズによって提供される計算上の利点を明らかにする。
  論文  参考訳（メタデータ） (2021-03-10T07:37:20Z)
• Latent Causal Invariant Model [128.7508609492542]
  現在の教師付き学習は、データ適合プロセス中に急激な相関を学習することができる。 因果予測を求める潜在因果不変モデル(LaCIM)を提案する。
  論文  参考訳（メタデータ） (2020-11-04T10:00:27Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。