論文の概要: Enhancing Assessment of Self-Consistency in LLM Explanations using Perturbation Strength

• arxiv url: http://arxiv.org/abs/2609.30849v1
• Date: Fri, 25 Sep 2026 05:53:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.239368
• Title: Enhancing Assessment of Self-Consistency in LLM Explanations using Perturbation Strength
• Title（参考訳）: 摂動強度を用いたLLM説明における自己整合性の評価
• Abstract要約: 本研究では,入力およびCoTの摂動における摂動強度を測定するLLM-as-a-judge手法を提案する。 次に, 制御強度条件下での各種LDMの自己整合性の評価を行った。
• 参考スコア（独自算出の注目度）: 21.952684055898203
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prior work has examined the self-consistency of LLM-generated explanations using surface-level perturbation methods. However, the strength of these perturbations is not explicitly measured and controlled. In this work, we propose an LLM-as-a-judge approach to measure perturbation strength in a unified manner across input and CoT perturbations. We then evaluate the self-consistency in explanations generated from various LLMs under controlled strength conditions, ensuring a fair comparison across perturbation types. Experiments show that our proposed LLM-based perturbation strength measure outperforms other embedding- and probability-based approaches and that input perturbations generally affect LLMs more strongly than CoT perturbations. Our work suggests that judgments about a model's self-consistency is fair only within the same perturbation type.
• Abstract（参考訳）: これまで, 表面摂動法によるLCM生成説明の自己整合性について検討してきた。 しかし、これらの摂動の強さは明示的に測定・制御されていない。 本研究では,LLM-as-a-judge法を用いて入力とCoTの摂動を統一的に計測する手法を提案する。 次に、制御強度条件下で様々なLDMから生じる説明において自己整合性を評価し、摂動型間での公正な比較を確実にする。 実験により,提案したLLMに基づく摂動強度測定は,他の埋め込み型および確率型アプローチよりも優れており,入力摂動は一般にCoT摂動よりも強いLLMに影響を与えることが示された。 我々の研究は、モデルの自己整合性に関する判断は、同じ摂動タイプ内でのみ公平であることを示している。

関連論文リスト

• From Inference to Adaptation: A Unified Optimal Transport View of Vision Language Model [81.67708143891319]
  視覚言語モデル (VLM) は, 実世界の分布変化に敏感でありながら, 目覚ましいゼロショット能力を示した。 本稿では、VLMの推論と適応の目的を橋渡しし、algnameと呼ばれる原則付きVLM TTA手法を提案する。 実験により,本手法の有効性と効率を実証し,最先端の手法を最大7%,最先端の手法を最大7%上回る結果を得た。
  論文  参考訳（メタデータ） (2026-08-18T21:44:32Z)
• On the Ability of LLMs to Handle Character-Level Perturbations: How Well and How? [22.185338324021117]
  本研究は, 文字レベルの頻繁な摂動に対する現代LLMの弾力性について検討する。 UCC-Injは、見えないUnicode制御文字をテキストに挿入し、LCMの誤用を防ぐ実用的な方法である。 トークン化を断片化し、信号と雑音の比を著しく下げる強い難読化にもかかわらず、多くのLLMは依然として顕著な性能を維持している。
  論文  参考訳（メタデータ） (2025-10-16T06:59:58Z)
• Enhancing LLM Robustness to Perturbed Instructions: An Empirical Study [8.827173113748701]
  ダウンストリーム性能を著しく低下させるタスク特化命令の文字・単語レベルの編集について検討した。 平均的に、自己否定は、代替戦略よりも大幅に高いパフォーマンス向上を達成することが分かっています。
  論文  参考訳（メタデータ） (2025-04-03T16:17:56Z)
• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• Quantifying perturbation impacts for large language models [49.1574468325115]
  本稿では、頻繁な仮説テスト問題として摂動解析を再構成するフレームワークDBPAを紹介する。 摂動影響評価におけるDBPAの有効性を示すとともに,摂動解析の汎用性を示す。
  論文  参考訳（メタデータ） (2024-12-01T16:13:09Z)
• Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
  本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。 提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:38:58Z)
• Unlocking the Power of LLM Uncertainty for Active In-Context Example Selection [6.813733517894384]
  Uncertainty Tripartite Testing Paradigm (Unc-TTP)は、LLM(Large Language Models)を分類する新しい手法である。 Unc-TTPは、異なるラベル注入干渉下で3ラウンドのサンプリングを行い、全ての可能な結果を列挙する。 本実験は,Unc-TTPを用いて選択した不確実性例が確実性例よりも有益であることを示す。
  論文  参考訳（メタデータ） (2024-08-17T11:33:23Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。