論文の概要: The Query Channel: Information-Theoretic Limits of Masking-Based Explanations

• arxiv url: http://arxiv.org/abs/2604.16689v1
• Date: Fri, 17 Apr 2026 20:46:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 14:04:47.805571
• Title: The Query Channel: Information-Theoretic Limits of Masking-Based Explanations
• Title（参考訳）: 問合せチャンネル:マスキングに基づく説明の情報理論的限界
• Authors: Erciyes Karakaya, Ozgur Ercetin,
• Abstract要約: KernelSHAPやLIMEのようなマスキングに基づくポストホックな説明手法は、ブラックボックスモデルに問い合わせることで、局所的な特徴の重要性を推定する。 本稿では、この手順をクエリチャネル上の通信として定式化し、遅延説明がメッセージとして振る舞う。
• 参考スコア（独自算出の注目度）: 0.17188280334580197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masking-based post-hoc explanation methods, such as KernelSHAP and LIME, estimate local feature importance by querying a black-box model under randomized perturbations. This paper formulates this procedure as communication over a query channel, where the latent explanation acts as a message and each masked evaluation is a channel use. Within this framework, the complexity of the explanation is captured by the entropy of the hypothesis class, while the query interface supplies information at a rate determined by an identification capacity per query. We derive a strong converse showing that, if the explanation rate exceeds this capacity, the probability of exact recovery necessarily converges to one in error for any sequence of explainers and decoders. We also prove an achievability result establishing that a sparse maximum-likelihood decoder attains reliable recovery when the rate lies below capacity. A Monte Carlo estimator of mutual information yields a non-asymptotic query benchmark that we use to compare optimal decoding with Lasso- and OLS-based procedures that mirror LIME and KernelSHAP. Experiments reveal a range of query budgets where information theory permits reliable explanations but standard convex surrogates still fail. Finally, we interpret super-pixel resolution and tokenization for neural language models as a source-coding choice that sets the entropy of the explanation and show how Gaussian noise and nonlinear curvature degrade the query channel, induce waterfall and error-floor behavior, and render high-resolution explanations unattainable.
• Abstract（参考訳）: KernelSHAPやLIMEのようなマスキングに基づくポストホックな説明手法は、ランダムな摂動下でブラックボックスモデルをクエリすることで局所的な特徴を推定する。 本稿では、この手順をクエリチャネル上の通信として定式化し、潜時説明がメッセージとして機能し、各マスキング評価がチャネル利用である。 このフレームワーク内では、説明の複雑さは仮説クラスのエントロピーによって捉えられ、クエリインターフェースはクエリ毎の識別能力によって決定されるレートで情報を提供する。 説明率がこの容量を超えると、正確に回復する確率は、説明器と復号器の任意の列に対して必ず1つに収束することを示す強い逆を導出する。 また,スパース最大形デコーダがキャパシティ以下で信頼性の高いリカバリを実現することを証明した。 相互情報のモンテカルロ推定器は、LIME と KernelSHAP を反映した Lasso および OLS に基づく最適復号法と比較するために使用する、漸近的でないクエリベンチマークを生成する。 実験では、情報理論が信頼性のある説明を許すが、標準凸サロゲートはまだ失敗する、クエリ予算の幅が明らかにされている。 最後に、ニューラルネットワークモデルの超画素分解とトークン化を、説明のエントロピーを規定するソースコード選択として解釈し、ガウスノイズと非線形曲率がクエリチャネルを分解し、ウォーターフォールとエラーフロアの振る舞いを誘発し、高分解能説明を達成できないことを示す。

関連論文リスト

• Rate-Distortion Analysis of Compressed Query Delegation with Low-Rank Riemannian Updates [0.5729426778193398]
  圧縮クエリデリゲート(CQD)について検討する。 CQDは、クエリ予算関数とノイズの多い演算子としてモデル化されたオラクルを備えた制約付きプログラムである。
  論文  参考訳（メタデータ） (2026-01-02T14:04:58Z)
• Topic Identification in LLM Input-Output Pairs through the Lens of Information Bottleneck [0.0]
  幾何学的クラスタリングのための決定論的情報ボトルネック(DIB)に基づく基本的トピック識別手法を開発した。 我々の重要な貢献は、DIB法を計算効率の良い上界を持つ難解なKL発散項に代えて、高次元データのための実用的なアルゴリズムに変換することである。
  論文  参考訳（メタデータ） (2025-08-26T20:00:51Z)
• Conformal Inference under High-Dimensional Covariate Shifts via Likelihood-Ratio Regularization [35.16750653336608]
  ピンボール損失を正規化の新たな選択と組み合わせた正準比正則化量子回帰アルゴリズムを提案する。 LR-QR法は,対象領域の所望レベルにおいて,最小限の誤差項までカバレッジを有することを示す。 実験により、LR-QRアルゴリズムは、高次元予測タスクにおいて既存の手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2025-02-18T16:46:44Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
  In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。 ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。 事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T21:23:47Z)
• Scalable Vector Gaussian Information Bottleneck [19.21005180893519]
  そこで我々は,エンコーダが観測の複数の記述を出力するスケーラブルな情報ボトルネックと呼ばれる問題の変動について検討する。 分布が不明な一般ソースに対する変分推論型アルゴリズムを導出し,ニューラルネットワークを用いてパラメータ化する方法を示す。
  論文  参考訳（メタデータ） (2021-02-15T12:51:26Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。