論文の概要: Decision Potential Surface: A Theoretical and Practical Approximation of LLM's Decision Boundary

• arxiv url: http://arxiv.org/abs/2510.03271v1
• Date: Sat, 27 Sep 2025 07:42:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:58.629215
• Title: Decision Potential Surface: A Theoretical and Practical Approximation of LLM's Decision Boundary
• Title（参考訳）: 決定ポテンシャル表面:LLMの決定境界の理論的および実践的近似
• Authors: Zi Liang, Zhiyao Wu, Haoyang Shang, Yulin Jin, Qingqing Ye, Huadi Zheng, Peizhao Hu, Haibo Hu,
• Abstract要約: 決定境界(Decision boundary)は、機械学習モデルが2つのクラスに等しい分類確率を割り当てる入力のサブ空間であり、コアモデルの性質を明らかにし、振る舞いを解釈する上で重要である。 近年,大規模言語モデル (LLM) の決定境界を解析する手法が注目されているが,LLM を主流として構築することは計算的に不可能である。 LLM決定境界を解析するための新しい概念であるDPS(Decision Potential Surface)を提案する。
• 参考スコア（独自算出の注目度）: 13.727331382687256
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Decision boundary, the subspace of inputs where a machine learning model assigns equal classification probabilities to two classes, is pivotal in revealing core model properties and interpreting behaviors. While analyzing the decision boundary of large language models (LLMs) has raised increasing attention recently, constructing it for mainstream LLMs remains computationally infeasible due to the enormous vocabulary-sequence sizes and the auto-regressive nature of LLMs. To address this issue, in this paper we propose Decision Potential Surface (DPS), a new notion for analyzing LLM decision boundary. DPS is defined on the confidences in distinguishing different sampling sequences for each input, which naturally captures the potential of decision boundary. We prove that the zero-height isohypse in DPS is equivalent to the decision boundary of an LLM, with enclosed regions representing decision regions. By leveraging DPS, for the first time in the literature, we propose an approximate decision boundary construction algorithm, namely $K$-DPS, which only requires K-finite times of sequence sampling to approximate an LLM's decision boundary with negligible error. We theoretically derive the upper bounds for the absolute error, expected error, and the error concentration between K-DPS and the ideal DPS, demonstrating that such errors can be trade-off with sampling times. Our results are empirically validated by extensive experiments across various LLMs and corpora.
• Abstract（参考訳）: 決定境界(Decision boundary)は、機械学習モデルが2つのクラスに等しい分類確率を割り当てる入力のサブ空間であり、コアモデルの性質を明らかにし、振る舞いを解釈する上で重要である。 大規模言語モデル (LLM) の決定境界の解析は近年注目されているが,LLM の膨大な語彙列サイズと自己回帰的性質のため,LLM を主流の LLM に対して構築することは計算的に不可能なままである。 本稿では, LLM決定境界を解析するための新しい概念であるDPS(Decision Potential Surface)を提案する。 DPSは、各入力に対して異なるサンプリングシーケンスを区別する信頼性に基づいて定義され、決定境界のポテンシャルを自然に捉えている。 DPS のゼロハイトは LLM の決定境界と等価であり,領域は決定領域を表す。 DPSを文献で初めて活用することにより、LLMの決定境界を無視可能な誤差で近似するために、K$-DPSという近似決定境界構築アルゴリズムを提案する。 我々は,絶対誤差,期待誤差,K-DPSと理想DPSの誤差濃度の上限を理論的に導出し,サンプリング時間とともにそのような誤差がトレードオフ可能であることを示す。 本研究は, 各種LLMおよびコーパスの広範囲な実験により実証的に検証した。

関連論文リスト

• WakenLLM: Evaluating Reasoning Potential and Stability in LLMs via Fine-Grained Benchmarking [14.76224690767612]
  大規模言語モデル(LLM)は、推論タスクにおいて未知のラベルを頻繁に出力する。 我々は、モデル非能力に起因する未知の出力の一部を定量化するフレームワーク、WakenLLMを紹介した。
  論文  参考訳（メタデータ） (2025-07-22T03:21:48Z)
• When can isotropy help adapt LLMs' next word prediction to numerical domains? [53.98633183204453]
  文脈埋め込み空間におけるLLM埋め込みの等方性は表現の基盤構造を保存することが示されている。 実験により、数値データとモデルアーキテクチャの異なる特性が等方性に異なる影響があることが示されている。
  論文  参考訳（メタデータ） (2025-05-22T05:10:34Z)
• Uncertainty Quantification in Large Language Models Through Convex Hull Analysis [0.36832029288386137]
  本研究では凸船体解析を用いた不確実性定量化のための新しい幾何学的手法を提案する。 提案手法は, 応答埋め込みの空間特性を利用して, モデル出力の分散と可変性を計測する。
  論文  参考訳（メタデータ） (2024-06-28T07:47:34Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• Upper Confidence Primal-Dual Reinforcement Learning for CMDP with Adversarial Loss [145.54544979467872]
  マルコフ決定過程(CMDP)に対するオンライン学習の検討 本稿では,遷移モデルから標本化した軌跡のみを必要とする,新しいEmphupper confidence primal-dualアルゴリズムを提案する。 我々の分析では、ラグランジュ乗算過程の新たな高確率ドリフト解析を、高信頼強化学習の記念後悔解析に組み入れている。
  論文  参考訳（メタデータ） (2020-03-02T05:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。