論文の概要: Can Perplexity Serve as a Cognitive Signal for Code Understandability?

• arxiv url: http://arxiv.org/abs/2608.00624v1
• Date: Sat, 01 Aug 2026 12:29:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.829334
• Title: Can Perplexity Serve as a Cognitive Signal for Code Understandability?
• Title（参考訳）: パープレキシティはコードの理解可能性の認知信号として生き残るか?
• Abstract要約: 最近の研究は、大規模言語モデルからのトークンレベルの複雑度が、コード理解中に局所的な人間の混乱と一致することを示唆している。 パープレキシティは、コード理解性のためのスニペットレベルの信号としても機能するのか? 我々は、複数の人為的なデータセットにまたがって、この問題の実証的研究を行う。
• 参考スコア（独自算出の注目度）: 13.163098563588727
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work suggests that token-level perplexity from large language models can align with localized human confusion during code comprehension. This raises a natural question: can perplexity also serve as a snippet-level signal for code understandability? We conduct an empirical study of this question across multiple human-grounded datasets, including method-level understandability judgments, output-prediction tasks, and accepted understandability-improvement patches. Despite prior token-level evidence, we find that simple snippet-level aggregations of token perplexity, such as average, median, or peak perplexity, do not reliably correlate with human understandability. We then investigate why this happens. First, token perplexity is highly skewed and heavy-tailed across code structures; extreme spikes arise not only from semantically meaningful constructs, but also from identifiers, literals, types, separators, and tokenization artifacts. Second, human understandability labels often lack consensus, making whole-snippet difficulty a noisy target. Third, perplexity distributions and their alignment with human difficulty vary substantially across models and tokenizers. These findings explain why prior token-level perplexity--confusion alignment does not directly transfer to snippet-level understandability. Overall, our study positions perplexity as a promising but delicate cognitive signal: useful for localized code confusion, but requiring code-aware aggregation, consensus-aware evaluation, and model-sensitivity analysis before it can support reliable code-understandability measurement.
• Abstract（参考訳）: 最近の研究は、大規模言語モデルからのトークンレベルの複雑度が、コード理解中に局所的な人間の混乱と一致することを示唆している。 パープレキシティは、コード理解性のためのスニペットレベルの信号としても機能するのか? 我々は,この問題を,メソッドレベルの可解性判定,出力予測タスク,理解可能性改善パッチなど,複数の人為的データセットにまたがる実証的研究を行った。 従来のトークンレベルの証拠にもかかわらず、平均、中央値、ピークパープレクティといった単純なスニペットレベルのトークンパープレクティリティは、人間の理解可能性と確実に相関しない。 そして、なぜこんなことが起こるのか調べる。 極端なスパイクは意味論的に意味のある構造だけでなく、識別子、リテラル、型、セパレータ、トークン化アーティファクトからも生じます。 第二に、人間の理解可能性ラベルはコンセンサスを欠いていることが多く、スニペット全体の難しさをノイズの多い目標にしている。 第3に、パープレキシティ分布とそのヒトの難易度との整合性は、モデルやトークン化剤によって大きく異なる。 これらの結果から,トークンレベルのコンフュージョンアライメントがスニペットレベルの理解可能性に直接移行しない理由が示唆された。 局所的なコードの混乱には有用だが,コード認識の集約,コンセンサス・アウェア評価,モデル感度分析が必要である。

関連論文リスト

• Xetrieval: Mechanistically Explaining Dense Retrieval [36.8058388046157]
  密集検索を説明するための埋め込み型力学フレームワークである textitXetrieval を提案する。 textitXetrievalはまず、埋め込み空間で直接Chain-of-Thought推論を近似する軽量な推論内在化器を導入する。 すると、これら推論の強化された埋め込みをスパースで人間の解釈可能な特徴に分解し、それぞれが一貫性のある自然言語記述と関連付けられている。
  論文  参考訳（メタデータ） (2026-05-28T07:29:58Z)
• XSearch: Explainable Code Search via Concept-to-Code Alignment [30.606443667402335]
  我々は、本質的に説明可能なコード検索フレームワークであるXSearchを提案する。 XSearchはクエリの関数概念を特定し、それに対応するコードステートメントを明示的に調整する。 我々は、明示的な概念調整目標を持つエンコーダを訓練し、クエリ概念とコードステートメントとの明示的なマッチングを通して検索を行う。
  論文  参考訳（メタデータ） (2026-05-15T15:17:43Z)
• Why Code, Why Now: Learnability, Computability, and the Real Limits of Machine Learning [0.38677478583601776]
  本稿では,情報構造に基づく5段階の学習可能性階層を提案する。 機械学習の進歩の天井は、タスクが学習可能であるかどうかよりも、モデルのサイズに依存しない、と我々は主張する。
  論文  参考訳（メタデータ） (2026-02-15T00:14:31Z)
• Decomposing Query-Key Feature Interactions Using Contrastive Covariances [75.38737409771085]
  クエリとキー間の双方向のジョイント埋め込み空間であるクエリキー空間について検討する。 キーとクエリの機能がこれらの低ランクのサブスペースに整列して、高い注目スコアが生成されるときです。
  論文  参考訳（メタデータ） (2026-02-04T16:50:02Z)
• Beyond Embeddings: Interpretable Feature Extraction for Binary Code Similarity [3.9488518969307305]
  言語モデルに基づくエージェントを用いて、アセンブリコードの構造化推論分析を行う。 手作りの機能とは違って、よりリッチで適応性がある。埋め込みとは違い、人間可読性があり、保守性があり、逆あるいはリレーショナルインデックスで直接検索できる。
  論文  参考訳（メタデータ） (2025-09-27T18:34:32Z)
• LayerCake: Token-Aware Contrastive Decoding within Large Language Model Layers [53.43862310647276]
  大規模言語モデル(LLM)は、自然言語の理解と生成に優れるが、事実の誤りに弱いままである。 本稿では,トークン型と最も影響力のあるトランスフォーマー層を整合させて実データ生成を改善する,トークン認識型コントラストデコーディング手法を提案する。 提案手法は追加のトレーニングやモデル修正を必要とせず,複数のLSMおよび各種ベンチマークの事実性を常に改善することを示す実験である。
  論文  参考訳（メタデータ） (2025-07-06T14:35:43Z)
• Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
  ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。 文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。 右列桁のグルーピングは、大数の算術を+33%向上させる。
  論文  参考訳（メタデータ） (2025-06-23T18:02:26Z)
• Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space [62.54887038032942]
  ソフトシンキング(Soft Thinking)は、ソフトで抽象的な概念トークンを生成することによって、人間のような「ソフト」推論をエミュレートする訓練不要な手法である。 これらの概念トークンは、連続的な概念空間を形成するトークン埋め込みの確率重み付き混合によって生成される。 本質的に、生成された概念トークンは関連する離散トークンから複数の意味をカプセル化し、暗黙的に様々な推論経路を探索する。
  論文  参考訳（メタデータ） (2025-05-21T17:29:15Z)
• Personalized Code Readability Assessment: Are We There Yet? [6.401191523681341]
  以前の作業では、コードの可読性を自動的に評価するアプローチを定義していた。 本稿では,コードの可読性について,開発者の認識する主観的な評価がどの程度可能かを理解することを目的とする。 しかし,提案手法は,スニペットレベルでの動作を訓練した,最先端の機能ベースモデルよりも悪い結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-03-10T21:37:15Z)
• Towards Unsupervised Recognition of Token-level Semantic Differences in Related Documents [61.63208012250885]
  意味的差異をトークンレベルの回帰タスクとして認識する。 マスク付き言語モデルに依存する3つの教師なしアプローチについて検討する。 その結果,単語アライメントと文レベルのコントラスト学習に基づくアプローチは,ゴールドラベルと強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T17:58:04Z)
• What Are You Token About? Dense Retrieval as Distributions Over the Vocabulary [68.77983831618685]
  本稿では,2つのエンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。 得られたプロジェクションは、リッチな意味情報を含み、それらの間の接続を描画し、スパース検索を行う。
  論文  参考訳（メタデータ） (2022-12-20T16:03:25Z)
• Measuring the Interpretability of Unsupervised Representations via Quantized Reverse Probing [97.70862116338554]
  本稿では,自己教師付き表現の解釈可能性の測定問題について検討する。 我々は、後者を、表現と手動でラベル付けされた概念の空間の間の相互情報を推定するものとして定式化する。 提案手法は,多人数の自己教師付き表現の評価に利用し,解釈可能性による評価を行う。
  論文  参考訳（メタデータ） (2022-09-07T16:18:50Z)
• More Than Words: Towards Better Quality Interpretations of Text Classifiers [16.66535643383862]
  MLモデルの入力インタフェースを考えると、トークンベースの解釈性は便利な第1選択であるが、あらゆる状況において最も効果的ではないことを示す。 1)ランダム化テストにより測定されるほど頑健であり,2)SHAPのような近似に基づく手法を用いた場合の変動性が低く,3)言語的コヒーレンスがより高い水準にある場合の人間には理解できない。
  論文  参考訳（メタデータ） (2021-12-23T10:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。