論文の概要: Token Signatures of Code: Comparing Coding Behaviors Across Large Language Models

• arxiv url: http://arxiv.org/abs/2609.22097v1
• Date: Wed, 12 Aug 2026 00:48:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.695255
• Title: Token Signatures of Code: Comparing Coding Behaviors Across Large Language Models
• Title（参考訳）: コードのトークン署名:大規模言語モデル間での符号化挙動の比較
• Abstract要約: 本稿では,トークン周波数解析による大規模言語モデル(LLM)の符号化動作を特徴付ける視覚分析手法を提案する。 2つの LLM が識別可能かどうかを測るロバストネスと、その差がいくつかの支配的トークンによって駆動されるかどうかを測る集中度という2つの新しい指標を定義した。
• 参考スコア（独自算出の注目度）: 8.159582398693656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The evaluation of large language models (LLMs) on coding tasks has primarily focused on performance metrics such as pass@k. As LLMs continue to advance, many models now meet baseline performance requirements, reducing the discriminative power of performance-based evaluation alone. Yet a key question remains largely unexplored: how do LLMs differ in their coding behavior? We propose CLIC (Code Learning for Identification and Comparison), a visual analytics approach that characterizes LLM coding behavior through token-frequency analysis. CLIC represents each code sample as a feature vector of token frequencies and trains an interpretable decision tree to separate two LLMs' code sets. Beyond classification accuracy, we define two new metrics: robustness, which measures whether the two LLMs remain distinguishable as their most-discriminative tokens are progressively removed, and concentration, which measures whether the difference is driven by a few dominant tokens or spread across many. Interpreting numerous pairwise comparisons (across LLM pairs, tasks, and tokenization levels) and tracing the full analytical chain form an inherently multi-scale, hypothesis-driven exploration task. We therefore develop an interactive visual analytics system to navigate the comparison landscape, identify pairs of interest, and drill down into discriminative tokens and their code contexts. Case studies comparing 10 LLMs across 22 Kaggle ML tasks reveal actionable insights for LLM selection and prompt engineering.
• Abstract（参考訳）: コーディングタスクにおける大規模言語モデル(LLM)の評価は主にpass@kのようなパフォーマンス指標に焦点を当てている。 LLMが進歩を続けるにつれて、多くのモデルがベースラインのパフォーマンス要件を満たすようになり、性能に基づく評価のみの差別的パワーが低下する。 LLMはコーディングの振る舞いにどう違うのか? トークン周波数解析によりLLM符号化動作を特徴付ける視覚分析手法であるCLIC(Code Learning for Identification and Comparison)を提案する。 CLICは、各コードサンプルをトークン周波数の特徴ベクトルとして表現し、解釈可能な決定木をトレーニングして、2つのLLMのコードセットを分離する。 分類精度以外にも、2つの LLM が識別可能かどうかを測るロバストネスと、その差がいくつかの支配的なトークンによって駆動されるか、多くのトークンに分散されるかを測定する集中度という2つの新しい指標を定義している。 多数のペアワイズ比較(LLMペア、タスク、トークン化レベル全体)を解釈し、完全な解析的連鎖をトレースすることは、本質的にマルチスケールで仮説駆動の探索タスクを形成する。 そこで我々は、比較ランドスケープをナビゲートし、関心のペアを特定し、識別トークンとそのコードコンテキストを掘り下げるインタラクティブなビジュアル分析システムを開発した。 22のKaggle MLタスクで10のLLMを比較したケーススタディでは、LLMの選択と迅速なエンジニアリングに関する実用的な洞察が明らかになっている。

関連論文リスト

• Visualizing token importance for black-box language models [48.747801442240565]
  我々は,ブラックボックスの大規模言語モデル(LLM)を監査して,本運用環境にデプロイした場合に確実に動作させるという課題を考察する。 本稿では,各入力トークンに対する言語モデルの出力の感度を評価するために,分布ベース感性分析(DBSA)を提案する。
  論文  参考訳（メタデータ） (2025-12-12T14:01:43Z)
• On the Effectiveness of LLM-as-a-judge for Code Generation and Summarization [54.965787768076254]
  大規模言語モデルは、最近、Q&Aのような複雑な自然言語処理タスクの裁判官として活用されている。 コード生成とコード要約という2つのコード関連タスクに対するLLMs-as-a-judgeの有効性について検討した。
  論文  参考訳（メタデータ） (2025-07-22T13:40:26Z)
• CodeJudgeBench: Benchmarking LLM-as-a-Judge for Coding Tasks [63.562924932512765]
  LLM(Large Language Models)は、様々なコーディングタスクにおいて最先端の言語モデルである。 LLMは、他のモデルによって生成された応答の品質を評価し、比較する裁判官としても機能する。
  論文  参考訳（メタデータ） (2025-07-14T17:56:29Z)
• Enhancing Input-Label Mapping in In-Context Learning with Contrastive Decoding [71.01099784480597]
  大規模言語モデル(LLM)は、コンテキスト内学習(ICL)を通じて、様々なタスクで優れる In-Context Contrastive Decoding (ICCD)を導入する。
  論文  参考訳（メタデータ） (2025-02-19T14:04:46Z)
• What You See Is Not Always What You Get: An Empirical Study of Code Comprehension by Large Language Models [0.5735035463793009]
  ソースコードに隠された文字操作がLLMの動作を誤認し,人間のレビュアーには検出不能なままにしておくという,大きな言語モデル(LLM)の攻撃に対する脆弱性について検討する。 これらの攻撃には、コードリオーダー、見えないコーディング文字、コード削除、コードホモグリフが含まれる。 以上の結果より,LLMは摂動の大きさと性能に異なる負の相関性を示す一方,LLMは認識不能なコードキャラクタ攻撃に対する感受性を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-12-11T04:52:41Z)
• Detecting Hallucinations in Large Language Model Generation: A Token Probability Approach [0.0]
  LLM(Large Language Models)は、幻覚と呼ばれる不正確な出力を生成する。 本稿では,トークンから得られる4つの数値的特徴と,他の評価者から得られる語彙的確率を用いた教師付き学習手法を提案する。 この方法は有望な結果をもたらし、3つの異なるベンチマークで複数のタスクで最先端の結果を上回る。
  論文  参考訳（メタデータ） (2024-05-30T03:00:47Z)
• SED: Self-Evaluation Decoding Enhances Large Language Models for Better Generation [35.10931307279044]
  本稿では,モデル生成の高速化を目的とした自己評価復号法であるSEDを提案する。 推測と評価のステップをデコードプロセスに統合し、LCMがより慎重に決定できるようにします。
  論文  参考訳（メタデータ） (2024-05-26T12:43:18Z)
• Does In-Context Learning Really Learn? Rethinking How Large Language Models Respond and Solve Tasks via In-Context Learning [41.606494950216764]
  In-context Learning (ICL)は、スケールアップされた大規模言語モデル(LLM)の開発と共に強力な能力として登場した。 本稿では,ICLの全体的な性能をラベル空間,フォーマット,識別の3次元に分解する。 ICLはラベル空間とフォーマットを制御し,所望のラベル語にLLMが反応するのに役立つことを示す。
  論文  参考訳（メタデータ） (2024-04-11T08:20:10Z)
• Take One Step at a Time to Know Incremental Utility of Demonstration: An Analysis on Reranking for Few-Shot In-Context Learning [23.932500424117244]
  In-Context Learning (ICL)は大規模言語モデル(LLM)の創発的能力である 従来の研究では、ラベルとしてLLMの出力を使用することが、デモを選択するためのトレーニングモデルに有効であることが示されている。 本稿では,LLMの出力確率に着目して,異なるユーティリティ関数の解析を行う。
  論文  参考訳（メタデータ） (2023-11-16T07:03:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。