論文の概要: Inside Out: Uncovering How Comment Internalization Steers LLMs for Better or Worse

• arxiv url: http://arxiv.org/abs/2512.16790v1
• Date: Thu, 18 Dec 2025 17:24:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-19 18:10:32.181901
• Title: Inside Out: Uncovering How Comment Internalization Steers LLMs for Better or Worse
• Title（参考訳）: 内部情報:コメント内部化がLDMを改善または悪化させる方法を明らかにする
• Authors: Aaron Imani, Mohammad Moshirpour, Iftekhar Ahmed,
• Abstract要約: 本研究は,ソフトウェア工学におけるLarge Language Models (LLM) のコンセプトレベルの解釈可能性に関する最初の研究である。 コード補完、翻訳、洗練の3つのタスクを、内部的なコメント表現のレンズを通して分析する。 コード要約がコメント概念の最も強い活性化を引き起こしているのに対して、コード補完は最も弱い感度を引き起こした。
• 参考スコア（独自算出の注目度）: 4.911314444215628
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While comments are non-functional elements of source code, Large Language Models (LLM) frequently rely on them to perform Software Engineering (SE) tasks. Yet, where in the model this reliance resides, and how it affects performance, remains poorly understood. We present the first concept-level interpretability study of LLMs in SE, analyzing three tasks - code completion, translation, and refinement - through the lens of internal comment representation. Using Concept Activation Vectors (CAV), we show that LLMs not only internalize comments as distinct latent concepts but also differentiate between subtypes such as Javadocs, inline, and multiline comments. By systematically activating and deactivating these concepts in the LLMs' embedding space, we observed significant, model-specific, and task-dependent shifts in performance ranging from -90% to +67%. Finally, we conducted a controlled experiment using the same set of code inputs, prompting LLMs to perform 10 distinct SE tasks while measuring the activation of the comment concept within their latent representations. We found that code summarization consistently triggered the strongest activation of comment concepts, whereas code completion elicited the weakest sensitivity. These results open a new direction for building SE tools and models that reason about and manipulate internal concept representations rather than relying solely on surface-level input.
• Abstract（参考訳）: コメントはソースコードの非機能要素であるが、Large Language Models(LLM)はソフトウェア工学(SE)タスクの実行にしばしばそれらに依存する。 しかし、モデルでは、この依存がどこに在り、パフォーマンスにどのように影響するかは、いまだに理解されていない。 コード補完,翻訳,精細化の3つのタスクを内部コメント表現のレンズを通して解析し,SEにおけるLLMの初回概念レベルでの解釈可能性について述べる。 概念活性化ベクトル(Concept Activation Vectors, CAV)を用いて, LLMはコメントを別個の潜在概念として内部化するだけでなく, Javadocsやインライン,マルチラインコメントといったサブタイプを区別する。 LLMの埋め込み空間におけるこれらの概念を体系的に活性化・非活性化することにより、我々は、-90%から+67%の範囲で、重要な、モデル固有の、タスクに依存したパフォーマンスの変化を観察した。 最後に、同一のコード入力を用いて制御実験を行い、LLMが10個の異なるSEタスクを実行し、コメント概念の潜在表現内でのアクティベーションを測定した。 コード要約がコメント概念の最も強い活性化を引き起こしているのに対して、コード補完は最も弱い感度を引き起こした。 これらの結果は、表面レベルの入力のみに頼るのではなく、内部概念表現を推論し、操作するSEツールやモデルを構築するための新しい方向を開く。

関連論文リスト

• Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation [59.40886078302025]
  マルチモーダル大規模言語モデル(MLLM)は、視覚入力と自然言語出力の整合性を示す。 しかし、生成したトークンが視覚的モダリティに依存する範囲は、いまだに理解されていない。 MLLMにおける自己回帰トークン生成を説明するための軽量なブラックボックスフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-26T15:38:42Z)
• A Survey on Sparse Autoencoders: Interpreting the Internal Mechanisms of Large Language Models [50.34089812436633]
  大規模言語モデル(LLM)は自然言語処理を変換しているが、その内部メカニズムはほとんど不透明である。 機械的解釈性は、LLMの内部動作を理解する手段として、研究コミュニティから大きな注目を集めている。 スパースオートエンコーダ(SAE)は、LLM内の複雑な重畳された機能をより解釈可能なコンポーネントに分解する能力のために、将来性のある方法として登場した。
  論文  参考訳（メタデータ） (2025-03-07T17:38:00Z)
• CodeIF-Bench: Evaluating Instruction-Following Capabilities of Large Language Models in Interactive Code Generation [10.438717413104062]
  大規模言語モデルの命令追従能力を評価するためのベンチマークであるCodeIF-Benchを紹介する。 CodeIF-Benchには、現実世界のソフトウェア開発要件に沿った9種類の検証可能な命令が組み込まれている。 textitStatic Conversation と textitDynamic Conversation の設定の両方において、7つの最先端 LLM の性能を評価する。
  論文  参考訳（メタデータ） (2025-03-05T09:47:02Z)
• Interpreting and Steering LLMs with Mutual Information-based Explanations on Sparse Autoencoders [29.356200147371275]
  大きな言語モデル(LLM)は人間のクエリを扱うのに優れていますが、時に欠陥や予期せぬ応答を生成することができます。 特徴解釈と相互情報に基づく目的設計のための固定語彙集合を提案する。 そこで本研究では,学習した機能アクティベーションを,対応する説明に基づいて調整する2つの実行時ステアリング戦略を提案する。
  論文  参考訳（メタデータ） (2025-02-21T16:36:42Z)
• Analyzing Finetuning Representation Shift for Multimodal LLMs Steering [56.710375516257876]
  隠れた状態を解釈可能な視覚的概念とテキスト的概念にマッピングすることを提案する。 これにより、オリジナルモデルや微調整モデルからのシフトなど、特定のセマンティックダイナミクスをより効率的に比較することが可能になります。 また,これらの変化を捉えるためにシフトベクトルを用いることを実証する。
  論文  参考訳（メタデータ） (2025-01-06T13:37:13Z)
• An Empirical Study on Capability of Large Language Models in Understanding Code Semantics [4.638578225024275]
  コードのための大規模言語モデル(コードLLM)は、様々なソフトウェア工学(SE)タスクで顕著なパフォーマンスを示している。 本稿では,コード意味論の理解におけるLLMの能力を評価するためのフレームワークであるEMPICAを紹介する。
  論文  参考訳（メタデータ） (2024-07-04T03:40:58Z)
• CodeMind: Evaluating Large Language Models for Code Reasoning [6.819757372634151]
  大規模言語モデル(LLM)は、プログラミングタスクの自動化に広く使われている。 本稿では,LLMのコード推論能力を評価するためのフレームワークであるCodeMindを紹介する。
  論文  参考訳（メタデータ） (2024-02-15T02:24:46Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Large Language Models are Few-Shot Summarizers: Multi-Intent Comment Generation via In-Context Learning [34.006227676170504]
  本研究では,大規模言語モデル(LLM)を用いて,開発者の多様な意図を満たすコメントを生成することの実現可能性について検討する。 2つの大規模なデータセットの実験は、私たちの洞察の理論的根拠を示しています。
  論文  参考訳（メタデータ） (2023-04-22T12:26:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。