論文の概要: Analyzing Latent Concepts in Code Language Models

• arxiv url: http://arxiv.org/abs/2510.00476v2
• Date: Thu, 02 Oct 2025 23:22:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 12:05:48.066317
• Title: Analyzing Latent Concepts in Code Language Models
• Title（参考訳）: コード言語モデルにおける潜在概念の分析
• Authors: Arushi Sharma, Vedant Pungliya, Christopher J. Quinn, Ali Jannesari,
• Abstract要約: グローバルなポストホック解釈可能性フレームワークであるコード概念分析(CoCoA)を提案する。 CoCoAは、コード言語モデルの表現空間における創発的語彙、構文、意味構造を明らかにする。 本稿では,静的解析ツールをベースとした構文アライメントと,プロンプトエンジニアリングによる大規模言語モデルを組み合わせたハイブリッドアノテーションパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 10.214183897113118
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interpreting the internal behavior of large language models trained on code remains a critical challenge, particularly for applications demanding trust, transparency, and semantic robustness. We propose Code Concept Analysis (CoCoA): a global post-hoc interpretability framework that uncovers emergent lexical, syntactic, and semantic structures in a code language model's representation space by clustering contextualized token embeddings into human-interpretable concept groups. We propose a hybrid annotation pipeline that combines static analysis tool-based syntactic alignment with prompt-engineered large language models (LLMs), enabling scalable labeling of latent concepts across abstraction levels. We analyse the distribution of concepts across layers and across three finetuning tasks. Emergent concept clusters can help identify unexpected latent interactions and be used to identify trends and biases within the model's learned representations. We further integrate LCA with local attribution methods to produce concept-grounded explanations, improving the coherence and interpretability of token-level saliency. Empirical evaluations across multiple models and tasks show that LCA discovers concepts that remain stable under semantic-preserving perturbations (average Cluster Sensitivity Index, CSI = 0.288) and evolve predictably with fine-tuning. In a user study on the programming-language classification task, concept-augmented explanations disambiguated token roles and improved human-centric explainability by 37 percentage points compared with token-level attributions using Integrated Gradients.
• Abstract（参考訳）: コードでトレーニングされた大きな言語モデルの内部動作の解釈は、特に信頼性、透明性、セマンティックロバスト性を求めるアプリケーションにとって、依然として重要な課題である。 我々は,言語モデルの表現空間における創発的語彙的,構文的,意味的構造を明らかにするグローバルなポストホック解釈可能性フレームワークであるCode Concept Analysis (CoCoA)を提案する。 本稿では,静的解析ツールをベースとした構文アライメントと,プロンプトエンジニアリングによる大規模言語モデル(LLM)を組み合わせたハイブリッドアノテーションパイプラインを提案する。 レイヤと3つの微調整タスクにまたがる概念の分布を分析します。 創発的な概念クラスタは、予期せぬ潜在的相互作用を識別し、モデルが学習した表現のトレンドとバイアスを特定するのに役立つ。 さらに、LCAを局所帰属法と統合し、概念的根拠に基づく説明を行い、トークンレベルの塩分濃度のコヒーレンスと解釈性を改善する。 複数のモデルやタスクにまたがる実証的な評価は、LCAが意味保存的摂動(平均クラスター感性指数、CSI = 0.288)の下で安定な概念を発見し、微調整で予測可能進化することを示している。 プログラム言語分類タスクのユーザスタディにおいて、概念強化された説明は、不明瞭なトークンの役割と、統合的グラディエントを用いたトークンレベルの属性と比較して、37ポイントの人間中心の説明可能性を改善した。

関連論文リスト

• Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
  大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。 テキスト内概念推論におけるLLMの内部処理について検討する。
  論文  参考訳（メタデータ） (2026-02-08T03:14:39Z)
• Concept Component Analysis: A Principled Approach for Concept Extraction in LLMs [51.378834857406325]
  機械的解釈可能性(Mechanistic interpretability)は、大きな言語モデルからの抽出によって問題を緩和しようとする。 スパースオートエンコーダ (SAE) は、解釈可能・単意味的な概念を抽出するための一般的なアプローチである。 SAEは基本的な理論的曖昧さに悩まされており、LLM表現と人間解釈可能な概念との明確に定義された対応はいまだに不明である。
  論文  参考訳（メタデータ） (2026-01-28T09:27:05Z)
• Insight: Interpretable Semantic Hierarchies in Vision-Language Encoders [52.94006363830628]
  言語対応の視覚基盤モデルは、下流の様々なタスクで強く機能する。 近年の研究では、これらの表現を人間の解釈可能な概念に分解するが、空間的接地が乏しく、画像分類に限られている。 入力画像に人間が解釈可能で空間的に接地した、きめ細かい概念を提供する言語対応概念基盤モデルであるInsightを提案する。
  論文  参考訳（メタデータ） (2026-01-20T09:57:26Z)
• Explain Before You Answer: A Survey on Compositional Visual Reasoning [74.27548620675748]
  構成的視覚推論は、マルチモーダルAIにおける重要な研究フロンティアとして登場した。 本調査は,トップ会場(CVPR,ICCV,NeurIPS,ICML,ACLなど)から260以上の論文を体系的にレビューする。 次に60以上のベンチマークとそれに対応するメトリクスを、基底精度、連鎖忠実性、高分解能知覚などの次元に沿って探索する。
  論文  参考訳（メタデータ） (2025-08-24T11:01:51Z)
• Enhancing Zero-Shot Image Recognition in Vision-Language Models through Human-like Concept Guidance [41.6755826072905]
  ゼロショット画像認識タスクでは、人間は目に見えないカテゴリを分類する際、顕著な柔軟性を示す。 既存の視覚言語モデルは、しばしば準最適プロンプトエンジニアリングのため、現実世界のアプリケーションでは性能が劣る。 これらの問題に対処するために,概念誘導型人間ライクなベイズ推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-20T06:20:13Z)
• Concept Layers: Enhancing Interpretability and Intervenability via LLM Conceptualization [2.163881720692685]
  本稿では,概念層をアーキテクチャに組み込むことにより,解釈可能性とインターベンタビリティを既存モデルに組み込む新しい手法を提案する。 我々のアプローチは、モデルの内部ベクトル表現を、再構成してモデルにフィードバックする前に、概念的で説明可能なベクトル空間に投影する。 複数のタスクにまたがるCLを評価し、本来のモデルの性能と合意を維持しつつ、意味のある介入を可能にしていることを示す。
  論文  参考訳（メタデータ） (2025-02-19T11:10:19Z)
• Advancing Ante-Hoc Explainable Models through Generative Adversarial Networks [24.45212348373868]
  本稿では,視覚的分類タスクにおけるモデル解釈可能性と性能を向上させるための新しい概念学習フレームワークを提案する。 本手法では, 教師なし説明生成器を一次分類器ネットワークに付加し, 対角訓練を利用する。 この研究は、タスク整合概念表現を用いた本質的に解釈可能なディープビジョンモデルを構築するための重要なステップを示す。
  論文  参考訳（メタデータ） (2024-01-09T16:16:16Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Concept-Centric Transformers: Enhancing Model Interpretability through Object-Centric Concept Learning within a Shared Global Workspace [1.6574413179773757]
  概念中心変換器は、解釈可能性のための共有グローバルワークスペースの単純かつ効果的な構成である。 本モデルでは,すべての問題に対して,すべてのベースラインの分類精度が向上することを示す。
  論文  参考訳（メタデータ） (2023-05-25T06:37:39Z)
• Towards explainable evaluation of language models on the semantic similarity of visual concepts [0.0]
  本稿では,視覚語彙の意味的類似性に焦点をあて,ハイパフォーマンスな事前学習言語モデルの振る舞いを考察する。 まず、検索したインスタンスの概念的品質を理解するために必要となる、説明可能な評価指標の必要性に対処する。 第二に、健全なクエリセマンティクスに対する敵対的な介入は、不透明なメトリクスの脆弱性を露呈し、学習された言語表現におけるパターンを強調します。
  論文  参考訳（メタデータ） (2022-09-08T11:40:57Z)
• GlanceNets: Interpretabile, Leak-proof Concept-based Models [23.7625973884849]
  概念ベースモデル(CBM)は、高レベルの概念の語彙の獲得と推論によって、ハイパフォーマンスと解釈可能性を組み合わせる。 我々は、モデル表現と基礎となるデータ生成プロセスとの整合性の観点から、解釈可能性を明確に定義する。 GlanceNetsは不整合表現学習とオープンセット認識の技法を利用してアライメントを実現する新しいCBMである。
  論文  参考訳（メタデータ） (2022-05-31T08:53:53Z)
• Translational Concept Embedding for Generalized Compositional Zero-shot Learning [73.60639796305415]
  一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。 本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-20T21:27:51Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。