論文の概要: Evaluating Language Models on Cross-Language Code Functional Equivalence

• arxiv url: http://arxiv.org/abs/2608.23961v1
• Date: Tue, 25 Aug 2026 01:41:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.744106
• Title: Evaluating Language Models on Cross-Language Code Functional Equivalence
• Title（参考訳）: クロスランゲージ符号関数等価性に基づく言語モデルの評価
• Abstract要約: CPP、Java、Pythonで書かれたプログラムのデータセットであるPolyHumanを紹介します。 本データセットを用いて,オープンウェイトおよびプロプライエタリLLM間の言語内および言語間同値検出を評価する。 モデルが関数同値性を誤って判断する系統的不一致の81例を分析した。
• 参考スコア（独自算出の注目度）: 6.76025470599609
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Background: Large Language Models (LLMs) have demonstrated strong performance across a variety of code-understanding tasks, leading many to believe that they can reason about program semantics. However, existing evaluations primarily focus on single-language settings or rely on synthetically generated code, raising concerns about whether current results reflect true semantic understanding. Aims: We investigate whether LLMs can accurately judge functional equivalence across different programming languages in human-written code, a setting that requires deeper reasoning beyond superficial similarity. Method: We introduce PolyHuman, a dataset of human-written programs in CPP, Java, and Python. Using this dataset, we evaluate intra- and inter-language equivalence detection across open-weight and proprietary LLMs, selecting GPT-o4-mini as a representative model to assess stability. We then manually analyze 81 cases of systematic disagreement in which models incorrectly judge functional equivalence, examining the code logic and the generated Chain-of-Thought reasoning. Finally, we categorize these failures and compare them across GPT-o4-mini, Claude-Opus-4.7, and Gemini-3-Flash to determine whether they reflect model-specific issues or broader limitations of state-of-the-art LLMs. Results: We identify a difficulty-dependent breakdown in equivalence judgment (harder problems make the model increasingly prone to misclassifying non-equivalent code as equivalent), a model-specific sensitivity to programming language for the best-performing model (particularly a more conservative behavior on Python), and a partial reliance on similarity-based cues. GPT-o4-mini also shows substantial run-to-run instability under identical settings, indicating inconsistent rather than absent capability. Conclusions: Current LLMs do not reliably capture functional equivalence within or across languages.
• Abstract（参考訳）: 背景: 大規模言語モデル(LLM)は、様々なコードに基づくタスクに対して強いパフォーマンスを示しており、多くの人がプログラムの意味論について推論できると考えている。 しかし、既存の評価は主に単一言語の設定に焦点を当てているか、あるいは合成コードに依存しているため、現在の結果が真のセマンティックな理解を反映しているかどうかについての懸念が高まっている。 Aims: LLMが、表面的類似性以上の深い推論を必要とする設定で、異なるプログラミング言語間での関数同値性を正確に判断できるかどうかを検討する。 メソッド: CPP、Java、Pythonで書かれたプログラムのデータセットであるPolyHumanを紹介する。 本データセットを用いて,オープンウェイトおよびプロプライエタリLLM間の言語内および言語間同値検出を評価し,GPT-o4-miniを代表モデルとして選択し,安定性を評価する。 次に, モデルが関数同値性を誤って判断し, コード論理と生成したChain-of-Thought推論を検証し, 系統的不一致の81症例を手作業で解析する。 最後に、これらの障害を分類し、GPT-o4-mini、Claude-Opus-4.7、Gemini-3-Flashで比較し、モデル固有の問題や最先端LLMの広範な制限を反映しているかを判断する。 結果: 同値判定の難易度に依存した分解(厳密な問題により、非等価なコードを等価と誤分類する傾向が増す)、最高のパフォーマンスモデル(特にPythonにおけるより保守的な振る舞い)のためのプログラミング言語に対するモデル固有の感度、類似性に基づくキューへの部分的依存などを明らかにした。 GPT-o4-miniは、同じ設定で実行時から実行時までの不安定性を示す。 結論: 現在のLLMは言語内や言語間の機能的等価性を確実に捉えていない。

関連論文リスト

• Is my model perplexed for the right reason? Contrasting LLMs' Benchmark Behavior with Token-Level Perplexity [6.285055089721361]
  モデルが言語学的に関係のある手がかりに依存しているかどうかをテストするために,トークンレベルの難易度に基づく基本的解釈可能性フレームワークを導入する。 本手法は,不安定な特徴帰属技術に頼ることなく,正確な仮説駆動解析を可能にする。
  論文  参考訳（メタデータ） (2026-03-31T08:00:55Z)
• When Words Change the Model: Sensitivity of LLMs for Constraint Programming Modelling [1.052782170493037]
  大きな言語モデルは、古典的なベンチマークのモデルを自動的に生成する素晴らしい結果を示している。 多くの標準CP問題は、これらのモデルのトレーニングデータに含まれる可能性が高い。 LLMは構文的に妥当で意味論的に妥当なモデルを生成することができるが、その性能は文脈的・言語学的に著しく低下する。
  論文  参考訳（メタデータ） (2025-11-18T10:40:32Z)
• Evaluating Program Semantics Reasoning with Type Inference in System F [5.6064011695311455]
  大規模言語モデル(LLM)は、ソフトウェアエンジニアリングエコシステムにますます統合されています。 本稿では,システムFの型推論に基づいてLLM推論を評価するベンチマークであるTF-Benchを紹介する。 TF-Bench_pureは、純粋に意味論的に駆動されるTF-Benchの変種である。
  論文  参考訳（メタデータ） (2025-09-28T06:57:42Z)
• Tokenization and Representation Biases in Multilingual Models on Dialectal NLP Tasks [7.216732751280017]
  我々は、事前学習された多言語モデルにおける表現バイアスの尺度として、トークン化パリティ(TP)と情報化パリティ(IP)を関連付ける。 我々は,最先端デコーダのみのLLMと,方言分類,話題分類,抽出質問応答の3つのタスクからなるエンコーダベースモデルを比較した。 分析の結果,TPは統語的・形態的手法に依存したタスクの性能を予測し,IPは意味的タスクのパフォーマンスを予測できることがわかった。
  論文  参考訳（メタデータ） (2025-09-24T12:13:53Z)
• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
  大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。 このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。