論文の概要: Do Code Models Suffer from the Dunning-Kruger Effect?

• arxiv url: http://arxiv.org/abs/2510.05457v1
• Date: Mon, 06 Oct 2025 23:41:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.030662
• Title: Do Code Models Suffer from the Dunning-Kruger Effect?
• Title（参考訳）: コードモデルはダンニングクルーガー効果から生じるか?
• Authors: Mukul Singh, Somya Chatterjee, Arjun Radhakrishna, Sumit Gulwani,
• Abstract要約: 本稿では,コーディングタスクにおける能力の過大評価を行う能力に制限のある人を対象に,Dunning-Kruger Effect(DKE)について検討する。 さまざまなプログラミング言語のモデル信頼度と性能を分析することで、AIモデルが過信の人間のパターンを反映していることを明らかにする。 実験の結果,非有能なモデルと希少なプログラミング言語で動作するモデルでは,DKEのようなバイアスが強く,バイアスの強さがモデルの能力に比例していることが示唆された。
• 参考スコア（独自算出の注目度）: 10.724126758884081
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As artificial intelligence systems increasingly collaborate with humans in creative and technical domains, questions arise about the cognitive boundaries and biases that shape our shared agency. This paper investigates the Dunning-Kruger Effect (DKE), the tendency for those with limited competence to overestimate their abilities in state-of-the-art LLMs in coding tasks. By analyzing model confidence and performance across a diverse set of programming languages, we reveal that AI models mirror human patterns of overconfidence, especially in unfamiliar or low-resource domains. Our experiments demonstrate that less competent models and those operating in rare programming languages exhibit stronger DKE-like bias, suggesting that the strength of the bias is proportionate to the competence of the models.
• Abstract（参考訳）: 人工知能システムは、創造的および技術的領域において人間とますます協力していくにつれて、私たちの共有する機関を形成する認知的境界とバイアスに関する疑問が浮かび上がってくる。 本稿では,Dunning-Kruger Effect (DKE) について検討する。 さまざまなプログラミング言語のモデル信頼度とパフォーマンスを分析することで、AIモデルは、特に不慣れなドメインや低リソースのドメインにおいて、過信の人間のパターンを反映していることを明らかにする。 実験の結果,非有能なモデルと希少なプログラミング言語で動作するモデルでは,DKEのようなバイアスが強く,バイアスの強さがモデルの能力に比例していることが示唆された。

関連論文リスト

• Humanlike Cognitive Patterns as Emergent Phenomena in Large Language Models [2.9312156642007294]
  我々は、意思決定バイアス、推論、創造性の3つの重要な認知領域にわたって、大規模言語モデルの能力を体系的にレビューする。 意思決定では、LSMはいくつかの人間のようなバイアスを示すが、人間の観察するバイアスは欠落している。 GPT-4のような先進的なLCMは、人間のシステム2思考に似た熟考的推論を示し、小さなモデルは人間レベルの性能に欠ける。 LLMはストーリーテリングのような言語ベースの創造的なタスクに優れているが、現実の文脈を必要とする散発的な思考タスクに苦労する。
  論文  参考訳（メタデータ） (2024-12-20T02:26:56Z)
• The Superalignment of Superhuman Intelligence with Large Language Models [63.96120398355404]
  我々は,この疑問に答えるために,学習の観点からスーパーアライメントの概念について議論する。 スーパーアライメントにおけるいくつかの重要な研究課題、すなわち、弱いから強い一般化、スケーラブルな監視、評価に焦点を当てる。 本稿では,学習者モデルの弱点を露呈しようとする敵対的クエリを生成する攻撃者,最小限の人間専門家とともに,批判モデルによって生成されたスケーラブルなフィードバックから学習することで自己を洗練させる学習者,与えられた質問応答対に対する批判や説明を生成する批判者,そして批判によって学習者を改善することを目的とした,3つのモジュールからなるスーパーアライメントの概念的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-12-15T10:34:06Z)
• Integration of cognitive tasks into artificial general intelligence test for large models [54.72053150920186]
  我々は、認知科学にインスパイアされた人工知能(AGI)テストの包括的な枠組みを提唱する。 認知科学に触発されたAGIテストは、結晶化インテリジェンス、流体インテリジェンス、社会インテリジェンス、エンボディドインテリジェンスを含む、すべてのインテリジェンスファセットを含んでいる。
  論文  参考訳（メタデータ） (2024-02-04T15:50:42Z)
• The Role of Higher-Order Cognitive Models in Active Learning [8.847360368647752]
  我々は、人間のフィードバックのためのアクティブな学習のための新しいパラダイムを提唱する。 エージェントのレベルが上がると、アクティブな学習システムと教師との合理的コミュニケーションの質的に異なる形態がもたらされるかについて議論する。
  論文  参考訳（メタデータ） (2024-01-09T07:39:36Z)
• The Confidence-Competence Gap in Large Language Models: A Cognitive Study [3.757390057317548]
  大規模言語モデル(LLM)は、様々な領域にわたるパフォーマンスに対して、広く注目を集めている。 我々はこれらのモデルを多様なアンケートと実世界のシナリオで活用する。 この結果から,モデルが誤答しても高い信頼性を示す興味深い事例が判明した。
  論文  参考訳（メタデータ） (2023-09-28T03:50:09Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)
• WenLan 2.0: Make AI Imagine via a Multimodal Foundation Model [74.4875156387271]
  我々は,膨大なマルチモーダル(視覚的・テキスト的)データを事前学習した新しい基礎モデルを開発する。 そこで本研究では,様々な下流タスクにおいて,最先端の成果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T12:25:21Z)
• What's the best place for an AI conference, Vancouver or ______: Why completing comparative questions is difficult [22.04829832439774]
  ニューラルLMが妥当な質問をする(答えない)能力について研究する。 この課題の正確性は,質問が妥当かどうかの判断とよく関連している。
  論文  参考訳（メタデータ） (2021-04-05T14:56:09Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。