論文の概要: LLM Performance for Code Generation on Noisy Tasks

• arxiv url: http://arxiv.org/abs/2505.23598v1
• Date: Thu, 29 May 2025 16:11:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.972396
• Title: LLM Performance for Code Generation on Noisy Tasks
• Title（参考訳）: ノイズのあるタスクにおけるコード生成のためのLLM性能
• Authors: Radzim Sendyka, Christian Cabrera, Andrei Paleyes, Diana Robinson, Neil Lawrence,
• Abstract要約: 大規模言語モデル(LLM)は、テキストが人間の読み手には理解できないレベルまで難解なタスクを解くことができることを示す。 汚染されたデータセットと目に見えないデータセットの異なる性能劣化パターンの実証的証拠を報告する。 そこで本研究では, 難燃化下での性能低下を, データセット汚染検出の可能な戦略として提案する。
• 参考スコア（独自算出の注目度）: 0.41942958779358674
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates the ability of large language models (LLMs) to recognise and solve tasks which have been obfuscated beyond recognition. Focusing on competitive programming and benchmark tasks (LeetCode and MATH), we compare performance across multiple models and obfuscation methods, such as noise and redaction. We demonstrate that all evaluated LLMs can solve tasks obfuscated to a level where the text would be unintelligible to human readers, and does not contain key pieces of instruction or context. We introduce the concept of eager pattern matching to describe this behaviour, which is not observed in tasks published after the models' knowledge cutoff date, indicating strong memorisation or overfitting to training data, rather than legitimate reasoning about the presented problem. We report empirical evidence of distinct performance decay patterns between contaminated and unseen datasets. We discuss the implications for benchmarking and evaluations of model behaviour, arguing for caution when designing experiments using standard datasets. We also propose measuring the decay of performance under obfuscation as a possible strategy for detecting dataset contamination and highlighting potential safety risks and interpretability issues for automated software systems.
• Abstract（参考訳）: 本稿では,認識以上の難解なタスクを認識・解決する大規模言語モデル(LLM)の能力について検討する。 競合プログラミングとベンチマークタスク(LeetCodeとMATH)に着目して、ノイズやリアクションなどの難読化手法と複数のモデルのパフォーマンスを比較する。 評価されたLLMは、テキストが人間の読み手には理解できないレベルまで難解なタスクを解くことができ、重要な命令や文脈を含まないことを実証する。 本稿では,この動作を説明するために,このパターンマッチングの概念を導入する。これはモデルが知識を遮断した後のタスクでは見られず,提示された問題に対する正当な推論ではなく,強い記憶やトレーニングデータへの過度な適合を示す。 汚染されたデータセットと目に見えないデータセットの異なる性能劣化パターンの実証的証拠を報告する。 本稿では,標準データセットを用いた実験の設計において,モデル行動のベンチマークと評価がもたらす意味について論じる。 また、自動ソフトウェアシステムにおいて、データセット汚染を検出し、潜在的な安全性リスクと解釈可能性の問題を明らかにするための戦略として、難読化下での性能低下を測定することを提案する。

関連論文リスト

• Dynamic Benchmarking of Reasoning Capabilities in Code Large Language Models Under Data Contamination [18.006532081289627]
  潜在的なデータ汚染下でのコードLLMを評価するための新しいベンチマークスイートであるツールを提案する。 ツールは複数のエージェントを使用して、コアロジックを変更することなくコンテキストを抽出し、変更し、意味的に等価なバリエーションを生成する。 その結果、ツールが汚染リスク下での推論能力を効果的にベンチマークし、多様な問題セットを生成し、一貫性と信頼性を保証できることが判明した。
  論文  参考訳（メタデータ） (2025-03-06T06:56:59Z)
• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [61.99353167168545]
  LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。 微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• What You See Is Not Always What You Get: An Empirical Study of Code Comprehension by Large Language Models [0.5735035463793009]
  ソースコードに隠された文字操作がLLMの動作を誤認し,人間のレビュアーには検出不能なままにしておくという,大きな言語モデル(LLM)の攻撃に対する脆弱性について検討する。 これらの攻撃には、コードリオーダー、見えないコーディング文字、コード削除、コードホモグリフが含まれる。 以上の結果より,LLMは摂動の大きさと性能に異なる負の相関性を示す一方,LLMは認識不能なコードキャラクタ攻撃に対する感受性を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-12-11T04:52:41Z)
• Probing Language Models for Pre-training Data Detection [11.37731401086372]
  本稿では,モデルの内部アクティベーションを調べることで,事前学習データ検出のための探索手法を提案する。 我々の手法はシンプルで効果的であり、より信頼性の高い事前学習データ検出につながる。
  論文  参考訳（メタデータ） (2024-06-03T13:58:04Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Quantifying Contamination in Evaluating Code Generation Capabilities of Language Models [27.24738197172374]
  大規模言語モデルは、様々なコード生成ベンチマークで顕著なパフォーマンスを達成した。 これらのベンチマークが事前トレーニングや微調整のデータにリークされる可能性があるため、潜在的な汚染に関する懸念が高まっている。 我々は、人気のあるコード生成ベンチマークとオープントレーニングコーパスの間にかなりの重複があることを示し、トレーニング中に同様のソリューションが見られたベンチマークのサブセットにおいて、モデルの性能が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-03-06T21:45:35Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• Revisit Input Perturbation Problems for LLMs: A Unified Robustness Evaluation Framework for Noisy Slot Filling Task [18.623619585980688]
  本研究では,大言語モデルの対話理解能力を評価するために,スロット充足タスクに基づく統一ロバストネス評価フレームワークを提案する。 具体的には,5種類の単一摂動と4種類の混合摂動データを含む入力摂動評価データセットであるノイズLLMを構築した。 本研究の目的は,LLMの様々なロバスト性評価手法が実世界の雑音のシナリオでどの程度機能するかを評価することである。
  論文  参考訳（メタデータ） (2023-10-10T10:22:05Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。