論文の概要: CogAdapt: Cognition-informed Sparse Adaptation of Code LLMs
- arxiv url: http://arxiv.org/abs/2610.07446v1
- Date: Mon, 05 Oct 2026 21:55:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.687367
- Title: CogAdapt: Cognition-informed Sparse Adaptation of Code LLMs
- Title（参考訳）: CogAdapt: Code LLMの認知インフォームドスパース適応
- Abstract要約: コードモデルのタスク依存スパース適応のための認知インフォームドフレームワークであるCogAdaptを提案する。
我々は,人間の読書行動とMixture-of-Experts計算の一致性を見出した。
その結果,人間の理解信号は,コードモデル適応をより選択的かつ効果的にするための有用なガイダンスを提供する可能性が示唆された。
- 参考スコア（独自算出の注目度）: 7.471886998236215
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have become increasingly capable of generating code. However, achieving stronger code-generation performance still often relies on costly model adaptation, i.e., fine-tuning pretrained model parameters. Prior studies have shown correspondence between human code processing and neural models' attention or internal computation. Human-aligned learning approaches use cognitive signals to guide training, but typically adapt a large portion of the model, leaving training costs largely unchanged. Human cognitive signals may indicate not only what the model must learn from, but also where adaptation is most useful. We investigate whether human responses during code reading correspond to code-model behavior and can guide selective adaptation without sacrificing performance. We present CogAdapt, a cognition-informed framework for task-dependent sparse adaptation of code models. CogAdapt first learns transferable program-level and token-level priors from human Electroencephalography (EEG) and attention data, then combines these priors with the frozen model's response to each coding task to determine how much adaptation to allocate and which transformer blocks should receive updates. During fine-tuning, only the selected blocks are updated, while no new human recordings are required for inference. Across Qwen and GLM, we find consistent correspondence between human reading behavior and Mixture-of-Experts (MoE) computation. CogAdapt achieves the best pass@1 across both LiveCodeBench and BigCodeBench, including gains of 10.86 and 6.29 percentage points over matched regular fine-tuning on LiveCodeBench, while reducing gradient-eligible adaptation parameters by 86.21-87.21%. These results suggest that human comprehension signals can provide useful guidance for making code-model adaptation both more selective and more effective.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、コードを生成する能力がますます高まっている。
しかし、より強力なコード生成性能を達成するには、しばしばコストのかかるモデル適応、すなわち微調整された事前訓練されたモデルパラメータに依存する。
以前の研究では、人間のコード処理とニューラルモデルの注意や内部計算との対応が示されている。
ヒューマンアラインラーニングアプローチは、認知信号を使用してトレーニングをガイドするが、通常、モデルの大部分が適応し、トレーニングコストはほとんど変わらない。
人間の認知信号は、モデルが何から学ばなければならないかだけでなく、適応が最も有用かを示す。
コード読み上げ時の人間の反応がコードモデル動作に対応しているかを調べ,性能を犠牲にすることなく選択的適応を導出することができる。
コードモデルのタスク依存スパース適応のための認知インフォームドフレームワークであるCogAdaptを提案する。
CogAdaptはまず、人間の脳波(EEG)とアテンションデータから、転送可能なプログラムレベルとトークンレベルの事前情報を学び、その後、これらの事前情報と、各コーディングタスクに対する凍結モデルからの応答を組み合わせて、どのトランスフォーマーブロックが更新を受けるべきかを判断する。
微調整中は、選択されたブロックのみが更新され、推論に新しい人間の記録は必要ない。
Qwen と GLM にまたがって、人間の読書行動とMixture-of-Experts (MoE) 計算の整合性を見出した。
CogAdaptは、LiveCodeBenchとBigCodeBenchの両方で最高のパス@1を達成した。
これらの結果から,人間の理解信号は,コードモデル適応をより選択的かつ効果的にするための有用なガイダンスとなることが示唆された。
関連論文リスト
- Frustratingly Simple Black-Box Adaptation of Language Models via Logit Bias [22.505637796473337]
APIレベルのコントロールにより、モデルのロジットをユーザ定義ベクタでバイアスすることができる。
単一コンテキストに依存しないロジットバイアスベクトルを学習するためのブラックボックス法を開発した。
論文 参考訳（メタデータ） (2026-07-24T18:27:58Z) - What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。
モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文 参考訳（メタデータ） (2024-11-12T09:52:40Z) - CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for Task-Aware Parameter-Efficient Fine-tuning [101.81127587760831]
現在の微調整手法は、学習すべき下流タスクのコンテキストや、維持すべき重要な知識のコンテキストに広く適用できるアダプタを構築している。
学習可能なタスク対応アダプタを構築するコンテキスト指向の分解適応手法であるCorDAを提案する。
本手法は,知識保存型適応と指導レビュー型適応の2つの選択肢を実現する。
論文 参考訳（メタデータ） (2024-06-07T19:10:35Z) - Efficient Adaptation of Large Vision Transformer via Adapter
Re-Composing [8.88477151877883]
高容量事前学習モデルはコンピュータビジョンにおける問題解決に革命をもたらした。
本稿では,効率的な事前学習モデル適応に対処する新しい適応型再コンパイル(ARC)戦略を提案する。
提案手法は適応パラメータの再利用可能性について考察し,パラメータ共有方式を提案する。
論文 参考訳（メタデータ） (2023-10-10T01:04:15Z) - Efficient Adaptive Human-Object Interaction Detection with
Concept-guided Memory [64.11870454160614]
概念誘導メモリ(ADA-CM)を用いた適応型HOI検出器を提案する。
ADA-CMには2つの操作モードがある。最初のモードでは、トレーニング不要のパラダイムで新しいパラメータを学習することなくチューニングできる。
提案手法は, HICO-DET と V-COCO のデータセットに対して, より少ないトレーニング時間で, 最新技術による競合的な結果を得る。
論文 参考訳（メタデータ） (2023-09-07T13:10:06Z) - Fast and accurate factorized neural transducer for text adaption of
end-to-end speech recognition models [23.21666928497697]
テキストのみの適応データに対するFNT(Facterized Neural Transducer)の適応性の向上は、標準のニューラルトランスデューサモデルと比較して精度の低下を招いた。
これらのアプローチを組み合わせることで、標準のFNTモデルから比較的単語エラー率を9.48%削減できる。
論文 参考訳（メタデータ） (2022-12-05T02:52:21Z) - CHAPTER: Exploiting Convolutional Neural Network Adapters for
Self-supervised Speech Models [62.60723685118747]
自己教師付き学習(SSL)は、ラベルのないデータから表現を学習するための強力な技術である。
特徴抽出器にCNNアダプタを適用し,SSL音声モデルに特化して設計された効率的なチューニング手法を提案する。
特徴抽出器にCNNを追加することで、感情や話者のタスクへの適応が促進されることを実証的に見出した。
論文 参考訳（メタデータ） (2022-12-01T08:50:12Z) - Zoo-Tuning: Adaptive Transfer from a Zoo of Models [82.9120546160422]
Zoo-Tuningは、事前訓練されたモデルのパラメータをターゲットタスクに適応的に転送することを学ぶ。
我々は、強化学習、画像分類、顔のランドマーク検出など、様々なタスクに対するアプローチを評価した。
論文 参考訳（メタデータ） (2021-06-29T14:09:45Z) - On-the-Fly Adaptation of Source Code Models using Meta-Learning [28.98699307030983]
文脈適応の問題はメタラーニングの問題である。
我々は、欠落したトークンの予測を改善するために、ファイル内の情報から最もよく学習できるベースソースコードモデルを訓練する。
大規模なJava GitHubコーパスの実験において、パフォーマンスの改善を実証した。
論文 参考訳（メタデータ） (2020-03-26T07:11:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。