論文の概要: One Model, Many Skills: Parameter-Efficient Fine-Tuning for Multitask Code Analysis

• arxiv url: http://arxiv.org/abs/2603.09978v1
• Date: Tue, 03 Feb 2026 15:07:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-15 16:38:22.515508
• Title: One Model, Many Skills: Parameter-Efficient Fine-Tuning for Multitask Code Analysis
• Title（参考訳）: 一つのモデルと多くのスキル:マルチタスクコード解析のためのパラメータ効率の良いファインチューニング
• Authors: Amal Akli, Maxime Cordy, Mike Papadakis, Yves Le Traon,
• Abstract要約: コード解析のためのマルチタスクPEFTの総合評価を行った。 実験の結果、1つのPEFTモジュールが一致し、場合によっては完全なマルチタスクの微調整に勝ることがわかった。 我々は,オープンソースの汎用LLMの直接的プロンプトに対して,効率的なマルチタスクPEFTをベンチマークする。
• 参考スコア（独自算出の注目度）: 21.26459132144385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have recently surpassed specialized systems on code generation, yet their effectiveness on other code-analysis tasks remains less clear. At the same time, multi-task learning offers a way to unify diverse objectives within a single model, but fully fine-tuning LLMs across tasks is computationally prohibitive. Parameter-efficient fine-tuning mitigates this cost by updating only a small fraction of weights. Although PEFT has proven effective in single-task settings, its potential for multi-task learning has not yet been systematically explored. We present the first comprehensive evaluation of multi-task PEFT for code analysis, comparing several methods across diverse tasks and model architectures. Our experiments show that a single PEFT module shared across tasks can match, and in some cases surpass, full multi-task fine-tuning, confirming that the benefits of PEFT extend beyond isolated tasks. When comparing single-task and multi-task setups, we find that multi-task PEFT achieves a favorable performance-efficiency trade-off: it delivers accuracy close to single-task fine-tuning while reducing storage requirements, cutting the number of trainable parameters by a factor of the task count, and lowering computation costs by as much as 85%. At the same time, multi-task gains remain sensitive to task grouping. Through task-pairing experiments, we identify key factors shaping outcomes: task stability, model architecture, task complementarity, asymmetry, and dataset quality determine the success of co-fine-tuning. Finally, we benchmark efficient multi-task PEFT against direct prompting of open-source general-purpose LLMs, including DeepSeek, Qwen, Mistral, CodeLlama, and StarCoder. Despite their strong performance in code generation, these models underperform on analysis tasks, where even a 1B-parameter model with multi-task PEFT achieves significantly better results.
• Abstract（参考訳）: 大規模言語モデルは、最近、コード生成の専門システムを超えたが、他のコード分析タスクにおけるそれらの効果は、まだ明らかになっていない。 同時に、マルチタスク学習は、単一のモデル内で多様な目的を統一する手段を提供するが、タスクをまたいだ完全な微調整 LLM は、計算的に禁止されている。 パラメータ効率の良い微調整は、このコストをほんのわずかの重みを更新することで軽減する。 PEFTはシングルタスク設定で有効であることが証明されているが、マルチタスク学習の可能性はまだ体系的に検討されていない。 本稿では,コード解析のためのマルチタスクPEFTの総合評価を行い,様々なタスクやモデルアーキテクチャにおけるいくつかの手法を比較した。 実験の結果,タスク間で共有される単一のPEFTモジュールが一致し,場合によってはマルチタスクの微調整を超越し,PEFTのメリットが孤立タスクを超えて拡張されることが確認された。 シングルタスクとマルチタスクのセットアップを比較すると、マルチタスクPEFTは、シングルタスクの微調整に近い精度で、ストレージ要求を減らし、トレーニング可能なパラメータの数をタスクカウントの要素で削減し、計算コストを最大85%削減する、優れたパフォーマンス効率トレードオフを実現することが分かる。 同時に、マルチタスクゲインはタスクグループ化に敏感である。 タスクペアリング実験を通じて、タスク安定性、モデルアーキテクチャ、タスク補完性、非対称性、データセット品質といった、成果を形作る重要な要因を特定し、コファインチューニングの成功を決定する。 最後に、DeepSeek、Qwen、Mistral、CodeLlama、StarCoderを含むオープンソースの汎用LLMの直接的プロンプトに対して、効率的なマルチタスクPEFTをベンチマークする。 コード生成の性能は高いが、これらのモデルは解析タスクでは性能が劣り、マルチタスクPEFTを用いた1Bパラメータモデルでさえ、より優れた結果が得られる。

関連論文リスト

• Parameter-Efficient Multi-Task Fine-Tuning in Code-Related Tasks [4.347703075408796]
  本稿では,コード生成,翻訳,要約という3つのタスクにまたがるマルチタスクQLoRAの微調整について検討する。 その結果,マルチタスクQLoRAは伝達学習を効果的に活用し,競争力や優れた性能を実現していることがわかった。 より大きなモデルは正しさと品質のバランスを保ち、より小さなモデルは機能を維持するが、品質に関する問題の発生頻度が高い。
  論文  参考訳（メタデータ） (2026-01-21T15:33:16Z)
• Bigger, Regularized, Categorical: High-Capacity Value Functions are Efficient Multi-Task Learners [60.75160178669076]
  オンライン強化学習におけるタスク干渉の問題に対して,クロスエントロピーを用いて訓練し,学習可能なタスク埋め込みを条件とした高容量値モデルの使用が課題であることを示す。 280以上のユニークなタスクを持つ7つのマルチタスクベンチマークで、高い自由度ヒューマノイド制御と離散視覚ベースのRLにまたがるアプローチを検証した。
  論文  参考訳（メタデータ） (2025-05-29T06:41:45Z)
• Cross-Task Affinity Learning for Multitask Dense Scene Predictions [5.939164722752263]
  マルチタスク学習(MTL)は,複数のタスクを同時に予測する能力で注目されている。 マルチタスクネットワークにおけるタスク改善を強化する軽量フレームワークであるクロスタスク親和性学習(CTAL)モジュールを紹介する。 以上の結果から,CNNとトランスフォーマーの両バックボーンに対して,シングルタスク学習よりもはるかに少ないパラメータを用いて,最先端のMTL性能を実証した。
  論文  参考訳（メタデータ） (2024-01-20T05:31:47Z)
• DiSparse: Disentangled Sparsification for Multitask Model Compression [92.84435347164435]
  DiSparseは、シンプルで効果的で、第一級のマルチタスクプルーニングとスパーストレーニングスキームである。 実験の結果,様々な設定や設定において優れた性能を示した。
  論文  参考訳（メタデータ） (2022-06-09T17:57:46Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Controllable Dynamic Multi-Task Architectures [92.74372912009127]
  本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。 本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
  論文  参考訳（メタデータ） (2022-03-28T17:56:40Z)
• Rethinking Hard-Parameter Sharing in Multi-Task Learning [20.792654758645302]
  マルチタスク学習(MTL)におけるハードパラメータ共有により、タスクはモデルのパラメータの一部を共有でき、ストレージコストを低減し、予測精度を向上させることができる。 共通の共有プラクティスは、タスク毎に別々のトップレイヤを使用しながら、タスク間でディープニューラルネットワークのボトムレイヤを共有することだ。 異なるボトム層パラメータを使用することで、一般的なプラクティスよりも大幅にパフォーマンスが向上する可能性がある。
  論文  参考訳（メタデータ） (2021-07-23T17:26:40Z)
• Small Towers Make Big Differences [59.243296878666285]
  マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。 マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。 本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
  論文  参考訳（メタデータ） (2020-08-13T10:45:31Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• Knowledge Distillation for Multi-task Learning [38.20005345733544]
  マルチタスク学習(MTL)は、全てのタスクで優れたパフォーマンスを達成し、計算コストを下げるための複数のタスクを実行する単一のモデルを学習することである。 そのようなモデルを学ぶには、難易度、大きさ、特性の異なる一連のタスクの損失を共同で最適化する必要がある。 本研究では,マルチタスク学習における不均衡問題に対処するために,知識蒸留に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T08:02:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。