論文の概要: An Empirical Study on Strong-Weak Model Collaboration for Repo-level Code Generation

• arxiv url: http://arxiv.org/abs/2505.20182v1
• Date: Mon, 26 May 2025 16:25:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 19:27:26.937459
• Title: An Empirical Study on Strong-Weak Model Collaboration for Repo-level Code Generation
• Title（参考訳）: リポジトリレベルのコード生成のための強弱モデル協調に関する実証的研究
• Authors: Shubham Gandhi, Atharva Naik, Yiqing Xie, Carolyn Rose,
• Abstract要約: リポジトリレベルのコード生成のための強言語モデルと弱言語モデル間のコスト効率の協調について検討する。 私たちは、コンテキストベース、パイプラインベース、動的という、幅広いコラボレーション戦略を評価します。 最も効果的な協調戦略は、コストを40%削減しながら、強力なモデルと同等のパフォーマンスを達成することです。
• 参考スコア（独自算出の注目度）: 8.28760409619167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study cost-efficient collaboration between strong and weak language models for repository-level code generation, where the weak model handles simpler tasks at lower cost, and the most challenging tasks are delegated to the strong model. While many works propose architectures for this task, few analyze performance relative to cost. We evaluate a broad spectrum of collaboration strategies: context-based, pipeline-based, and dynamic, on GitHub issue resolution. Our most effective collaborative strategy achieves equivalent performance to the strong model while reducing the cost by 40%. Based on our findings, we offer actionable guidelines for choosing collaboration strategies under varying budget and performance constraints. Our results show that strong-weak collaboration substantially boosts the weak model's performance at a fraction of the cost, pipeline and context-based methods being most efficient. We release the code for our work at https://github.com/shubhamrgandhi/codegen-strong-weak-collab.
• Abstract（参考訳）: 我々は、リポジトリレベルのコード生成のための強力な言語モデルと弱い言語モデルの間のコスト効率のコラボレーションを調査し、弱いモデルはより単純なタスクを低コストで処理し、最も困難なタスクは強力なモデルに委譲する。 多くの研究がこのタスクのためにアーキテクチャを提案するが、コストに対してパフォーマンスを分析するものはほとんどない。 私たちは、GitHubのイシュー解決に基づいて、コンテキストベース、パイプラインベース、動的という、幅広いコラボレーション戦略を評価します。 最も効果的な協調戦略は、コストを40%削減しながら、強力なモデルと同等のパフォーマンスを達成することです。 本研究は,様々な予算と性能制約の下で協調戦略を選択するための実用的なガイドラインを提示する。 結果から,強弱協調は,コスト,パイプライン,コンテキストベースの手法のごく一部で,弱いモデルの性能を著しく向上させることがわかった。 私たちは、https://github.com/shubhamrgandhi/codegen-strong-weak-collab.comで仕事のコードを公開しています。

関連論文リスト

• CoLA: Collaborative Low-Rank Adaptation [3.421904493396495]
  特定のタスクに対する事前学習モデルの微調整は、高い性能を達成するが、計算的に高価で非効率である。 LoRAは特に有効であることが証明されているが、マルチタスクシナリオへの応用はタスク間の干渉によって制限されている。 我々は、より柔軟なLoRAアーキテクチャと3つの協調戦略であるCoLAを提案し、$A$と$B$の間の量的関係をよりよく活用することでパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2025-05-21T12:46:42Z)
• MergeBench: A Benchmark for Merging Domain-Specialized LLMs [19.49737955489798]
  モデルマージを大規模に評価するための総合評価スイートであるMergeBenchを紹介する。 MergeBenchは、2Bから9BスケールのLlamaやGemmaファミリなど、最先端のオープンソース言語モデルを構築している。 マルチタスク性能, 忘れられたこと, 実行効率にまたがる8つの代表的なマージ手法を評価した。
  論文  参考訳（メタデータ） (2025-05-16T04:02:55Z)
• Do We Truly Need So Many Samples? Multi-LLM Repeated Sampling Efficiently Scales Test-Time Compute [54.22256089592864]
  本稿では,テスト時間計算のスケールアップによるLCM性能向上のための,シンプルで効果的で費用効率のよい手法を提案する。 当社の戦略は,複数のモデルを組み込んで,補完的な強みを活用するという,新たなツイストによって,繰り返しサンプリングされる投票フレームワークを基盤としています。
  論文  参考訳（メタデータ） (2025-04-01T13:13:43Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• On Giant's Shoulders: Effortless Weak to Strong by Dynamic Logits Fusion [23.63688816017186]
  既存の弱強法では、静的な知識伝達比と、複雑な知識を伝達するための単一の小さなモデルを用いることが多い。 本稿では,複数のタスク固有小モデルに対して,それぞれ異なるタスクに特化して動作する動的ロジット融合手法を提案する。 本手法では,シングルタスクシナリオでは96.4%,マルチタスクシナリオでは86.3%のパフォーマンスギャップを埋める。
  論文  参考訳（メタデータ） (2024-06-17T03:07:41Z)
• Majority Kernels: An Approach to Leverage Big Model Dynamics for Efficient Small Model Training [32.154166415680066]
  蒸留、圧縮、量子化といった手法は、高性能な大きなモデルを利用してより小さな性能のモデルを誘導するのに役立つ。 本稿では、単一トレーニングランが同時に、より大きなパフォーマンスモデルをトレーニングし、より小さなデプロイメントモデルを導出できるという仮説を考察する。
  論文  参考訳（メタデータ） (2024-02-07T17:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。