論文の概要: An Empirical Study on Strong-Weak Model Collaboration for Repo-level Code Generation

• arxiv url: http://arxiv.org/abs/2505.20182v1
• Date: Mon, 26 May 2025 16:25:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 19:27:26.937459
• Title: An Empirical Study on Strong-Weak Model Collaboration for Repo-level Code Generation
• Title（参考訳）: リポジトリレベルのコード生成のための強弱モデル協調に関する実証的研究
• Authors: Shubham Gandhi, Atharva Naik, Yiqing Xie, Carolyn Rose,
• Abstract要約: リポジトリレベルのコード生成のための強言語モデルと弱言語モデル間のコスト効率の協調について検討する。 私たちは、コンテキストベース、パイプラインベース、動的という、幅広いコラボレーション戦略を評価します。 最も効果的な協調戦略は、コストを40%削減しながら、強力なモデルと同等のパフォーマンスを達成することです。
• 参考スコア（独自算出の注目度）: 8.28760409619167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study cost-efficient collaboration between strong and weak language models for repository-level code generation, where the weak model handles simpler tasks at lower cost, and the most challenging tasks are delegated to the strong model. While many works propose architectures for this task, few analyze performance relative to cost. We evaluate a broad spectrum of collaboration strategies: context-based, pipeline-based, and dynamic, on GitHub issue resolution. Our most effective collaborative strategy achieves equivalent performance to the strong model while reducing the cost by 40%. Based on our findings, we offer actionable guidelines for choosing collaboration strategies under varying budget and performance constraints. Our results show that strong-weak collaboration substantially boosts the weak model's performance at a fraction of the cost, pipeline and context-based methods being most efficient. We release the code for our work at https://github.com/shubhamrgandhi/codegen-strong-weak-collab.
• Abstract（参考訳）: 我々は、リポジトリレベルのコード生成のための強力な言語モデルと弱い言語モデルの間のコスト効率のコラボレーションを調査し、弱いモデルはより単純なタスクを低コストで処理し、最も困難なタスクは強力なモデルに委譲する。 多くの研究がこのタスクのためにアーキテクチャを提案するが、コストに対してパフォーマンスを分析するものはほとんどない。 私たちは、GitHubのイシュー解決に基づいて、コンテキストベース、パイプラインベース、動的という、幅広いコラボレーション戦略を評価します。 最も効果的な協調戦略は、コストを40%削減しながら、強力なモデルと同等のパフォーマンスを達成することです。 本研究は,様々な予算と性能制約の下で協調戦略を選択するための実用的なガイドラインを提示する。 結果から,強弱協調は,コスト,パイプライン,コンテキストベースの手法のごく一部で,弱いモデルの性能を著しく向上させることがわかった。 私たちは、https://github.com/shubhamrgandhi/codegen-strong-weak-collab.comで仕事のコードを公開しています。

関連論文リスト

• Collaborative LLM Inference via Planning for Efficient Reasoning [50.04696654679751]
  本稿では,プランナーモデルがまず,その問題の蒸留および高レベルの抽象化として定義されたプランを生成するテストタイム協調フレームワークを提案する。 小型と大型のモデルは、プランナーと理性士として交代で働き、複雑なタスクを協調的に解決するために、多ラウンドのカスケードでプランを交換する。 提案手法は,強力なプロプライエタリモデルに匹敵する精度を実現し,有償推論への依存を著しく低減する。
  論文  参考訳（メタデータ） (2025-06-13T08:35:50Z)
• CoLA: Collaborative Low-Rank Adaptation [3.421904493396495]
  特定のタスクに対する事前学習モデルの微調整は、高い性能を達成するが、計算的に高価で非効率である。 LoRAは特に有効であることが証明されているが、マルチタスクシナリオへの応用はタスク間の干渉によって制限されている。 我々は、より柔軟なLoRAアーキテクチャと3つの協調戦略であるCoLAを提案し、$A$と$B$の間の量的関係をよりよく活用することでパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2025-05-21T12:46:42Z)
• MergeBench: A Benchmark for Merging Domain-Specialized LLMs [19.49737955489798]
  モデルマージを大規模に評価するための総合評価スイートであるMergeBenchを紹介する。 MergeBenchは、2Bから9BスケールのLlamaやGemmaファミリなど、最先端のオープンソース言語モデルを構築している。 マルチタスク性能, 忘れられたこと, 実行効率にまたがる8つの代表的なマージ手法を評価した。
  論文  参考訳（メタデータ） (2025-05-16T04:02:55Z)
• Synergistic Weak-Strong Collaboration by Aligning Preferences [53.47675666475273]
  現在のLarge Language Models (LLMs) は、プロプライエタリな知識やドメイン固有の知識を必要とする特別なタスクに苦戦する一般的な推論において優れている。 本稿では、特殊な弱いモデルと一般的な強いモデルとを組み合わせた協調的なフレームワークを提案する。 相補的な強みを活用することで、コラボレーションが各モデルを単独で著しく上回っていることが分かりました。
  論文  参考訳（メタデータ） (2025-04-21T15:57:33Z)
• Do We Truly Need So Many Samples? Multi-LLM Repeated Sampling Efficiently Scales Test-Time Compute [54.22256089592864]
  本稿では,テスト時間計算のスケールアップによるLCM性能向上のための,シンプルで効果的で費用効率のよい手法を提案する。 当社の戦略は,複数のモデルを組み込んで,補完的な強みを活用するという,新たなツイストによって,繰り返しサンプリングされる投票フレームワークを基盤としています。
  論文  参考訳（メタデータ） (2025-04-01T13:13:43Z)
• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• On Giant's Shoulders: Effortless Weak to Strong by Dynamic Logits Fusion [23.63688816017186]
  既存の弱強法では、静的な知識伝達比と、複雑な知識を伝達するための単一の小さなモデルを用いることが多い。 本稿では,複数のタスク固有小モデルに対して,それぞれ異なるタスクに特化して動作する動的ロジット融合手法を提案する。 本手法では,シングルタスクシナリオでは96.4%,マルチタスクシナリオでは86.3%のパフォーマンスギャップを埋める。
  論文  参考訳（メタデータ） (2024-06-17T03:07:41Z)
• Majority Kernels: An Approach to Leverage Big Model Dynamics for Efficient Small Model Training [32.154166415680066]
  蒸留、圧縮、量子化といった手法は、高性能な大きなモデルを利用してより小さな性能のモデルを誘導するのに役立つ。 本稿では、単一トレーニングランが同時に、より大きなパフォーマンスモデルをトレーニングし、より小さなデプロイメントモデルを導出できるという仮説を考察する。
  論文  参考訳（メタデータ） (2024-02-07T17:07:41Z)
• Planning for Sample Efficient Imitation Learning [52.44953015011569]
  現在の模倣アルゴリズムは、高い性能と高環境サンプル効率を同時に達成するのに苦労している。 本研究では,環境内サンプルの効率と性能を同時に達成できる計画型模倣学習手法であるEfficientImitateを提案する。 実験結果から,EIは性能と試料効率の両立を図った。
  論文  参考訳（メタデータ） (2022-10-18T05:19:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。