論文の概要: COSMosFL: Ensemble of Small Language Models for Fault Localisation

• arxiv url: http://arxiv.org/abs/2502.02908v1
• Date: Wed, 05 Feb 2025 06:09:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:29:08.112607
• Title: COSMosFL: Ensemble of Small Language Models for Fault Localisation
• Title（参考訳）: COSMosFL: フォールトローカライゼーションのための小さな言語モデルの集合
• Authors: Hyunjoon Cho, Sungmin Kang, Gabin An, Shin Yoo,
• Abstract要約: 投票機構を用いたタスクレベルのLCMアンサンブル手法であるCOSMosを提案する。 本稿では, LLMの精度とエネルギー消費, 推定時間, 使用するトークン数といった様々なコストとの間の費用対効果のトレードオフについて報告する。
• 参考スコア（独自算出の注目度）: 11.720815956899116
• License:
• Abstract: LLMs are rapidly being adopted to build powerful tools and agents for software engineering, but most of them rely heavily on extremely large closed-source models. This, in turn, can hinder wider adoption due to security issues as well as financial cost and environmental impact. Recently, a number of open source Small Language Models (SLMs) are being released and gaining traction. While SLMs are smaller, more energy-efficient, and therefore easier to locally deploy, they tend to show worse performance when compared to larger closed LLMs. We present COSMos, a task-level LLM ensemble technique that uses voting mechanism, to provide a broader range of choice between SLMs and LLMs. We instantiate COSMos with an LLM-based Fault Localisation technique, AutoFL, and report the cost-benefit trade-off between LLM accuracy and various costs such as energy consumption, inference time, and the number of tokens used. An empirical evaluation using Defects4J shows that COSMos can build effective ensembles that can achieve Pareto-optimality in terms of FL accuracy and inference cost, when compared to individual models.
• Abstract（参考訳）: LLMは、ソフトウェアエンジニアリングのための強力なツールやエージェントを構築するために急速に採用されているが、そのほとんどは非常に大きなクローズドソースモデルに依存している。 これにより、セキュリティ上の問題や経済的コスト、環境への影響などにより、広く採用されなくなる可能性がある。 最近、多くのオープンソースのSmall Language Models (SLM)がリリースされ、勢いを増している。 SLMはより小さく、エネルギー効率が良く、局所展開が容易であるが、大型の閉LLMに比べて性能が劣る傾向にある。 投票機構を用いたタスクレベルLLMアンサンブル手法であるCOSMosを提案し,SLMとLLMの幅広い選択肢を提供する。 我々は,LCMに基づく障害局所化手法であるAutoFLを用いてCOSMosをインスタンス化し,LCMの精度とエネルギー消費,推論時間,トークン数といった様々なコストとのコスト対効果のトレードオフを報告する。 Defects4Jを用いた実証的な評価は、COSMosが個々のモデルと比較した場合、FL精度と推論コストの点でパレート最適性を達成できる効果的なアンサンブルを構築することができることを示している。

関連論文リスト

• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• A Little Help Goes a Long Way: Efficient LLM Training by Leveraging Small LMs [74.35290684163718]
  大規模言語モデル(LLM)開発における最大の課題は、その面倒な事前トレーニングコストである。 本稿では,小言語モデル(SLM)を活用して,LLMの事前学習効率と品質を改善するための有望なパラダイムについて検討する。
  論文  参考訳（メタデータ） (2024-10-24T14:31:52Z)
• LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [70.19607283302712]
  本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。 具体的には,l-MLLMとs-MLLMの視覚的テキスト出力分布のばらつきを最小限に抑えるために,MDist(Multimodal Distillation)を導入する。 また,S-MLLMの可能性を完全に活用するための3段階学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T17:41:28Z)
• AdaSwitch: Adaptive Switching between Small and Large Agents for Effective Cloud-Local Collaborative Learning [36.37717583840935]
  本研究では,大規模クラウドベースLLMと小規模ローカルデプロイLLMの協調運用を容易にする新しいLCM利用パラダイムを提案する。 本フレームワークは,比較的小型のLLMをインスタンス化したローカルエージェントと,大型のLLMを搭載したクラウドエージェントの2つの主要モジュールから構成される。 この協調処理は、ローカルエージェントがエラーを内観的に識別し、クラウドエージェントから積極的に支援を求める適応機構によって実現される。
  論文  参考訳（メタデータ） (2024-10-17T03:07:37Z)
• Efficient Hybrid Inference for LLMs: Reward-Based Token Modelling with Selective Cloud Assistance [0.0]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおける例外的な性能で知られている。 より小型の言語モデル(SLM)は、より低価格のエッジデバイスにデプロイできるが、より大きなデバイスの性能に匹敵する。 本稿では,両モデルの強みを生かした新しいハイブリッド推論手法を提案する。
  論文  参考訳（メタデータ） (2024-09-15T15:12:45Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [70.09561665520043]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 強化学習における重み付き回帰を多エージェントシステムに拡張して理論的解析を行う。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)
• SMART: Automatically Scaling Down Language Models with Accuracy Guarantees for Reduced Processing Fees [21.801053526411415]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクの性能を大幅に向上させた。 高性能LLMの配備は、主にモデル性能の向上を目的としたパラメータの増大により、かなりのコストがかかる。 SMARTは,NLPタスクの推論コストを最小限に抑えつつ,十分な結果品質を確保するために設計された新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-03-11T17:45:47Z)
• Any-Precision LLM: Low-Cost Deployment of Multiple, Different-Sized LLMs [3.450141240227484]
  大規模言語モデル(LLM)の任意の精度量子化のための軽量な手法を提案する。 我々のソリューションは、複数の異なるサイズのLCMをデプロイする際のコストを大幅に削減します。 ビット幅の異なる全てのLLMは、最先端のモデル品質と推論スループットを示している。
  論文  参考訳（メタデータ） (2024-02-16T09:06:06Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Cache me if you Can: an Online Cost-aware Teacher-Student framework to Reduce the Calls to Large Language Models [13.799197575126442]
  中小企業(中小企業)は、大規模なタスク固有のトレーニングデータセットを作成する費用を支払うことができない。 大規模言語モデルをプロンプトできるサードパーティサービスは、現在、通話1回あたりの支払いを必要としている。 本稿では,従来の応答をキャッシュし,ローカルな安価なモデルをトレーニングすることで,LCMへの呼び出しを削減できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T10:05:07Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。