論文の概要: ChipAlign: Instruction Alignment in Large Language Models for Chip Design via Geodesic Interpolation

• arxiv url: http://arxiv.org/abs/2412.19819v1
• Date: Sun, 15 Dec 2024 04:21:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 21:40:40.762025
• Title: ChipAlign: Instruction Alignment in Large Language Models for Chip Design via Geodesic Interpolation
• Title（参考訳）: ChipAlign:測地的補間によるチップ設計のための大規模言語モデルにおける命令アライメント
• Authors: Chenhui Deng, Yunsheng Bai, Haoxing Ren,
• Abstract要約: ChipAlign は一般的な命令整列 LLM の強みとチップ固有の LLM を組み合わせる。 ChipAlign は既存のチップ LLM の命令追従能力を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 7.660954005766763
• License:
• Abstract: Recent advancements in large language models (LLMs) have expanded their application across various domains, including chip design, where domain-adapted chip models like ChipNeMo have emerged. However, these models often struggle with instruction alignment, a crucial capability for LLMs that involves following explicit human directives. This limitation impedes the practical application of chip LLMs, including serving as assistant chatbots for hardware design engineers. In this work, we introduce ChipAlign, a novel approach that utilizes a training-free model merging strategy, combining the strengths of a general instruction-aligned LLM with a chip-specific LLM. By considering the underlying manifold in the weight space, ChipAlign employs geodesic interpolation to effectively fuse the weights of input LLMs, producing a merged model that inherits strong instruction alignment and chip expertise from the respective instruction and chip LLMs. Our results demonstrate that ChipAlign significantly enhances instruction-following capabilities of existing chip LLMs, achieving up to a 26.6% improvement on the IFEval benchmark, while maintaining comparable expertise in the chip domain. This improvement in instruction alignment also translates to notable gains in instruction-involved QA tasks, delivering performance enhancements of 3.9% on the OpenROAD QA benchmark and 8.25% on production-level chip QA benchmarks, surpassing state-of-the-art baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、チップ設計を含む様々な分野に応用を広げており、CipNeMoのようなドメイン適応型チップモデルが出現している。 しかしながら、これらのモデルは、明示的な人間の指示に従うことを含むLSMにとって重要な能力である命令アライメントに苦しむことが多い。 この制限は、ハードウェア設計エンジニアのアシスタントチャットボットなど、チップLLMの実践的応用を妨げる。 本稿では,学習不要なモデルマージ戦略を利用する新しいアプローチであるChipAlignを紹介し,汎用的な命令整合 LLM とチップ固有の LLM の強みを組み合わせる。 重み空間の基底多様体を考えることにより、ChipAlign はジオデシック補間を用いて入力 LLM の重みを効果的に融合させ、それぞれの命令とチップ LLM から強い命令アライメントとチップの専門知識を継承するマージモデルを生成する。 IFEvalベンチマークでは,チップ領域で同等の専門知識を維持しつつ,最大26.6%の改善を実現した。 この命令アライメントの改善は、命令に関連するQAタスクの顕著な向上をもたらし、OpenROAD QAベンチマークで3.9%、プロダクションレベルのチップQAベンチマークで8.25%のパフォーマンス向上を実現し、最先端のベースラインを超えた。

関連論文リスト

• Towards Self-Improvement of LLMs via MCTS: Leveraging Stepwise Knowledge with Curriculum Preference Learning [70.16816087320585]
  モンテカルロ木探索 (MCTS) はLLMの推論能力を高める強力な手法として登場した。 既存の蒸留法はMCTSによって生成された豊富な軌跡情報を利用する。 提案するAlphaLLM-CPLは, LLMがMCTSの挙動蒸留により自己改善できる新しいペアワイズトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2024-10-09T03:20:02Z)
• VinePPO: Unlocking RL Potential For LLM Reasoning Through Refined Credit Assignment [66.80143024475635]
  VinePPOは不偏のモンテカルロ推定を計算するための簡単な手法である。 我々は、VinePPOが、MATHおよびGSM8Kデータセット間でPPOや他のRLフリーベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)
• Deeploy: Enabling Energy-Efficient Deployment of Small Language Models On Heterogeneous Microcontrollers [11.365735615086292]
  Deeployは新しいDeep Neural Network(DNN)コンパイラで、最小限のランタイムサポートを必要とする高度に最適化されたCコードを生成する。 Deeploy は RV32 コアの命令拡張と NPU をフル活用して,SLM の実行のためのエンドツーエンドコードを生成する。 我々は,TinyStoriesデータセットでトレーニングしたSLMに対して,毎秒SI340TokenでSI490マイクロジュールの最先端エネルギーとスループットを実現する。
  論文  参考訳（メタデータ） (2024-08-08T12:40:27Z)
• Designing Efficient LLM Accelerators for Edge Devices [1.4128048241287314]
  大きな言語モデル(LLM)は、リソース制約のあるエッジデバイスにデプロイすることで、ネットワーク接続への依存を低減し、よりプライバシーを提供する。 この問題に対処するため、LLM推論のための新しい効率的なエッジアクセラレータを設計することが重要である。 本稿では,効率的なFPGAベースのLCMアクセラレータの設計,統合,展開プロセスの合理化にSECDA手法を用いるSECDA-LLMを提案する。
  論文  参考訳（メタデータ） (2024-08-01T11:06:05Z)
• Benchmarking End-To-End Performance of AI-Based Chip Placement Algorithms [77.71341200638416]
  ChiPBenchはAIベースのチップ配置アルゴリズムの有効性を評価するために設計されたベンチマークである。 評価のために、さまざまなドメイン(CPU、GPU、マイクロコントローラなど)から20の回路を集めました。 その結果, 単点アルゴリズムの中間距離が支配的であったとしても, 最終的なPPA結果は満足できないことがわかった。
  論文  参考訳（メタデータ） (2024-07-03T03:29:23Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models [79.46938238953916]
  多様なアプリケーションへの微調整された大規模言語モデル(LLM)は、複雑な要求を満たすために不可欠である。 近年の研究では、微調整LDMをベースモデルと対応するデルタウェイトに分解し、低ランクまたは低ビットのアプローチで圧縮してコストを削減することが示唆されている。 本研究では,従来の低ランク圧縮法と低ビット圧縮法がタスク固有の微調整LDMのモデル性能を著しく損なうことを観察する。
  論文  参考訳（メタデータ） (2024-06-13T07:57:27Z)
• Assessing Economic Viability: A Comparative Analysis of Total Cost of Ownership for Domain-Adapted Large Language Models versus State-of-the-art Counterparts in Chip Design Coding Assistance [10.364901568556435]
  本稿では,ドメイン適応型大言語モデル (LLM) と最先端LLM (SoTA) の比較検討を行った。
  論文  参考訳（メタデータ） (2024-04-12T23:37:56Z)
• ChipNeMo: Domain-Adapted LLMs for Chip Design [19.43613652552849]
  ChipNeMoは、産業用チップ設計のための大規模言語モデル(LLM)の応用を探求することを目的としている。 ドメイン適応型トークン化、ドメイン適応型継続事前トレーニング、ドメイン固有命令とのモデルアライメント、ドメイン適応型検索モデルを採用する。
  論文  参考訳（メタデータ） (2023-10-31T22:35:58Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。