論文の概要: Iceberg: Enhancing HLS Modeling with Synthetic Data

• arxiv url: http://arxiv.org/abs/2507.09948v2
• Date: Sat, 19 Jul 2025 21:32:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 12:28:43.132549
• Title: Iceberg: Enhancing HLS Modeling with Synthetic Data
• Title（参考訳）: Iceberg: 合成データによるHLSモデリングの強化
• Authors: Zijian Ding, Tung Nguyen, Weikai Li, Aditya Grover, Yizhou Sun, Jason Cong,
• Abstract要約: Icebergは、LLM(Big Language Model)生成プログラムと、目に見えない設計構成の弱いラベルの両方を拡張する合成データ拡張アプローチである。 我々の弱いラベル生成方法はコンテキスト内モデルアーキテクチャと統合され、実際のラベルや近親ラベルからのメタラーニングを可能にする。
• 参考スコア（独自算出の注目度）: 61.48659845413156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning-based prediction models for High-Level Synthesis (HLS) of hardware designs often struggle to generalize. In this paper, we study how to close the generalizability gap of these models through pretraining on synthetic data and introduce Iceberg, a synthetic data augmentation approach that expands both large language model (LLM)-generated programs and weak labels of unseen design configurations. Our weak label generation method is integrated with an in-context model architecture, enabling meta-learning from actual and proximate labels. Iceberg improves the geometric mean modeling accuracy by $86.4\%$ when adapt to six real-world applications with few-shot examples and achieves a $2.47\times$ and a $1.12\times$ better offline DSE performance when adapting to two different test datasets. Our open-sourced code is here: https://github.com/UCLA-VAST/iceberg
• Abstract（参考訳）: ハードウェア設計におけるHLS(High-Level Synthesis)のディープラーニングに基づく予測モデルは、一般化に苦慮することが多い。 本稿では,これらのモデルの一般化可能性のギャップを,合成データによる事前学習によって埋める方法について検討し,大規模言語モデル(LLM)生成プログラムと,目に見えない設計構成の弱いラベルの両方を拡張する合成データ拡張手法であるIcebergを紹介する。 我々の弱いラベル生成方法はコンテキスト内モデルアーキテクチャと統合され、実際のラベルや近親ラベルからのメタラーニングを可能にする。 Icebergは6つの実世界のアプリケーションに適用した場合、幾何学平均モデリングの精度を8.4 %$で改善し、2つの異なるテストデータセットに適応する場合、$2.47\times$と$1.12\times$のオフラインDSEパフォーマンスを達成している。 当社のオープンソースコードはこちら。https://github.com/UCLA-VAST/iceberg

関連論文リスト

• Aleph-Alpha-GermanWeb: Improving German-language LLM pre-training with model-based data curation and synthetic data generation [6.6723686572805185]
  本稿では,モデルに基づくフィルタリング手法と合成データ生成を組み合わせたドイツ語データセットパイプラインを提案する。 パイプラインを使用して、大規模なドイツの事前トレーニングデータセットであるAleph-Alpha-GermanWebを作成します。 MMMLUを含むドイツ語のベンチマークの比較では、FineWeb2だけでAleph-Alpha-GermanWebのパフォーマンスが大幅に向上している。
  論文  参考訳（メタデータ） (2025-04-24T17:23:46Z)
• Scaling Laws of Synthetic Data for Language Models [132.67350443447611]
  プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。 提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
  論文  参考訳（メタデータ） (2025-03-25T11:07:12Z)
• DreamMask: Boosting Open-vocabulary Panoptic Segmentation with Synthetic Data [61.62554324594797]
  オープンな語彙設定でトレーニングデータを生成する方法と、実データと合成データの両方でモデルをトレーニングする方法を探索するDreamMaskを提案する。 一般的に、DreamMaskは大規模なトレーニングデータの収集を著しく単純化し、既存のメソッドのプラグイン・アンド・プレイ・エンハンスメントとして機能する。 例えば、COCOで訓練しADE20Kで試験すると、ドリームマスクを装備したモデルは以前の最先端の2.1% mIoUよりも優れていた。
  論文  参考訳（メタデータ） (2025-01-03T19:00:00Z)
• ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
  ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。 我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
  論文  参考訳（メタデータ） (2024-09-02T03:19:56Z)
• Foundational GPT Model for MEG [3.524869467682149]
  本研究では,脳信号の予測を用いて学習可能な2種類のディープラーニング基礎モデルを提案する。 まず、改良されたWavenetを検討し、次に、改良されたTransformer-based (GPT2)モデルを検討する。 我々は,これらのディープラーニングモデルの性能を,MEGデータに基づく標準的な線形自己回帰(AR)モデルと比較する。
  論文  参考訳（メタデータ） (2024-04-14T13:48:24Z)
• From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition [64.59093444558549]
  我々はFrom Fake to Realと呼ぶシンプルで簡単に実装できる2段階のトレーニングパイプラインを提案する。 実データと合成データを別々にトレーニングすることで、FFRは実データと合成データの統計的差異にモデルを公開しない。 実験の結果,FFRは3つのデータセットに対して,最先端のグループ精度を最大20%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-08-08T19:52:28Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Ensembling and Knowledge Distilling of Large Sequence Taggers for Grammatical Error Correction [0.0]
  大規模構成における最先端トランスフォーマーを用いたエンコーダのアンサンブルに着目し, GEC シーケンスタグアーキテクチャの改善について検討する。 私たちの最高のアンサンブルはBEA 2019でF_0.5$スコア76.05という新しいSOTA結果を達成する(テスト)。 さらに、訓練アンサンブルを用いて知識蒸留を行い、新しい合成訓練データセット「Troy-Blogs」と「Troy-1BW」を生成する。
  論文  参考訳（メタデータ） (2022-03-24T13:18:36Z)
• Using GPT-2 to Create Synthetic Data to Improve the Prediction Performance of NLP Machine Learning Classification Models [0.0]
  機械学習モデルの性能を高めるために合成データを利用するのが一般的になっている。 Yelpのピザレストランレビューデータセットを使って、トレーニング済みのGPT-2 Transformer Modelを微調整して、合成ピザレビューデータを生成しました。 そして、この合成データを元の本物のデータと組み合わせて、新しい共同データセットを作成しました。
  論文  参考訳（メタデータ） (2021-04-02T20:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。