論文の概要: Search-Optimized Quantization in Biomedical Ontology Alignment
- arxiv url: http://arxiv.org/abs/2507.13742v1
- Date: Fri, 18 Jul 2025 08:42:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-21 20:43:26.230685
- Title: Search-Optimized Quantization in Biomedical Ontology Alignment
- Title(参考訳): 生体オントロジーアライメントにおける探索最適化量子化
- Authors: Oussama Bouaggad, Natalia Grabar,
- Abstract要約: 新たなトレンドは、効率的なモデル最適化技術の未来を形作っている。
我々は、DEFT 2020評価キャンペーンの2つの課題について広範な評価を行い、両者で新たな最先端を達成する。
平均推定速度は20倍となり、メモリ使用量を約70%削減しました。
- 参考スコア(独自算出の注目度): 0.276240219662896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the fast-moving world of AI, as organizations and researchers develop more advanced models, they face challenges due to their sheer size and computational demands. Deploying such models on edge devices or in resource-constrained environments adds further challenges related to energy consumption, memory usage and latency. To address these challenges, emerging trends are shaping the future of efficient model optimization techniques. From this premise, by employing supervised state-of-the-art transformer-based models, this research introduces a systematic method for ontology alignment, grounded in cosine-based semantic similarity between a biomedical layman vocabulary and the Unified Medical Language System (UMLS) Metathesaurus. It leverages Microsoft Olive to search for target optimizations among different Execution Providers (EPs) using the ONNX Runtime backend, followed by an assembled process of dynamic quantization employing Intel Neural Compressor and IPEX (Intel Extension for PyTorch). Through our optimization process, we conduct extensive assessments on the two tasks from the DEFT 2020 Evaluation Campaign, achieving a new state-of-the-art in both. We retain performance metrics intact, while attaining an average inference speed-up of 20x and reducing memory usage by approximately 70%.
- Abstract(参考訳): 組織や研究者がより高度なモデルを開発するにつれて、AIの急速な動きは、そのサイズと計算上の要求のために困難に直面している。
このようなモデルをエッジデバイスやリソース制約のある環境にデプロイすることは、エネルギー消費、メモリ使用量、レイテンシに関するさらなる課題をもたらす。
これらの課題に対処するため、新しいトレンドは効率的なモデル最適化技術の未来を形作っている。
そこで本研究では, バイオメディカルライマン語彙とUMLSメタセソーラスのコサインに基づく意味的類似性に基づく, オントロジーアライメントの体系的手法を提案する。
Microsoft Oliveを利用して、ONNX Runtimeバックエンドを使用して、異なるExecution Provider(EP)間のターゲット最適化を検索し、その後、Intel Neural CompressorとIPEX(Intel Extension for PyTorch)を使用した動的量子化の組み立てプロセスを実行する。
最適化プロセスを通じて、我々は、DEFT 2020評価キャンペーンの2つのタスクについて広範囲に評価を行い、両者で新たな最先端を達成する。
平均推定速度は20倍となり、メモリ使用量を約70%削減した。
関連論文リスト
- Edge-Cloud Collaborative Computing on Distributed Intelligence and Model Optimization: A Survey [59.52058740470727]
エッジクラウドコラボレーティブコンピューティング(ECCC)は、現代のインテリジェントアプリケーションの計算要求に対処するための重要なパラダイムとして登場した。
AIの最近の進歩、特にディープラーニングと大規模言語モデル(LLM)は、これらの分散システムの能力を劇的に向上させてきた。
この調査は、基本的なアーキテクチャ、技術の実現、新しいアプリケーションに関する構造化されたチュートリアルを提供する。
論文 参考訳(メタデータ) (2025-05-03T13:55:38Z) - ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。
本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。
本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
論文 参考訳(メタデータ) (2025-03-24T13:11:22Z) - On Accelerating Edge AI: Optimizing Resource-Constrained Environments [1.7355861031903428]
リソース制約のあるエッジデプロイメントでは、厳格な計算、メモリ、エネルギー制限とハイパフォーマンスのバランスをとるAIソリューションが要求される。
本稿では,このような制約下でのディープラーニングモデルを加速するための主要な戦略について概観する。
論文 参考訳(メタデータ) (2025-01-25T01:37:03Z) - A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。
これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。
本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
論文 参考訳(メタデータ) (2024-12-18T14:11:15Z) - Synergistic Development of Perovskite Memristors and Algorithms for Robust Analog Computing [53.77822620185878]
本稿では,ペロブスカイト・メムリスタの製作を同時に最適化し,ロバストなアナログDNNを開発するための相乗的手法を提案する。
BO誘導ノイズインジェクションを利用したトレーニング戦略であるBayesMultiを開発した。
我々の統合されたアプローチは、より深くより広いネットワークでのアナログコンピューティングの使用を可能にし、最大100倍の改善を実現します。
論文 参考訳(メタデータ) (2024-12-03T19:20:08Z) - POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。
本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。
結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
論文 参考訳(メタデータ) (2024-09-30T16:05:29Z) - Combining Neural Architecture Search and Automatic Code Optimization: A Survey [0.8796261172196743]
ハードウェア対応ニューラルアーキテクチャサーチ(HW-NAS)と自動コード最適化(ACO)の2つの特長がある。
HW-NASは正確だがハードウェアフレンドリなニューラルネットワークを自動設計する。
この調査では、これらの2つのテクニックをひとつのフレームワークで組み合わせた最近の研究について調査する。
論文 参考訳(メタデータ) (2024-08-07T22:40:05Z) - Benchmarking Deep Learning Models on NVIDIA Jetson Nano for Real-Time Systems: An Empirical Investigation [2.3636539018632616]
この研究は、複雑なディープラーニングモデルの最適化を実証的に研究し、組み込みデバイス上で機能を分析する。
画像分類と映像行動検出のための推論速度の観点から最適化されたモデルの有効性を評価する。
論文 参考訳(メタデータ) (2024-06-25T17:34:52Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳(メタデータ) (2024-01-11T15:02:15Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳(メタデータ) (2023-05-25T10:58:46Z) - FreeREA: Training-Free Evolution-based Architecture Search [17.202375422110553]
FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。
本実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて,フリーレアがモデル自動設計のための高速で効率的かつ効果的な探索手法であることを実証した。
論文 参考訳(メタデータ) (2022-06-17T11:16:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。