論文の概要: Advancing Deep Learning through Probability Engineering: A Pragmatic Paradigm for Modern AI

• arxiv url: http://arxiv.org/abs/2503.18958v1
• Date: Wed, 19 Mar 2025 07:48:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 20:14:23.730864
• Title: Advancing Deep Learning through Probability Engineering: A Pragmatic Paradigm for Modern AI
• Title（参考訳）: 確率工学によるディープラーニングの実践 - 現代AIの実践的パラダイム
• Authors: Jianyi Zhang,
• Abstract要約: 本稿では,Deep Learningにおける確率分布を工学的アーティファクトとして扱う新しい概念であるProbability Engineeringを提案する。 既存の確率分布を洗練させ、その堅牢性、効率性、適応性、信頼性を向上させる新しい手法と制約を導入する。 ケーススタディは、大規模でデータ集約的で信頼性の高いAIシステムの多様性と進化する要件を満たすために、かつて静的オブジェクトとして扱われた確率分布をどのように設計するかを示す。
• 参考スコア（独自算出の注目度）: 9.126527152752146
• License:
• Abstract: Recent years have witnessed the rapid progression of deep learning, pushing us closer to the realization of AGI (Artificial General Intelligence). Probabilistic modeling is critical to many of these advancements, which provides a foundational framework for capturing data distributions. However, as the scale and complexity of AI applications grow, traditional probabilistic modeling faces escalating challenges, such as high-dimensional parameter spaces, heterogeneous data sources, and evolving real-world requirements often render classical approaches insufficiently flexible. This paper proposes a novel concept, Probability Engineering, which treats the already-learned probability distributions within deep learning as engineering artifacts. Rather than merely fitting or inferring distributions, we actively modify and reinforce them to better address the diverse and evolving demands of modern AI. Specifically, Probability Engineering introduces novel techniques and constraints to refine existing probability distributions, improving their robustness, efficiency, adaptability, or trustworthiness. We showcase this paradigm through a series of applications spanning Bayesian deep learning, Edge AI (including federated learning and knowledge distillation), and Generative AI (such as text-to-image generation with diffusion models and high-quality text generation with large language models). These case studies demonstrate how probability distributions once treated as static objects can be engineered to meet the diverse and evolving requirements of large-scale, data-intensive, and trustworthy AI systems. By systematically expanding and strengthening the role of probabilistic modeling, Probability Engineering paves the way for more robust, adaptive, efficient, and trustworthy deep learning solutions in today's fast-growing AI era.
• Abstract（参考訳）: 近年、ディープラーニングの急速な進歩を目撃し、AGI(Artificial General Intelligence)の実現に迫られている。 確率的モデリングはこれらの進歩の多くに欠かせないものであり、データ分散をキャプチャするための基盤となるフレームワークを提供する。 しかし、AIアプリケーションの規模と複雑さが大きくなるにつれて、従来の確率論的モデリングは、高次元のパラメータ空間や異種データソース、進化する現実世界の要求といった課題に直面する。 本稿では,Deep Learningにおける確率分布を工学的アーティファクトとして扱う新しい概念であるProbability Engineeringを提案する。 分散を単に適合させたり、推論したりするのではなく、現代のAIの多様性と進化する要求に対処するために、積極的に修正し、強化します。 具体的には、確率工学(Probability Engineering)は、既存の確率分布を洗練させ、その堅牢性、効率性、適応性、信頼性を向上させる新しい技術と制約を導入する。 このパラダイムを、ベイジアンディープラーニング、エッジAI(フェデレーション学習と知識蒸留を含む)、ジェネレーティブAI(拡散モデルによるテキスト・ツー・イメージ生成、大規模言語モデルによる高品質テキスト生成など)にまたがる一連のアプリケーションを通じて紹介する。 これらのケーススタディは、大規模でデータ集約的で信頼性の高いAIシステムの多様性と進化する要求を満たすために、かつて静的オブジェクトとして扱われた確率分布をどのように設計するかを示す。 確率的モデリング(probabilistic modeling)の役割を体系的に拡張し、強化することにより、確率工学(Probability Engineering)は、今日の急成長するAI時代において、より堅牢で適応性があり、効率的で、信頼できるディープラーニングソリューションを実現する道を開く。

関連論文リスト

• Generative AI like ChatGPT in Blockchain Federated Learning: use cases, opportunities and future [4.497001527881303]
  本研究は、フェデレーション学習における生成AIの潜在的な統合について検討する。 GAN(generative adversarial Network)とVAE(variantal autoencoder) 合成データの生成は、限られたデータ可用性に関連する課題に、フェデレートされた学習を支援する。
  論文  参考訳（メタデータ） (2024-07-25T19:43:49Z)
• On the Challenges and Opportunities in Generative AI [157.96723998647363]
  私たちは、現在の大規模な生成AIモデルは、ドメイン間で広く採用されるのを妨げるいくつかの根本的な欠点を示しています。 我々は、研究者に実りある研究の方向性を探るための洞察を提供することを目標とし、より堅牢でアクセスしやすい生成AIソリューションの開発を促進する。
  論文  参考訳（メタデータ） (2024-02-28T15:19:33Z)
• AI-Generated Images as Data Source: The Dawn of Synthetic Era [61.879821573066216]
  生成AIは、現実世界の写真によく似た合成画像を作成する可能性を解き放った。 本稿では、これらのAI生成画像を新しいデータソースとして活用するという革新的な概念を探求する。 実際のデータとは対照的に、AI生成データには、未整合のアブリダンスやスケーラビリティなど、大きなメリットがある。
  論文  参考訳（メタデータ） (2023-10-03T06:55:19Z)
• A spectrum of physics-informed Gaussian processes for regression in engineering [0.0]
  センサとデータ全般の可用性は向上していますが、純粋なデータ駆動アプローチから多くのサービス内エンジニアリングシステムや構造を完全に特徴づけることはできません。 本稿では、限られたデータで予測モデルを作成する能力を高めるために、機械学習技術と物理に基づく推論の組み合わせを追求する。
  論文  参考訳（メタデータ） (2023-09-19T14:39:03Z)
• Principled Knowledge Extrapolation with GANs [92.62635018136476]
  我々は,知識外挿の新たな視点から,対実合成を研究する。 本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。 提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
  論文  参考訳（メタデータ） (2022-05-21T08:39:42Z)
• INTERN: A New Learning Paradigm Towards General Vision [117.3343347061931]
  我々はInterNという新しい学習パラダイムを開発した。 複数の段階の複数のソースからの監視信号を用いて学習することにより、トレーニング対象のモデルは強力な一般化性を生み出す。 ほとんどの場合、ターゲットドメインのトレーニングデータの10%しか適応していないモデルが、完全なデータセットでトレーニングされたトレーニングデータよりも優れています。
  論文  参考訳（メタデータ） (2021-11-16T18:42:50Z)
• WenLan 2.0: Make AI Imagine via a Multimodal Foundation Model [74.4875156387271]
  我々は,膨大なマルチモーダル(視覚的・テキスト的)データを事前学習した新しい基礎モデルを開発する。 そこで本研究では,様々な下流タスクにおいて,最先端の成果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T12:25:21Z)
• Modeling Item Response Theory with Stochastic Variational Inference [8.369065078321215]
  項目応答理論(IRT)のための変分ベイズ推論アルゴリズムを提案する。 この手法を5つの大規模項目応答データセットに適用すると、欠落したデータを出力する際の高いログ可能性と高い精度が得られる。 アルゴリズムの実装はオープンソースであり、簡単に利用できる。
  論文  参考訳（メタデータ） (2021-08-26T05:00:27Z)
• Efficient Model-Based Reinforcement Learning through Optimistic Policy Search and Planning [93.1435980666675]
  最先端の強化学習アルゴリズムと楽観的な探索を容易に組み合わせることができることを示す。 我々の実験は、楽観的な探索が行動に罰則がある場合、学習を著しくスピードアップすることを示した。
  論文  参考訳（メタデータ） (2020-06-15T18:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。