論文の概要: Uncertainty-Aware Data-Efficient AI: An Information-Theoretic Perspective
- arxiv url: http://arxiv.org/abs/2512.05267v1
- Date: Thu, 04 Dec 2025 21:44:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-13 22:40:56.81991
- Title: Uncertainty-Aware Data-Efficient AI: An Information-Theoretic Perspective
- Title（参考訳）: 不確実性を考慮したデータ効率AI - 情報理論の視点から
- Authors: Osvaldo Simeone, Yaniv Romano,
- Abstract要約: ロボット工学、電気通信、医療といったコンテキスト固有のアプリケーションでは、人工知能システムは訓練データに制限があるという課題に直面していることが多い。
本稿では,2つの相補的手法を用いて,データ制限体制に対処する形式的手法について検討する。
- 参考スコア（独自算出の注目度）: 48.073471560778984
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In context-specific applications such as robotics, telecommunications, and healthcare, artificial intelligence systems often face the challenge of limited training data. This scarcity introduces epistemic uncertainty, i.e., reducible uncertainty stemming from incomplete knowledge of the underlying data distribution, which fundamentally limits predictive performance. This review paper examines formal methodologies that address data-limited regimes through two complementary approaches: quantifying epistemic uncertainty and mitigating data scarcity via synthetic data augmentation. We begin by reviewing generalized Bayesian learning frameworks that characterize epistemic uncertainty through generalized posteriors in the model parameter space, as well as ``post-Bayes'' learning frameworks. We continue by presenting information-theoretic generalization bounds that formalize the relationship between training data quantity and predictive uncertainty, providing a theoretical justification for generalized Bayesian learning. Moving beyond methods with asymptotic statistical validity, we survey uncertainty quantification methods that provide finite-sample statistical guarantees, including conformal prediction and conformal risk control. Finally, we examine recent advances in data efficiency by combining limited labeled data with abundant model predictions or synthetic data. Throughout, we take an information-theoretic perspective, highlighting the role of information measures in quantifying the impact of data scarcity.
- Abstract（参考訳）: ロボット工学、電気通信、医療といったコンテキスト固有のアプリケーションでは、人工知能システムは訓練データに制限があるという課題に直面していることが多い。
この不足は疫学的な不確実性、すなわち、根底にあるデータ分布の不完全な知識から生じる再現可能な不確実性を導入し、予測性能を根本的に制限する。
本稿では,2つの相補的アプローチにより,データ制限体制に対処する形式的手法について検討する。
まず、モデルパラメータ空間の一般化後部を特徴付ける一般的なベイズ学習フレームワークと、 `post-Bayes'学習フレームワークのレビューから始める。
我々は、トレーニングデータ量と予測不確実性の関係を定式化する情報理論の一般化境界を提示し、一般化ベイズ学習の理論的正当性を提供する。
漸近的な統計的妥当性を持つ手法を超えて、共形予測や共形リスク制御を含む有限サンプル統計保証を提供する不確実性定量化手法を調査した。
最後に,限られたラベル付きデータと豊富なモデル予測や合成データを組み合わせることで,データ効率の最近の進歩を考察する。
情報理論の観点からは,データ不足の影響の定量化における情報尺度の役割を強調した。
関連論文リスト
- Robust Molecular Property Prediction via Densifying Scarce Labeled Data [53.24886143129006]
薬物発見において、研究を進める上で最も重要な化合物は、しばしば訓練セットを越えている。
本稿では, ラベル付きデータを利用して, 分布内データ(ID)と分布外データ(OOD)を補間する2段階最適化手法を提案する。
論文 参考訳（メタデータ） (2025-06-13T15:27:40Z) - Statistical Guarantees in Synthetic Data through Conformal Adversarial Generation [1.3654846342364308]
既存の生成モデルは魅力的な合成サンプルを生成するが、基礎となるデータ分布との関係に関する厳密な統計的保証は欠如している。
本稿では,共形予測手法をGAN(Generative Adrial Networks)に組み込んだ新しいフレームワークを提案する。
このアプローチは、CGAN(Conformalized GAN)と呼ばれ、従来のGANの生成能力を維持しながら、キャリブレーション特性の強化を示す。
論文 参考訳（メタデータ） (2025-04-23T19:07:44Z) - Uncertainty for Active Learning on Graphs [70.44714133412592]
不確実性サンプリングは、機械学習モデルのデータ効率を改善することを目的とした、アクティブな学習戦略である。
予測の不確実性を超えた不確実性サンプリングをベンチマークし、他のアクティブラーニング戦略に対する大きなパフォーマンスギャップを強調します。
提案手法は,データ生成プロセスの観点から基幹的ベイズ不確実性推定法を開発し,不確実性サンプリングを最適クエリへ導く上での有効性を実証する。
論文 参考訳（メタデータ） (2024-05-02T16:50:47Z) - Perturbation-Assisted Sample Synthesis: A Novel Approach for Uncertainty
Quantification [3.175239447683357]
本稿では、摂動支援サンプル合成(PASS)法により生成された合成データを利用した新しい摂動支援推論(PAI)フレームワークを提案する。
このフレームワークは、複雑なデータシナリオ、特に非構造化データの不確実性定量化に焦点を当てている。
我々は、画像合成、感情語分析、マルチモーダル推論、予測区間の構築など、様々な分野に適用することで、複雑なデータ駆動タスクにおける不確実性定量化を推し進める上で、PAIの有効性を実証する。
論文 参考訳（メタデータ） (2023-05-30T01:01:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。