論文の概要: Everywhere Learning: Artificial Intelligence with Pointwise Constraints
- arxiv url: http://arxiv.org/abs/2606.01557v1
- Date: Mon, 01 Jun 2026 02:02:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:29.863333
- Title: Everywhere Learning: Artificial Intelligence with Pointwise Constraints
- Title(参考訳): あらゆる場所で学ぶ:ポイントワイド制約による人工知能
- Authors: Ignacio Boero, Ignacio Hounie, Luiz Chamon, Alejandro Ribeiro,
- Abstract要約: あらゆる場所での学習は、AI(Artificial Intelligence)システムがデータ分布上の確率1による損失制約を満たすために訓練される新しいパラダイムである。
我々は、経験的および統計的学習問題の解間の近接性を確立する一般化解析の基盤となる近似双対理論を開発する。
- 参考スコア(独自算出の注目度): 74.0575431252406
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Everywhere learning is a new paradigm whereby Artificial Intelligence (AI) systems are trained to satisfy loss constraints with probability one over the data distribution. This is in contrast to the standard paradigm of training AI systems to minimize average losses. We develop an approximate duality theory to substantiate a generalization analysis that establishes the proximity between solutions of empirical and statistical everywhere learning problems. Our results show that dual variables reweigh the data distribution towards points in which loss constraints are more difficult to satisfy and that generalization is controlled by the mismatch between the concentration of mass of the data distribution and the concentration of mass on points where constraints are more difficult to satisfy. We further show that we can control generalization with a sparse L1 penalty on constraint relaxations. We illustrate the merits of everywhere learning with an experiment in agentic classification for language model tasks.
- Abstract(参考訳): あらゆる場所での学習は、AI(Artificial Intelligence)システムがデータ分布上の確率1による損失制約を満たすために訓練される新しいパラダイムである。
これは、平均的な損失を最小限に抑えるためにAIシステムをトレーニングする標準的なパラダイムとは対照的である。
我々は、経験的および統計的学習問題の解間の近接性を確立する一般化解析の基盤となる近似双対理論を開発する。
両変数は、損失制約が満たされにくい点に対してデータ分布を反映し、データ分布の質量の濃度と制約が満たされにくい点における質量の濃度とのミスマッチによって一般化が制御されることを示す。
さらに、制約緩和に対するスパースL1ペナルティで一般化を制御できることも示している。
本稿では,言語モデルタスクのエージェント分類実験により,至るところで学習するメリットについて説明する。
関連論文リスト
- Characterizing Online and Private Learnability under Distributional Constraints via Generalized Smoothness [63.833913892018536]
本研究では、固定されたファミリー$U$からデータ生成分布を適応的に選択できる分布敵の下でのシーケンシャルな意思決定について検討する。
一般化滑らか性(Generalized smoothness)という概念の観点で学習可能性を認めるファミリー$U$のほぼ完全な特徴付けを提供する。
一般化された滑らかさは,分布制約下での個人学習性も特徴付けることを示す。
論文 参考訳(メタデータ) (2026-02-24T06:15:59Z) - Generalization Error Analysis for Attack-Free and Byzantine-Resilient Decentralized Learning with Data Heterogeneity [23.509076905112526]
異種データを用いた非攻撃・ビザンチン弾力的な分散学習におけるきめ細粒度誤差解析について述べる。
また、悪意のあるエージェントによる攻撃がエラーに大きく影響していることも明らかにした。
論文 参考訳(メタデータ) (2025-06-11T06:44:34Z) - Slicing Mutual Information Generalization Bounds for Neural Networks [14.48773730230054]
我々は、ディープラーニングアルゴリズムに適した、より厳密な情報理論の一般化バウンダリを導入する。
我々の境界は、標準MI境界よりも有意な計算的および統計的優位性を提供する。
パラメータがランダムな部分空間に正確に横たわる必要がないアルゴリズムに解析を拡張します。
論文 参考訳(メタデータ) (2024-06-06T13:15:37Z) - On the Generalization for Transfer Learning: An Information-Theoretic Analysis [8.102199960821165]
一般化誤差と転帰学習アルゴリズムの過大なリスクを情報理論で解析する。
我々の結果は、おそらく予想通り、Kulback-Leibler divergenceD(mu|mu')$がキャラクタリゼーションにおいて重要な役割を果たすことを示唆している。
次に、$phi$-divergence や Wasserstein 距離といった他の発散点と結びついた相互情報を一般化する。
論文 参考訳(メタデータ) (2022-07-12T08:20:41Z) - Towards a theory of out-of-distribution learning [23.878004729029644]
本稿では,PAC学習フレームワークを用いて,異なる学習課題を定義するための時系列的アプローチを提案する。
まずは流通学習から始め、最近提案された生涯学習や継続学習へと進む。
この研究によって、さまざまなタイプの学習を定量化する、普遍的に合意されたアプローチがもたらされることを期待しています。
論文 参考訳(メタデータ) (2021-09-29T15:35:16Z) - Leveraging Unlabeled Data for Entity-Relation Extraction through
Probabilistic Constraint Satisfaction [54.06292969184476]
シンボリックドメイン知識の存在下でのエンティティ関係抽出の問題を研究する。
本手法では,論理文の正確な意味を捉える意味的損失を用いる。
低データ体制に焦点をあてて、セマンティックな損失がベースラインをはるかに上回ることを示す。
論文 参考訳(メタデータ) (2021-03-20T00:16:29Z) - Constrained Learning with Non-Convex Losses [119.8736858597118]
学習は現代の情報処理の中核技術になっているが、バイアス、安全でない、偏見のあるソリューションにつながるという証拠はたくさんある。
論文 参考訳(メタデータ) (2021-03-08T23:10:33Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳(メタデータ) (2020-12-19T15:24:04Z) - Robust Unsupervised Learning via L-Statistic Minimization [38.49191945141759]
教師なし学習に焦点をあて、この問題に対する一般的なアプローチを提示する。
重要な仮定は、摂動分布は、許容モデルの特定のクラスに対するより大きな損失によって特徴付けられることである。
教師なし学習におけるいくつかのポピュラーモデルに対する提案基準に関して,一様収束境界を証明した。
論文 参考訳(メタデータ) (2020-12-14T10:36:06Z) - General stochastic separation theorems with optimal bounds [68.8204255655161]
分離性の現象が明らかになり、機械学習で人工知能(AI)システムのエラーを修正し、AI不安定性を分析するために使用された。
エラーやエラーのクラスタは、残りのデータから分離することができる。
AIシステムを修正する能力は、それに対する攻撃の可能性も開き、高次元性は、同じ分離性によって引き起こされる脆弱性を誘発する。
論文 参考訳(メタデータ) (2020-10-11T13:12:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。