論文の概要: Bridging Algorithmic Information Theory and Machine Learning: A New Approach to Kernel Learning

• arxiv url: http://arxiv.org/abs/2311.12624v3
• Date: Wed, 10 Apr 2024 11:35:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 11:44:40.235918
• Title: Bridging Algorithmic Information Theory and Machine Learning: A New Approach to Kernel Learning
• Title（参考訳）: ブリッジングアルゴリズム情報理論と機械学習:カーネル学習の新しいアプローチ
• Authors: Boumediene Hamzi, Marcus Hutter, Houman Owhadi,
• Abstract要約: 我々は,スパースカーネルフローの手法を用いて,データからカーネルを学習する問題に対するAIIの視点を採用する。 このアプローチは、AITのツールを使用して機械学習のアルゴリズムを再構築する扉を開く。
• 参考スコア（独自算出の注目度）: 12.848057726330714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine Learning (ML) and Algorithmic Information Theory (AIT) look at Complexity from different points of view. We explore the interface between AIT and Kernel Methods (that are prevalent in ML) by adopting an AIT perspective on the problem of learning kernels from data, in kernel ridge regression, through the method of Sparse Kernel Flows. In particular, by looking at the differences and commonalities between Minimal Description Length (MDL) and Regularization in Machine Learning (RML), we prove that the method of Sparse Kernel Flows is the natural approach to adopt to learn kernels from data. This approach aligns naturally with the MDL principle, offering a more robust theoretical basis than the existing reliance on cross-validation. The study reveals that deriving Sparse Kernel Flows does not require a statistical approach; instead, one can directly engage with code-lengths and complexities, concepts central to AIT. Thereby, this approach opens the door to reformulating algorithms in machine learning using tools from AIT, with the aim of providing them a more solid theoretical foundation.
• Abstract（参考訳）: 機械学習(ML)とアルゴリズム情報理論(AIT)は、異なる観点から複雑性を考察する。 本稿では,AIT と Kernel Methods (ML で広く用いられている) のインターフェースを,Sparse Kernel Flows の手法を用いて,データ,カーネルリッジ回帰におけるカーネルの学習問題に対する AIT の視点を用いて検討する。 特に、最小記述長(MDL)と機械学習における正規化(RML)の違いと共通点から、スパースカーネルフローの手法がデータからカーネルを学習するための自然なアプローチであることを証明する。 このアプローチはMDLの原則と自然に一致し、既存のクロスバリデーションへの依存よりもより堅牢な理論的基盤を提供する。 この研究によると、スパースカーネルフローの導出は統計的なアプローチを必要としない。代わりに、AITの中心となる概念であるコード長や複雑さに直接関わることができる。 これにより、AITのツールを使って機械学習のアルゴリズムを再構築する扉が開き、より強固な理論的基盤を提供する。

関連論文リスト

• Uncertainty quantification for Markov chains with application to temporal difference learning [63.49764856675643]
  マルコフ連鎖のベクトル値および行列値関数に対する新しい高次元濃度不等式とベリー・エッシー境界を開発する。 我々は、強化学習における政策評価に広く用いられているTD学習アルゴリズムを解析する。
  論文  参考訳（メタデータ） (2025-02-19T15:33:55Z)
• RESIST: Resilient Decentralized Learning Using Consensus Gradient Descent [11.22833419439317]
  経験的堅牢性リスク(ERM)は、現代の機械学習(ML)の基盤である 本稿では,MITM(man-in-the-middle)攻撃に焦点をあてる。 本稿では,敵に妥協された通信リンクに対して堅牢なアルゴリズムであるRESISTを提案する。
  論文  参考訳（メタデータ） (2025-02-11T21:48:10Z)
• Learning for Cross-Layer Resource Allocation in MEC-Aided Cell-Free Networks [71.30914500714262]
  移動エッジコンピューティング(MEC)を援用したセルフリーネットワーク上でのクロスレイヤリソース割り当ては、データレートを促進するために、送信およびコンピューティングリソースを十分に活用することができる。 深層学習の観点からMEC支援セルフリーネットワークのサブキャリア配置とビームフォーミング最適化について検討した。
  論文  参考訳（メタデータ） (2024-12-21T10:18:55Z)
• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Blind Super-Resolution via Meta-learning and Markov Chain Monte Carlo Simulation [46.5310645609264]
  本稿では,メタラーニングとマルコフ・チェイン・モンテカルロに基づくSISRアプローチを提案する。 軽量ネットワークがカーネルジェネレータとして採用され、ランダムガウス分布のMCMCシミュレーションから学習することで最適化される。 カーネルジェネレータと画像復元器を最適化するために,メタラーニングに基づく交互最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T07:50:15Z)
• Kernel Correlation-Dissimilarity for Multiple Kernel k-Means Clustering [21.685153346752124]
  現在の手法は情報多様性を高め、相関性や相似性に基づいて複数のカーネル間の相互依存を利用して冗長性を低減する。 本稿では,カーネルの相関と相似性の両方を体系的に統合する新しい手法を提案する。 カーネル相関と相違点のコヒーレンスを強調することにより,非線形情報抽出のためのより客観的かつ透明な戦略を提供する。
  論文  参考訳（メタデータ） (2024-03-06T04:24:43Z)
• On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
  残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。 他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。 ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
  論文  参考訳（メタデータ） (2022-07-01T17:58:29Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Self-organizing Democratized Learning: Towards Large-scale Distributed Learning Systems [71.14339738190202]
  民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。 本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。 提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-07-07T08:34:48Z)
• Gradient tracking and variance reduction for decentralized optimization and machine learning [19.54092620537586]
  有限サム問題の解法は、多くの信号処理や機械学習タスクにおいて重要である。 分散還元と勾配追跡を組み合わせ、堅牢な性能を実現するための統一的なアルゴリズムフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-02-13T07:17:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。