論文の概要: The Gauss-Markov Adjunction: Categorical Semantics of Residuals in Supervised Learning

• arxiv url: http://arxiv.org/abs/2507.02442v1
• Date: Thu, 03 Jul 2025 08:58:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:15.981215
• Title: The Gauss-Markov Adjunction: Categorical Semantics of Residuals in Supervised Learning
• Title（参考訳）: ガウス・マルコフ接続:教師付き学習における残差の分類論的意味論
• Authors: Moto Kamiura,
• Abstract要約: 本稿では,AIシステムの構築と理解のためのセマンティックフレームワークを開発する。 パラメータとデータに対応する2つの具体的なカテゴリとそれらの間の随伴関手を定義することにより、教師付き学習のカテゴリー的定式化を導入する。 我々は、この定式化を教師付き学習のための拡張意味論の例として位置づけ、理論計算機科学で開発された意味論的視点をAIにおける説明可能性の形式的基礎として適用することを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enhancing the intelligibility and interpretability of machine learning is a crucial task in responding to the demand for Explicability as an AI principle, and in promoting the better social implementation of AI. The aim of our research is to contribute to this improvement by reformulating machine learning models through the lens of category theory, thereby developing a semantic framework for structuring and understanding AI systems. Our categorical modeling in this paper clarifies and formalizes the structural interplay between residuals and parameters in supervised learning. The present paper focuses on the multiple linear regression model, which represents the most basic form of supervised learning. By defining two concrete categories corresponding to parameters and data, along with an adjoint pair of functors between them, we introduce our categorical formulation of supervised learning. We show that the essential structure of this framework is captured by what we call the Gauss-Markov Adjunction. Within this setting, the dual flow of information can be explicitly described as a correspondence between variations in parameters and residuals. The ordinary least squares estimator for the parameters and the minimum residual are related via the preservation of limits by the right adjoint functor. Furthermore, we position this formulation as an instance of extended denotational semantics for supervised learning, and propose applying a semantic perspective developed in theoretical computer science as a formal foundation for Explicability in AI.
• Abstract（参考訳）: 機械学習の知性や解釈可能性を高めることは、AI原則としての説明可能性の要求に応え、AIのより優れた社会的実装を促進する上で重要なタスクである。 本研究の目的は、カテゴリ理論のレンズを通して機械学習モデルを再構成し、AIシステムの構築と理解のためのセマンティックフレームワークを開発することにより、この改善に貢献することである。 本稿では,教師あり学習における残差とパラメータ間の構造的相互作用を明らかにする。 本稿では、教師付き学習の最も基本的な形態を表す多重線形回帰モデルに焦点を当てた。 パラメータとデータに対応する2つの具体的なカテゴリとそれらの間の随伴関手を定義することにより、教師付き学習のカテゴリー的定式化を導入する。 このフレームワークの本質的な構造は、ガウス-マルコフ共役(英語版)と呼ばれるものによって捉えられることを示す。 この設定内では、情報の二重フローはパラメータと残差のばらつきの対応として明示的に記述することができる。 パラメータに対する通常の最小二乗推定器と最小残差は、右随伴関手による極限の保存を通して関連付けられる。 さらに、この定式化を教師付き学習のための拡張意味論の例として位置づけ、理論計算機科学で開発された意味論的視点をAIにおける説明可能性の形式的基礎として適用することを提案する。

関連論文リスト

• Model Steering: Learning with a Reference Model Improves Generalization Bounds and Scaling Laws [52.10468229008941]
  本稿では,戦略データの選択や重み付けを通じて,対象モデルのトレーニングを指導・強化するための基準として,訓練モデルを用いた新たな学習パラダイムを定式化する。 提案手法は,参照モデルを持たないトレーニングと比較して,一般化とデータの効率性を改善する理由に関する理論的知見を提供する。 これらの知見に基づいて,DRRho-CLIPと呼ばれる参照モデルを用いたコントラスト言語-画像事前学習手法を提案する。
  論文  参考訳（メタデータ） (2025-05-10T16:55:03Z)
• A Unifying Framework for Action-Conditional Self-Predictive Reinforcement Learning [48.59516337905877]
  優れた表現を学ぶことは、強化学習(RL)エージェントにとって重要な課題である。 近年の研究では、これらのアルゴリズムに関する理論的洞察が生まれている。 我々は,行動条件の自己予測的目的を分析することによって,理論と実践のギャップを埋める一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-06-04T07:22:12Z)
• The Buffer Mechanism for Multi-Step Information Reasoning in Language Models [52.77133661679439]
  大きな言語モデルの内部的推論メカニズムを調べることは、よりよいモデルアーキテクチャとトレーニング戦略を設計するのに役立ちます。 本研究では,トランスフォーマーモデルが垂直思考戦略を採用するメカニズムを解明するために,シンボリックデータセットを構築した。 我々は,GPT-2モデルに必要なトレーニング時間を75%削減し,モデルの推論能力を高めるために,ランダムな行列ベースアルゴリズムを提案した。
  論文  参考訳（メタデータ） (2024-05-24T07:41:26Z)
• Token Space: A Category Theory Framework for AI Computations [0.0]
  本稿では,深層学習モデルの解釈可能性と有効性を高めるために設計された,新しい数学的構造であるToken Spaceフレームワークを紹介する。 Tokenレベルで分類構造を確立することにより、AI計算を理解可能な新しいレンズを提供する。
  論文  参考訳（メタデータ） (2024-04-11T15:56:06Z)
• Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric Learning [1.4293924404819704]
  我々は情報理論の観点から、隣り合う従来のアルゴリズムに新たな光を当てた。 単一モデルを用いた分類,回帰,密度推定,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。 我々の研究は、分類と異常検出における最先端の成果を達成することによって、アーキテクチャの汎用性を示す。
  論文  参考訳（メタデータ） (2023-11-17T00:35:38Z)
• Learning with Explanation Constraints [91.23736536228485]
  我々は、説明がモデルの学習をどのように改善するかを分析するための学習理論フレームワークを提供する。 我々は,多数の合成および実世界の実験に対して,我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T15:06:47Z)
• Categorical semantics of compositional reinforcement learning [18.406992961818368]
  我々は、強化学習(RL)の構成理論のための知識表現フレームワークを開発する。 我々のアプローチは、タスクのモデルとして働くマルコフ決定過程(MDP)を対象とする$mathsfMDP$の理論的研究に依存する。 圏 $mathsfMDP$ で表される構成保証に依存するジグザグ図形を導入する。
  論文  参考訳（メタデータ） (2022-08-29T15:51:36Z)
• It Takes Two Flints to Make a Fire: Multitask Learning of Neural Relation and Explanation Classifiers [40.666590079580544]
  一般化と説明可能性の間の緊張を緩和する関係抽出のための説明可能なアプローチを提案する。 提案手法では,関係抽出のための分類器を共同で訓練するマルチタスク学習アーキテクチャを用いる。 このアプローチにグローバルな説明をもたらすために、モデル出力をルールに変換する。
  論文  参考訳（メタデータ） (2022-04-25T03:53:12Z)
• Understanding Interpretability by generalized distillation in Supervised Classification [3.5473853445215897]
  最近の解釈戦略は、複雑な機械学習モデルの根底にある決定メカニズムの人間の理解に焦点を当てている。 本稿では,他のMLモデルと相対的に定義される解釈・蒸留式を提案する。 MNIST、Fashion-MNIST、Stanford40データセットに関する提案フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2020-12-05T17:42:50Z)
• Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
  本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。 我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
  論文  参考訳（メタデータ） (2020-01-23T02:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。