論文の概要: How Complexity Contributes to Learning Opacity in Machine Learning

• arxiv url: http://arxiv.org/abs/2606.24953v1
• Date: Tue, 23 Jun 2026 08:17:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.067948
• Title: How Complexity Contributes to Learning Opacity in Machine Learning
• Title（参考訳）: 複雑さは機械学習における学習の平和にどのように貢献するか
• Authors: Joachim Stein, Eric Raidl,
• Abstract要約: 機械学習アルゴリズムは不透明であることが知られているが、その予測の理由は分かっていない。 予測関数につながる学習プロセスも不透明である。 予測不透明度は広く研究されているが、学習不透明度はほとんど調査されていない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning (ML) algorithms are known to be opaque. We do not know the reasons for their predictions. The learning process leading to the prediction function is also opaque. We do not fully understand the time evolution of the weight values of neural nets (NN) and related dynamical phenomena. While prediction opacity is widely studied, learning opacity remains largely underexplored. This article studies learning opacity trough the lens of complex dynamical systems. We argue that NN learning is essentially a complex system and that learning opacity is due to dynamical complexity and the epistemological challenges that arise from it. We identify three key properties of training complexity -- sensitivity to weight initialization, feedback in gradient based optimization, and sensitivity to the training data -- and show how each contributes to learning opacity. As these properties are fundamental to the learning process damping or eliminating them would fundamentally alter how ML systems learn. Some sources of opacity in ML may hence be irreducible.
• Abstract（参考訳）: 機械学習(ML)アルゴリズムは不透明であることが知られている。 私たちは彼らの予言の理由を知らない。 予測関数につながる学習プロセスも不透明である。 我々はニューラルネット(NN)の重み値と関連する力学現象の時間進化を十分に理解していない。 予測不透明度は広く研究されているが、学習不透明度はほとんど調査されていない。 本稿では、複雑な力学系のレンズを不透明にトラフする学習について研究する。 NN学習は本質的に複雑なシステムであり、学習の不透明さは動的に複雑化し、そこから生じる認識論的課題に起因している、と我々は主張する。 トレーニングの複雑さの3つの重要な特性 - 重量の初期化に対する感受性、勾配に基づく最適化に対するフィードバック、トレーニングデータに対する感度 - を特定し、それぞれが不透明さの学習にどのように貢献するかを示す。 これらの特性が学習プロセスの基本であるため、それらを減衰または排除することは、MLシステムの学習方法を根本的に変えることになる。 MLにおける不透明性のいくつかの源は、従って既約である。

関連論文リスト

• Nested Learning: The Illusion of Deep Learning Architectures [57.41377373511876]
  我々はNested Learning(NL)と呼ばれる新しい学習パラダイムを提案する。 表現的一般化は、実際には、深い記憶と/またはより強力な学習規則を持つ一般化である。 本稿では、長期記憶の伝統的な視点を一般化するメモリシステムのための新しい連続体を提案する。
  論文  参考訳（メタデータ） (2025-12-31T07:59:43Z)
• How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training [92.88889953768455]
  大きな言語モデル(LLM)は、どのようにして新しい知識を内部化するかを理解する上で、重大なギャップに直面します。 知識記憶と処理を容易にする計算サブグラフを同定する。
  論文  参考訳（メタデータ） (2025-02-16T16:55:43Z)
• Dynamics of Supervised and Reinforcement Learning in the Non-Linear Perceptron [3.069335774032178]
  学習を記述するフロー方程式を導出するために,データセット処理アプローチを用いる。 学習ルール(教師付きまたは強化学習,SL/RL)と入力データ分布が知覚者の学習曲線に及ぼす影響を特徴付ける。 このアプローチは、より複雑な回路アーキテクチャの学習力学を解析する方法を示している。
  論文  参考訳（メタデータ） (2024-09-05T17:58:28Z)
• Sample-Efficient Reinforcement Learning in the Presence of Exogenous Information [77.19830787312743]
  実世界の強化学習アプリケーションでは、学習者の観察空間は、その課題に関する関連情報と無関係情報の両方でユビキタスに高次元である。 本稿では,強化学習のための新しい問題設定法であるExogenous Decision Process (ExoMDP)を導入する。 内因性成分の大きさのサンプル複雑度で準最適ポリシーを学習するアルゴリズムであるExoRLを提案する。
  論文  参考訳（メタデータ） (2022-06-09T05:19:32Z)
• Learning where to learn: Gradient sparsity in meta and continual learning [4.845285139609619]
  学習アルゴリズムがどの重みを変えるかを決定することによって、メタ学習を改善することができることを示す。 このプロセスからパターン化されたスパーシリティが出現し、そのパターンは問題ごとの確率に基づいて変化する。 その結果、メタ学習が適応可能な特徴を発見できるかどうかの議論が進行中であり、疎勾配降下による学習がメタ学習システムにとって強力な帰納的バイアスであることを示唆している。
  論文  参考訳（メタデータ） (2021-10-27T12:54:36Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Toward Understanding the Feature Learning Process of Self-supervised Contrastive Learning [43.504548777955854]
  本研究では,その特徴学習過程を解析することにより,ニューラルネットワークの特徴表現のコントラスト学習について検討する。 textbfReLUネットワークを用いたコントラスト学習は、適切な拡張が採用されれば、所望のスパース特徴を確実に学習できることを実証する。
  論文  参考訳（メタデータ） (2021-05-31T16:42:09Z)
• Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
  マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。 MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。 本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
  論文  参考訳（メタデータ） (2020-02-17T19:06:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。