論文の概要: Not All Explanations for Deep Learning Phenomena Are Equally Valuable

• arxiv url: http://arxiv.org/abs/2506.23286v1
• Date: Sun, 29 Jun 2025 15:18:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.80916
• Title: Not All Explanations for Deep Learning Phenomena Are Equally Valuable
• Title（参考訳）: 深層学習現象のすべての説明が等価であるとは限らない
• Authors: Alan Jeffares, Mihaela van der Schaar,
• Abstract要約: 我々は、現実の応用に反直観現象が現れることを示す証拠はほとんどないと主張している。 これには、ダブル降下、グラッキング、宝くじの仮説が含まれる。 深層学習現象の進行が、より広い分野の深層学習の進歩という究極の実用的目標と整合していることを保証することを目的として、将来の研究のための実践的な勧告を提案する。
• 参考スコア（独自算出の注目度）: 58.7010466783654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Developing a better understanding of surprising or counterintuitive phenomena has constituted a significant portion of deep learning research in recent years. These include double descent, grokking, and the lottery ticket hypothesis -- among many others. Works in this area often develop ad hoc hypotheses attempting to explain these observed phenomena on an isolated, case-by-case basis. This position paper asserts that, in many prominent cases, there is little evidence to suggest that these phenomena appear in real-world applications and these efforts may be inefficient in driving progress in the broader field. Consequently, we argue against viewing them as isolated puzzles that require bespoke resolutions or explanations. However, despite this, we suggest that deep learning phenomena do still offer research value by providing unique settings in which we can refine our broad explanatory theories of more general deep learning principles. This position is reinforced by analyzing the research outcomes of several prominent examples of these phenomena from the recent literature. We revisit the current norms in the research community in approaching these problems and propose practical recommendations for future research, aiming to ensure that progress on deep learning phenomena is well aligned with the ultimate pragmatic goal of progress in the broader field of deep learning.
• Abstract（参考訳）: 近年、驚きや反直感的な現象の理解を深めることが、ディープラーニング研究の重要な部分を占めてきた。 これには、ダブル降下、グラッキング、宝くじの仮説などが含まれる。 この領域の研究はしばしば、これらの観察された現象を孤立したケースバイケースに基づいて説明しようとするアドホック仮説を発達させる。 このポジションペーパーは、多くの顕著なケースにおいて、これらの現象が現実世界の応用に現れることを示す証拠はほとんどなく、これらの取り組みはより広い分野の進歩を促進するのに非効率であると主張している。 その結果、解答や説明を必要とする独立したパズルとみなすことに反対する。 しかし、これにもかかわらず、より一般的な深層学習原理の広範な説明理論を洗練できる独自の設定を提供することで、深層学習現象が研究価値を提供することを示唆している。 この位置は、これらの現象のいくつかの顕著な例の研究成果を最近の文献から分析することによって強化されている。 我々は、これらの問題にアプローチする研究コミュニティの現在の規範を再考し、深層学習現象の進歩が、より広い分野の深層学習の進歩という究極の実用目標と整合していることを保証するために、将来の研究のための実践的な勧告を提案する。

関連論文リスト

• Recent Deep Learning in Crowd Behaviour Analysis: A Brief Review [9.531376461775462]
  群衆の行動分析は、公共の安全や都市計画など、多くの現実世界の応用に不可欠である。 深層学習の発展は、群衆行動の研究を著しく促進した。 本章は,群集行動分析における現在進行中の深層学習研究の高レベルな要約を提供することを目的としている。
  論文  参考訳（メタデータ） (2025-05-23T22:08:35Z)
• A Survey of Efficient Reasoning for Large Reasoning Models: Language, Multimodality, and Beyond [88.5807076505261]
  大規模推論モデル (LRM) は, 推論中におけるチェーン・オブ・ソート (CoT) の推論長を拡大することにより, 高い性能向上を示した。 懸念が高まっているのは、過度に長い推論の痕跡を生み出す傾向にある。 この非効率性は、トレーニング、推論、現実のデプロイメントに重大な課題をもたらす。
  論文  参考訳（メタデータ） (2025-03-27T15:36:30Z)
• A Comprehensive Survey on Evidential Deep Learning and Its Applications [64.83473301188138]
  Evidential Deep Learning (EDL)は、単一のフォワードパスで最小限の追加計算で信頼性の高い不確実性推定を提供する。 まず、主観的論理理論であるEDLの理論的基礎を掘り下げ、他の不確実性推定フレームワークとの区別について議論する。 さまざまな機械学習パラダイムや下流タスクにまたがる広範な応用について詳しく述べる。
  論文  参考訳（メタデータ） (2024-09-07T05:55:06Z)
• Class-wise Activation Unravelling the Engima of Deep Double Descent [0.0]
  二重降下は、機械学習領域内の反直観的な側面を示す。 本研究では,二重降下現象を再考し,その発生状況について考察した。
  論文  参考訳（メタデータ） (2024-05-13T12:07:48Z)
• A Comprehensive Survey of Forgetting in Deep Learning Beyond Continual Learning [58.107474025048866]
  蓄積とは、以前に獲得した知識の喪失または劣化を指す。 フォッテッティングは、深層学習における様々な研究領域でよく見られる現象である。
  論文  参考訳（メタデータ） (2023-07-16T16:27:58Z)
• Deep Causal Learning: Representation, Discovery and Inference [2.696435860368848]
  因果学習は、現象の基盤となり、世界が進化するメカニズムを規定する本質的な関係を明らかにする。 従来の因果学習手法は、高次元変数、非構造変数、最適化問題、未観測の共同設立者、選択バイアス、推定不正確さなど、多くの課題や制限に直面している。 ディープ・因果学習はディープ・ニューラルネットワークを活用し、これらの課題に対処するための革新的な洞察と解決策を提供する。
  論文  参考訳（メタデータ） (2022-11-07T09:00:33Z)
• Theoretical Perspectives on Deep Learning Methods in Inverse Problems [115.93934028666845]
  我々は、生成前の先行、訓練されていないニューラルネットワークの先行、および展開アルゴリズムに焦点を当てる。 これらのトピックにおける既存の結果の要約に加えて、現在進行中の課題やオープンな問題も強調する。
  論文  参考訳（メタデータ） (2022-06-29T02:37:50Z)
• Towards Explaining Adversarial Examples Phenomenon in Artificial Neural Networks [8.31483061185317]
  コンバージェンスの観点から,敵対的事例の存在と敵対的訓練について検討した。 ANNにおける点収束がこれらの観測を説明できる証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-22T11:56:14Z)
• In Search of Robust Measures of Generalization [79.75709926309703]
  我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。 経験的に評価すると、これらの境界の大部分は数値的に空白である。 我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
  論文  参考訳（メタデータ） (2020-10-22T17:54:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。