論文の概要: Deep Neural Networks Are Congestion Games: From Loss Landscape to Wardrop Equilibrium and Beyond

• arxiv url: http://arxiv.org/abs/2010.11024v1
• Date: Wed, 21 Oct 2020 14:11:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 23:34:26.320697
• Title: Deep Neural Networks Are Congestion Games: From Loss Landscape to Wardrop Equilibrium and Beyond
• Title（参考訳）: 深層ニューラルネットワークは渋滞ゲームだ:ランドスケープの喪失からウォードロップの平衡まで
• Authors: Nina Vesseron, Ievgen Redko, Charlotte Laclau
• Abstract要約: 我々の研究は、ディープニューラルネットワーク(DNN)を解析するための非常に有望な新しいツールを提供する、と我々は主張する。 前者を分析する際に、後者から利用できる古典的な結果の恩恵を受ける方法を示す。
• 参考スコア（独自算出の注目度）: 12.622643370707328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The theoretical analysis of deep neural networks (DNN) is arguably among the most challenging research directions in machine learning (ML) right now, as it requires from scientists to lay novel statistical learning foundations to explain their behaviour in practice. While some success has been achieved recently in this endeavour, the question on whether DNNs can be analyzed using the tools from other scientific fields outside the ML community has not received the attention it may well have deserved. In this paper, we explore the interplay between DNNs and game theory (GT), and show how one can benefit from the classic readily available results from the latter when analyzing the former. In particular, we consider the widely studied class of congestion games, and illustrate their intrinsic relatedness to both linear and non-linear DNNs and to the properties of their loss surface. Beyond retrieving the state-of-the-art results from the literature, we argue that our work provides a very promising novel tool for analyzing the DNNs and support this claim by proposing concrete open problems that can advance significantly our understanding of DNNs when solved.
• Abstract（参考訳）: 深層ニューラルネットワーク(DNN)の理論分析は、機械学習(ML)において現在最も困難な研究方向の1つであり、科学者が実際に行動を説明するために新しい統計的学習基盤を置く必要がある。 最近、この取り組みでいくつかの成功が達成されているが、MLコミュニティ以外の他の科学分野のツールを使ってDNNを分析できるかどうかという疑問は、それなりの注目を集めていない。 本稿では,DNNとゲーム理論(GT)の相互作用を考察し,前者を分析する際に,後者の古典的手軽に利用できる結果から得られるメリットについて述べる。 特に,広範に研究されている渋滞ゲームについて考察し,線状および非線形DNNおよび損失面の性質に固有の関連性を示す。 文献から得られた最先端の成果を回収する以外に、我々の研究は、DNNを解析し、この主張を支援するための非常に有望な新しいツールを提供し、解決時に我々のDNNに対する理解を著しく前進させる具体的なオープンな問題を提案する。

関連論文リスト

• Be Persistent: Towards a Unified Solution for Mitigating Shortcuts in Deep Learning [24.200516684111175]
  ニューラルネットワークの多くの障害ケースの中で、ショートカット学習は至るところで行われている。 DNNでショートカット学習のための統一されたソリューションを見つけることは不可能であり、TDAはそのようなフレームワークを形成する上で重要な役割を果たす。
  論文  参考訳（メタデータ） (2024-02-17T10:02:22Z)
• Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
  グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。 GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。 以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-12T09:18:12Z)
• Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
  グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。 我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-02T22:15:54Z)
• Uncovering the Representation of Spiking Neural Networks Trained with Surrogate Gradient [11.0542573074431]
  スパイキングニューラルネットワーク (SNN) は、その生物の楽観性とエネルギー効率のため、次世代ニューラルネットワークの候補として認識されている。 近年、SNNは、代理勾配トレーニングを用いて、画像認識タスクにおいて、ほぼ最先端のパフォーマンスを達成できることを示した。
  論文  参考訳（メタデータ） (2023-04-25T19:08:29Z)
• Towards Fully Interpretable Deep Neural Networks: Are We There Yet? [17.88784870849724]
  Deep Neural Networks(DNN)は、人工知能(AI)システムに対するユーザの信頼を妨げるブラックボックスとして振る舞う。 本報告では,本質的な解釈可能性を持つDNNの開発手法について概説する。
  論文  参考訳（メタデータ） (2021-06-24T16:37:34Z)
• Topological Measurement of Deep Neural Networks Using Persistent Homology [0.7919213739992464]
  ディープニューラルネットワーク(DNN)の内部表現は解読不能である。 持続的ホモロジー(PH)は、訓練されたDNNの複雑さを調べるために用いられた。
  論文  参考訳（メタデータ） (2021-06-06T03:06:15Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• Recent Advances in Large Margin Learning [63.982279380483526]
  本稿では,(非線形)深層ニューラルネットワーク(dnn)のための大規模マージントレーニングとその理論的基礎の最近の進歩に関する調査を行う。 古典研究から最新のDNNへの分類マージンの策定を一般化し、マージン、ネットワーク一般化、堅牢性の間の理論的関連性をまとめ、最近のDNNのマージン拡大の取り組みを総合的に紹介します。
  論文  参考訳（メタデータ） (2021-03-25T04:12:00Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
  ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。 NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。 その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
  論文  参考訳（メタデータ） (2020-03-30T08:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。