論文の概要: DNNs May Determine Major Properties of Their Outputs Early, with Timing Possibly Driven by Bias

• arxiv url: http://arxiv.org/abs/2502.08167v1
• Date: Wed, 12 Feb 2025 07:14:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:49:28.070246
• Title: DNNs May Determine Major Properties of Their Outputs Early, with Timing Possibly Driven by Bias
• Title（参考訳）: DNNはアウトプットの諸特性を早期に決定する可能性があり、タイミングはバイアスが引き起こす可能性がある
• Authors: Song Park, Sanghyuk Chun, Byeongho Heo, Dongyoon Han,
• Abstract要約: 本稿では、深層ニューラルネットワーク(DNN)が推論の初期段階で出力を決定することを論じる。 この現象と人間の意思決定は、しばしば高速で直感的な知識に依存している。 我々の発見は、バイアス軽減、効率的な推論、および機械学習システムの解釈に関する新しい視点を提供する。
• 参考スコア（独自算出の注目度）: 38.982401812039704
• License:
• Abstract: This paper argues that deep neural networks (DNNs) mostly determine their outputs during the early stages of inference, where biases inherent in the model play a crucial role in shaping this process. We draw a parallel between this phenomenon and human decision-making, which often relies on fast, intuitive heuristics. Using diffusion models (DMs) as a case study, we demonstrate that DNNs often make early-stage decision-making influenced by the type and extent of bias in their design and training. Our findings offer a new perspective on bias mitigation, efficient inference, and the interpretation of machine learning systems. By identifying the temporal dynamics of decision-making in DNNs, this paper aims to inspire further discussion and research within the machine learning community.
• Abstract（参考訳）: 本稿では、深層ニューラルネットワーク(DNN)が推論の初期段階において、モデル固有のバイアスがこのプロセスを形成する上で重要な役割を担っていることを論じる。 この現象と人間の意思決定は、しばしば高速で直感的なヒューリスティックに頼っている。 拡散モデル(DM)をケーススタディとして、DNNは設計やトレーニングにおけるバイアスの種類や範囲の影響を受け、初期段階の意思決定を行うことが多いことを示す。 我々の発見は、バイアス軽減、効率的な推論、および機械学習システムの解釈に関する新しい視点を提供する。 本稿では,DNNにおける意思決定の時間的ダイナミクスを同定することにより,機械学習コミュニティ内でのさらなる議論と研究を促すことを目的とする。

関連論文リスト

• Neural Networks Decoded: Targeted and Robust Analysis of Neural Network Decisions via Causal Explanations and Reasoning [9.947555560412397]
  本稿では、因果推論理論に基づく新しい手法TRACERを紹介し、DNN決定の根底にある因果ダイナミクスを推定する。 提案手法は入力特徴に系統的に介入し,特定の変化がネットワークを介してどのように伝播するかを観察し,内部の活性化と最終的な出力に影響を与える。 TRACERはさらに、モデルバイアスの可能性のある反ファクトを生成することで説明可能性を高め、誤分類に対する対照的な説明を提供する。
  論文  参考訳（メタデータ） (2024-10-07T20:44:53Z)
• Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
  深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。 本稿では,DNNが2段階の相互作用を学習していることを明らかにする。 第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
  論文  参考訳（メタデータ） (2024-05-16T17:13:25Z)
• Unveiling and Mitigating Generalized Biases of DNNs through the Intrinsic Dimensions of Perceptual Manifolds [46.47992213722412]
  公正なディープニューラルネットワーク(DNN)の構築は、信頼できる人工知能を達成するための重要なステップである。 本稿では,モデルの公平性と性能を高める固有次元正規化(IDR)を提案する。 様々な画像認識ベンチマークテストにおいて、IDRはモデルバイアスを低減し、性能を向上する。
  論文  参考訳（メタデータ） (2024-04-22T04:16:40Z)
• Towards free-response paradigm: a theory on decision-making in spiking neural networks [11.094260604025209]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたコンピューティングの重要な要素として、かなりの注目を集めている。 SNNが直面する最も一般的な課題は、推論速度と精度のトレードオフである。 本研究では,動物行動実験の知見をSNNに適用することを目的とする。
  論文  参考訳（メタデータ） (2024-04-16T14:26:39Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Poster: Link between Bias, Node Sensitivity and Long-Tail Distribution in trained DNNs [12.404169549562523]
  長い尾の分布を持つトレーニングデータセットはディープニューラルネットワーク(DNN)に挑戦する この研究は、異なる出力クラスに対するノードの感度の変化につながるノードバイアスを特定する。 実世界のデータセットでトレーニングされたネットワークの実証的なケーススタディを用いて、推論を支援する。
  論文  参考訳（メタデータ） (2023-03-29T10:49:31Z)
• Recent Advances in Large Margin Learning [63.982279380483526]
  本稿では,(非線形)深層ニューラルネットワーク(dnn)のための大規模マージントレーニングとその理論的基礎の最近の進歩に関する調査を行う。 古典研究から最新のDNNへの分類マージンの策定を一般化し、マージン、ネットワーク一般化、堅牢性の間の理論的関連性をまとめ、最近のDNNのマージン拡大の取り組みを総合的に紹介します。
  論文  参考訳（メタデータ） (2021-03-25T04:12:00Z)
• Object-based attention for spatio-temporal reasoning: Outperforming neuro-symbolic models with flexible distributed architectures [15.946511512356878]
  適切な帰納的バイアスを持つ完全学習型ニューラルネットワークは,従来のニューラルシンボリックモデルよりもかなり優れた性能を示す。 我々のモデルは、自己意識と学習された「ソフト」オブジェクト中心表現の両方を批判的に利用します。
  論文  参考訳（メタデータ） (2020-12-15T18:57:40Z)
• Fairness Through Robustness: Investigating Robustness Disparity in Deep Learning [61.93730166203915]
  我々は、モデルが敵の攻撃に弱い場合、従来の公平性の概念では不十分であると主張する。 頑健性バイアスを測定することはDNNにとって難しい課題であり,この2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-06-17T22:22:24Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。