論文の概要: Rethinking the Harmonic Loss via Non-Euclidean Distance Layers

• arxiv url: http://arxiv.org/abs/2603.10225v1
• Date: Tue, 10 Mar 2026 20:51:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:32.68884
• Title: Rethinking the Harmonic Loss via Non-Euclidean Distance Layers
• Title（参考訳）: 非ユークリッド距離層による高調波損失の再考
• Authors: Maxwell Miller-Golub, Kamil Faber, Marcin Pietron, Panpan Zheng, Pasquale Minervini, Roberto Corizzo,
• Abstract要約: クロスエントロピー損失は、ディープニューラルネットワークのトレーニングにおいて、長年にわたって標準選択であった。 調和損失(英: harmonic loss)は、ユークリッド幾何学における距離に基づく代替である。 距離の広いスペクトルを体系的に調べることで、調和損失を抑える。
• 参考スコア（独自算出の注目度）: 20.912600600625783
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-entropy loss has long been the standard choice for training deep neural networks, yet it suffers from interpretability limitations, unbounded weight growth, and inefficiencies that can contribute to costly training dynamics. The harmonic loss is a distance-based alternative grounded in Euclidean geometry that improves interpretability and mitigates phenomena such as grokking, or delayed generalization on the test set. However, the study of harmonic loss remains narrow: only Euclidean distance is explored, and no systematic evaluation of computational efficiency or sustainability was conducted. We extend harmonic loss by systematically investigating a broad spectrum of distance metrics as replacements for the Euclidean distance. We comprehensively evaluate distance-tailored harmonic losses on both vision backbones and large language models. Our analysis is framed around a three-way evaluation of model performance, interpretability, and sustainability. On vision tasks, cosine distances provide the most favorable trade-off, consistently improving accuracy while lowering carbon emissions, whereas Bray-Curtis and Mahalanobis further enhance interpretability at varying efficiency costs. On language models, cosine-based harmonic losses improve gradient and learning stability, strengthen representation structure, and reduce emissions relative to cross-entropy and Euclidean heads. Our code is available at: https://anonymous.4open.science/r/rethinking-harmonic-loss-5BAB/.
• Abstract（参考訳）: ディープニューラルネットワークをトレーニングする上では、クロスエントロピー損失が標準選択だったが、解釈可能性の制限、制限のないウェイト成長、そしてコストのかかるトレーニングダイナミクスに寄与する非効率に悩まされている。 調和損失(英: harmonic loss)は、ユークリッド幾何学に根ざした距離に基づく代替法であり、解釈可能性を改善し、グラッキングやテストセット上の遅延一般化のような現象を緩和する。 しかし、高調波損失の研究は依然として狭く、ユークリッド距離のみを探索し、計算効率や持続可能性の体系的な評価は行われなかった。 我々は、ユークリッド距離の代替として、幅広い距離の測度を体系的に研究することで、調和損失を延長する。 視覚バックボーンと大言語モデルの両方において、距離調整された調和損失を包括的に評価する。 本分析は, モデル性能, 解釈可能性, 持続可能性の3方向評価に関するものである。 ビジョンタスクでは、コサイン距離が最も好適なトレードオフを提供し、炭素排出量を減少させながら精度を一貫して改善する一方、ブレイ=カルティスとマハラノビスは様々な効率コストで解釈可能性をさらに向上させる。 言語モデルでは、コサインに基づく調和損失は勾配と学習の安定性を改善し、表現構造を強化し、クロスエントロピーとユークリッドヘッドに対する排出を減らす。 私たちのコードは、https://anonymous.4open.science/r/rethinking-harmonic-loss-5BAB/で利用可能です。

関連論文リスト

• When Distance Distracts: Representation Distance Bias in BT-Loss for Reward Models [55.444604697848426]
  リワードモデルは、RLHFのフレームワーク内のLarge Language Model (LLM)アライメントの中心である。 報酬モデリングで使用される標準的な目的はBradley-Terry(BT)損失であり、これは選択された2つの応答と拒否された応答からなるペアワイズデータから学習する。 適応型ペアワイド正規化方式であるNormBTを提案する。
  論文  参考訳（メタデータ） (2025-12-06T08:15:37Z)
• Constraint-Guided Learning of Data-driven Health Indicator Models: An Application on the Pronostia Bearing Dataset [0.7340017786387768]
  本稿では,身体的一貫した健康指標を開発するための制約誘導型ディープラーニングフレームワークを提案する。 我々は、オートエンコーダアーキテクチャ内で制約誘導勾配降下を実装し、制約付きオートエンコーダを作成する。 パフォーマンスは、トレーサビリティ、堅牢性、一貫性の3つの指標を使って評価される。
  論文  参考訳（メタデータ） (2025-03-12T07:01:27Z)
• Harmonic Loss Trains Interpretable AI Models [13.745919535064429]
  ニューラルネットワークと大規模言語モデルの訓練のための代替信号として調和損失を導入する。 まず、アルゴリズム、ビジョン、言語データセット間での調和モデルの性能を検証する。 a) 解釈可能性の向上, (b) 一般化のために少ないデータを必要とすること, (c) グルーキングを減らすことによる。
  論文  参考訳（メタデータ） (2025-02-03T18:57:17Z)
• ScaleLong: Towards More Stable Training of Diffusion Model via Scaling Network Long Skip Connection [152.01257690637064]
  UNetにおけるLCCの係数は,UNetの前方・後方伝播の安定性とロバスト性に大きな影響を及ぼすことを示す。 UNet における LSC の係数をスケールし,UNet のトレーニング安定性を向上する,効果的な係数スケーリングフレームワーク ScaleLong を提案する。
  論文  参考訳（メタデータ） (2023-10-20T14:45:52Z)
• Estimator Meets Equilibrium Perspective: A Rectified Straight Through Estimator for Binary Neural Networks Training [35.090598013305275]
  ニューラルネットワークのバイナリ化は、ニューラルネットワーク圧縮において支配的なパラダイムである。 本稿では,推定誤差と勾配安定性のバランスをとるために,ReSTE(Rectified Straight Through Estimator)を提案する。 ReSTEは優れたパフォーマンスを持ち、補助モジュールや損失を伴わずに最先端のメソッドを超える。
  論文  参考訳（メタデータ） (2023-08-13T05:38:47Z)
• The KFIoU Loss for Rotated Object Detection [115.334070064346]
  本稿では,SkewIoU損失とトレンドレベルアライメントを両立できる近似的損失を考案する上で,有効な方法の1つとして論じる。 具体的には、対象をガウス分布としてモデル化し、SkewIoUのメカニズムを本質的に模倣するためにカルマンフィルタを採用する。 KFIoUと呼ばれる新たな損失は実装が容易で、正確なSkewIoUよりもうまく動作する。
  論文  参考訳（メタデータ） (2022-01-29T10:54:57Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)
• Imitation Learning with Sinkhorn Distances [12.161649672131286]
  本研究では, 占領対策間のシンクホーン距離の最小化として, 模倣学習を定式化して, トラクタブルソリューションを提案する。 提案手法は,多くの MuJoCo 実験において,報奨距離とシンクホーン距離距離の両方を用いて評価する。
  論文  参考訳（メタデータ） (2020-08-20T19:13:21Z)
• Towards Certified Robustness of Distance Metric Learning [53.96113074344632]
  我々は,距離学習アルゴリズムの一般化とロバスト性を改善するために,入力空間に逆のマージンを付与することを提唱する。 アルゴリズム的ロバスト性の理論手法を用いることにより,拡張マージンは一般化能力に有益であることを示す。
  論文  参考訳（メタデータ） (2020-06-10T16:51:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。