論文の概要: Harmonic Loss Trains Interpretable AI Models

• arxiv url: http://arxiv.org/abs/2502.01628v1
• Date: Mon, 03 Feb 2025 18:57:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:57:48.445914
• Title: Harmonic Loss Trains Interpretable AI Models
• Title（参考訳）: Harmonic Loss Trainsの解釈可能なAIモデル
• Authors: David D. Baek, Ziming Liu, Riya Tyagi, Max Tegmark,
• Abstract要約: ニューラルネットワークと大規模言語モデルのトレーニングにおいて,標準的なクロスエントロピー損失の代替として調和損失を導入する。 まず、アルゴリズム、ビジョン、言語データセット間での調和モデルの性能を検証する。 a) 解釈可能性の向上, (b) 一般化のために少ないデータを必要とすること, (c) グルーキングを減らすこと。
• 参考スコア（独自算出の注目度）: 13.745919535064429
• License:
• Abstract: In this paper, we introduce **harmonic loss** as an alternative to the standard cross-entropy loss for training neural networks and large language models (LLMs). Harmonic loss enables improved interpretability and faster convergence, owing to its scale invariance and finite convergence point by design, which can be interpreted as a class center. We first validate the performance of harmonic models across algorithmic, vision, and language datasets. Through extensive experiments, we demonstrate that models trained with harmonic loss outperform standard models by: (a) enhancing interpretability, (b) requiring less data for generalization, and (c) reducing grokking. Moreover, we compare a GPT-2 model trained with harmonic loss to the standard GPT-2, illustrating that the harmonic model develops more interpretable representations. Looking forward, we believe harmonic loss has the potential to become a valuable tool in domains with limited data availability or in high-stakes applications where interpretability and reliability are paramount, paving the way for more robust and efficient neural network models.
• Abstract（参考訳）: 本稿では,ニューラルネットワークと大規模言語モデル(LLM)のトレーニングにおける標準的なクロスエントロピー損失の代替として,*高調波損失**を導入する。 調和損失は、そのスケール不変性とクラス中心として解釈できる設計による有限収束点により、解釈可能性の向上と高速収束を可能にする。 まず、アルゴリズム、視覚、言語データセット間での調和モデルの性能を検証する。 広範にわたる実験を通して、調和損失で訓練されたモデルが標準モデルより優れていることを示す。 (a)解釈可能性を高めること b) 一般化のために少ないデータを必要とすること、 (c)グルーキングを減らす。 さらに、調和損失を訓練したGPT-2モデルを標準GPT-2と比較し、調和モデルの方がより解釈可能な表現を発達させることを示した。 将来的には、高調波損失は、データ可用性が制限されたドメインや、解釈可能性と信頼性が最優先される高精細なアプリケーションにおいて、より堅牢で効率的なニューラルネットワークモデルへの道を開く上で、価値のあるツールになる可能性があると考えています。

関連論文リスト

• HG-Adapter: Improving Pre-Trained Heterogeneous Graph Neural Networks with Dual Adapters [53.97380482341493]
  事前学習, 即時学習」は, 事前学習したヘテロジニアスグラフニューラルネットワーク(HGNN)のチューニング性能を示す。 本稿では、2つの新しいアダプタと潜在的ラベル付きデータ拡張を組み合わせた統合フレームワークを提案し、事前学習されたHGNNモデルの一般化を改善する。
  論文  参考訳（メタデータ） (2024-11-02T06:43:54Z)
• Harmonic Machine Learning Models are Robust [3.263224198355111]
  我々は、任意の機械学習モデルの堅牢性をテストするための強力で直感的な方法であるハーモニックロバストネスを紹介する。 これは高調波平均値特性からの関数的偏差に基づいており、不安定性と説明可能性の欠如を示している。
  論文  参考訳（メタデータ） (2024-04-29T16:07:36Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• ReCoRe: Regularized Contrastive Representation Learning of World Model [21.29132219042405]
  対照的な教師なし学習と介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。 提案手法は,現状のモデルベースおよびモデルフリーのRL法より優れ,iGibsonベンチマークで評価された分布外ナビゲーションタスクを大幅に改善する。
  論文  参考訳（メタデータ） (2023-12-14T15:53:07Z)
• Towards interpretable-by-design deep learning algorithms [11.154826546951414]
  I という名前のフレームワークは、標準教師付き分類問題をトレーニングデータから派生したプロトタイプのセットに類似した関数に再キャストする。 本稿では,そのようなDLモデルを概念的にシンプルで説明可能なプロトタイプモデルにすることができることを示す。
  論文  参考訳（メタデータ） (2023-11-19T18:40:49Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning [94.35586521144117]
  コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。 本研究では,コントラスト正規化調律(core-tuning)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T16:31:24Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• Supervised Contrastive Learning for Pre-trained Language Model Fine-tuning [23.00300794016583]
  最先端の自然言語理解分類モデルは2段階に従う。 微調整段階に対する教師付きコントラスト学習(SCL)の目的を提案する。 提案した微調整目的は、微調整訓練データにおいて、異なるレベルのノイズに対してより堅牢なモデルに導かれる。
  論文  参考訳（メタデータ） (2020-11-03T01:10:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。