Fugu-MT 論文翻訳(概要): Alternative Loss Function in Evaluation of Transformer Models

論文の概要: Alternative Loss Function in Evaluation of Transformer Models

arxiv url: http://arxiv.org/abs/2507.16548v2
Date: Thu, 24 Jul 2025 09:56:46 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-25 13:02:36.861046
Title: Alternative Loss Function in Evaluation of Transformer Models
Title（参考訳）: 変圧器モデル評価における代替損失関数
Authors: Jakub Michańków, Paweł Sakowski, Robert Ślepaczuk,
Abstract要約: 平均絶対方向損失関数は予測生成モデルを最適化するのにより適している。その結果,Transformerの結果はLSTMで得られた結果よりも有意に優れていることがわかった。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: The proper design and architecture of testing machine learning models, especially in their application to quantitative finance problems, is crucial. The most important aspect of this process is selecting an adequate loss function for training, validation, estimation purposes, and hyperparameter tuning. Therefore, in this research, through empirical experiments on equity and cryptocurrency assets, we apply the Mean Absolute Directional Loss (MADL) function, which is more adequate for optimizing forecast-generating models used in algorithmic investment strategies. The MADL function results are compared between Transformer and LSTM models, and we show that in almost every case, Transformer results are significantly better than those obtained with LSTM.
Abstract（参考訳）: 機械学習モデルをテストするための適切な設計とアーキテクチャ、特に定量的金融問題への応用は、非常に重要です。このプロセスの最も重要な側面は、トレーニング、検証、推定目的、ハイパーパラメータチューニングのための適切な損失関数を選択することである。そこで本研究では, 株式・暗号資産に関する実証実験を通じて, アルゴリズム投資戦略における予測生成モデルの最適化に有効な平均絶対目標損失(MADL)関数を適用した。 MADL 関数は Transformer モデルと LSTM モデルで比較され,ほぼすべてのケースにおいて Transformer が LSTM モデルよりも有意に優れていることを示す。

関連論文リスト

Pruning-Based TinyML Optimization of Machine Learning Models for Anomaly Detection in Electric Vehicle Charging Infrastructure [8.29566258132752]
本稿では,EVCIを対象とする資源制約環境における異常検出のためのプルーニング手法について検討する。最適化されたモデルは、モデルのサイズと推論時間の大幅な削減を実現しました。特に,EVCIでは,プルーニングとFSが重要な異常検出能力を保ちながら,計算効率を向上させることが示唆された。
論文参考訳（メタデータ） (2025-03-19T00:18:37Z)
DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2025-02-18T02:37:26Z)
Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
この研究は、性能推定のためのより計算効率のよい指標として、事前学習損失に焦点を当てている。 FLP-Mは、事前トレーニング中に複数のソースからのデータセットを統合する実践的なニーズに対処する、パフォーマンス予測の基本的なアプローチである。
論文参考訳（メタデータ） (2024-10-11T04:57:48Z)
Impact of Missing Values in Machine Learning: A Comprehensive Analysis [0.0]
本稿では,機械学習(ML)モデルにおける欠落値の影響について検討する。分析では、バイアス付き推論、予測能力の低下、計算負荷の増大など、欠落した値による課題に焦点を当てた。この研究は、欠落した値に対処する実践的な意味を説明するためにケーススタディと実例を用いている。
論文参考訳（メタデータ） (2024-10-10T18:31:44Z)
Towards Resilient and Efficient LLMs: A Comparative Study of Efficiency, Performance, and Adversarial Robustness [0.0]
大規模言語モデル (LLM) の効率性, 性能, 対向ロバスト性の間のトレードオフについて検討する。我々は,Transformer++, Gated Linear Attention (GLA) Transformer, MatMul-Free LM という,複雑さと効率の異なる3つの顕著なモデルについて実験を行った。その結果,GLA Transformer と MatMul-Free LM は GLUE タスクではわずかに精度が低いが,高い効率性を示し,AdvGLUE タスクではより優れているか、比較的堅牢であることがわかった。
論文参考訳（メタデータ） (2024-08-08T16:54:40Z)
Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文参考訳（メタデータ） (2024-06-24T23:00:58Z)
Advancing Financial Risk Prediction Through Optimized LSTM Model Performance and Comparative Analysis [12.575399233846092]
本稿では、金融リスク予測におけるLSTMモデルの適用と最適化に焦点を当てる。最適化LSTMモデルは、ランダムフォレスト、BPニューラルネットワーク、XGBoostと比較して、AUC指数において大きな利点を示す。
論文参考訳（メタデータ） (2024-05-31T03:31:17Z)
Mean Absolute Directional Loss as a New Loss Function for Machine Learning Problems in Algorithmic Investment Strategies [0.0]
本稿では,金融時系列の予測に使用される機械学習モデルの最適化における適切な損失関数の問題について検討する。本稿では,従来の予測誤り関数の重要な問題を,予測情報から抽出し,効率的な購買・販売信号を生成する手段として,平均絶対目標損失関数を提案する。
論文参考訳（メタデータ） (2023-09-19T11:52:13Z)
End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文参考訳（メタデータ） (2023-05-25T10:58:46Z)
Relational Reasoning via Set Transformers: Provable Efficiency and Applications to MARL [154.13105285663656]
置換不変エージェントフレームワークを用いたMARL(Multi-A gent R einforcement Learning)は,実世界のアプリケーションにおいて大きな実証的成功を収めた。残念なことに、このMARL問題の理論的理解は、多くのエージェントの呪いと、既存の著作における関係推論の限定的な探索によって欠落している。モデルフリーアルゴリズムとモデルベースアルゴリズムの最適度差は各エージェント数に独立して対数的であり、多くのエージェントの呪いを和らげる。
論文参考訳（メタデータ） (2022-09-20T16:42:59Z)
Efficient pre-training objectives for Transformers [84.64393460397471]
本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
論文参考訳（メタデータ） (2021-04-20T00:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。