論文の概要: Towards Training Reproducible Deep Learning Models

• arxiv url: http://arxiv.org/abs/2202.02326v1
• Date: Fri, 4 Feb 2022 18:14:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-08 15:11:03.315782
• Title: Towards Training Reproducible Deep Learning Models
• Title（参考訳）: 再現可能な深層学習モデルの訓練に向けて
• Authors: Boyuan Chen, Mingzhi Wen, Yong Shi, Dayi Lin, Gopi Krishnan Rajbahadur, Zhen Ming (Jack) Jiang
• Abstract要約: ディープラーニング(DL)モデルは、ソフトウェアにおけるランダム性やハードウェアにおける非決定性といった問題により、再現が困難である。 本稿では,再現可能なDLモデルを学習するための体系的なアプローチを提案する。 ケーススタディでは,6つのオープンソースと1つの商用DLモデルを再現することができた。
• 参考スコア（独自算出の注目度）: 26.547756923322126
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reproducibility is an increasing concern in Artificial Intelligence (AI), particularly in the area of Deep Learning (DL). Being able to reproduce DL models is crucial for AI-based systems, as it is closely tied to various tasks like training, testing, debugging, and auditing. However, DL models are challenging to be reproduced due to issues like randomness in the software (e.g., DL algorithms) and non-determinism in the hardware (e.g., GPU). There are various practices to mitigate some of the aforementioned issues. However, many of them are either too intrusive or can only work for a specific usage context. In this paper, we propose a systematic approach to training reproducible DL models. Our approach includes three main parts: (1) a set of general criteria to thoroughly evaluate the reproducibility of DL models for two different domains, (2) a unified framework which leverages a record-and-replay technique to mitigate software-related randomness and a profile-and-patch technique to control hardware-related non-determinism, and (3) a reproducibility guideline which explains the rationales and the mitigation strategies on conducting a reproducible training process for DL models. Case study results show our approach can successfully reproduce six open source and one commercial DL models.
• Abstract（参考訳）: 再現性は人工知能(AI)、特にディープラーニング(DL)分野における関心が高まっている。 DLモデルを再現できることは、トレーニング、テスト、デバッグ、監査といったさまざまなタスクと密接に結びついているので、AIベースのシステムにとって極めて重要です。 しかし、DLモデルは、ソフトウェアにおけるランダム性(例:DLアルゴリズム)やハードウェアにおける非決定性(例:GPU)などの問題により、再現が困難である。 上記の問題のいくつかを緩和するための様々なプラクティスがある。 しかし、それらの多くは侵入的すぎるか、特定の使用状況でしか機能しない。 本稿では,再現可能なdlモデルの学習のための体系的アプローチを提案する。 提案手法は,(1)2つのドメインに対するDLモデルの再現性を徹底的に評価する一般的な基準,(2)ソフトウェア関連ランダム性を緩和するレコード・アンド・リプレイ技術と,(2)ハードウェア関連非決定性を制御するプロファイル・アンド・パッチ技術を活用する統一フレームワーク,(3)DLモデルに対する再現性トレーニングプロセスの理論的および緩和戦略を説明する再現性ガイドラインを含む。 事例研究の結果,我々は6つのオープンソースモデルと1つの商用dlモデルを再現することに成功した。

関連論文リスト

• Disperse-Then-Merge: Pushing the Limits of Instruction Tuning via Alignment Tax Reduction [75.25114727856861]
  大規模言語モデル(LLM)は、スーパービジョンされた微調整プロセスの後半で劣化する傾向にある。 この問題に対処するための単純な分散結合フレームワークを導入する。 我々のフレームワークは、一連の標準知識と推論ベンチマークに基づいて、データキュレーションや正規化の訓練など、様々な高度な手法より優れています。
  論文  参考訳（メタデータ） (2024-05-22T08:18:19Z)
• Having Second Thoughts? Let's hear it [0.36832029288386137]
  ディープラーニングモデルは、低次知覚領域から高次認知領域へのボトムアップ信号経路を緩やかに模倣する。 訓練後、DLモデルはいくつかのドメイン固有のタスクにおいて人間より優れているが、意思決定プロセスは容易に破壊されることが知られている。 本稿では,DLモデルをより堅牢にできるかどうかを,選択的注意と検査を模倣した認証プロセスを提案する。
  論文  参考訳（メタデータ） (2023-11-26T17:17:28Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• An Empirical Study of Deep Learning Models for Vulnerability Detection [4.243592852049963]
  我々は、広く使われている2つの脆弱性検出データセット上で、最先端の9つのディープラーニングモデルを調査し、再現した。 モデル能力,トレーニングデータ,モデル解釈について検討した。 我々の研究結果は、モデル結果の理解を深め、トレーニングデータ作成のガイダンスを提供し、モデルの堅牢性を向上させるのに役立つ。
  論文  参考訳（メタデータ） (2022-12-15T19:49:34Z)
• REST: REtrieve & Self-Train for generative action recognition [54.90704746573636]
  本稿では,ビデオ・アクション認識のための事前学習型生成ビジョン・アンド・ランゲージ(V&L)基礎モデルを提案する。 動作クラスを生成するための生成モデルの直接微調整は、過度な過度なオーバーフィッティングに苦しむことを示す。 2つの主要なコンポーネントからなるトレーニングフレームワークであるRESTを紹介します。
  論文  参考訳（メタデータ） (2022-09-29T17:57:01Z)
• Training and Evaluation of Deep Policies using Reinforcement Learning and Generative Models [67.78935378952146]
  GenRLはシーケンシャルな意思決定問題を解決するためのフレームワークである。 強化学習と潜在変数生成モデルの組み合わせを利用する。 最終方針訓練の性能に最も影響を与える生成モデルの特徴を実験的に決定する。
  論文  参考訳（メタデータ） (2022-04-18T22:02:32Z)
• Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
  視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。 リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。 モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
  論文  参考訳（メタデータ） (2022-02-22T02:33:54Z)
• Data-Driven and SE-assisted AI Model Signal-Awareness Enhancement and Introspection [61.571331422347875]
  モデルの信号認識性を高めるためのデータ駆動型手法を提案する。 コード複雑性のSE概念とカリキュラム学習のAIテクニックを組み合わせる。 モデル信号認識における最大4.8倍の改善を実現している。
  論文  参考訳（メタデータ） (2021-11-10T17:58:18Z)
• On the Replicability and Reproducibility of Deep Learning in Software Engineering [16.828220584270507]
  近年,ディープラーニング(DL)技術は,ソフトウェア工学(SE)研究者の間で大きな人気を集めている。 多くのDL研究は、他の最先端モデルに対する有効性に対する大きな利点を報告している。 再現性 - 報告された実験結果が、同じDLモデルと同一データで概ね高い確率で再現できるかどうか、そして、報告された実験結果が、同じ実験プロトコルとDLモデルで新しい実験によって再現できるかどうか、そして異なる実世界のデータで再現できるかどうか、という2つの要因をしばしば無視する。
  論文  参考訳（メタデータ） (2020-06-25T08:20:10Z)
• Improving Deep Learning Models via Constraint-Based Domain Knowledge: a Brief Survey [11.034875974800487]
  本稿では、ディープラーニング(DL)学習モデルにおいて、制約の形で表現されたドメイン知識を統合するために考案されたアプローチを初めて調査する。 1)特徴空間に作用する,2)仮説空間の変更,3)データ拡張,4)正規化スキーム,5)制約付き学習。
  論文  参考訳（メタデータ） (2020-05-19T15:34:09Z)
• Deep Learning for Source Code Modeling and Generation: Models, Applications and Challenges [5.4052819252055055]
  自然言語処理のためのディープラーニング(DL)技術は急速に進化してきた。 近年,言語モデリング,機械翻訳,段落理解の進歩が目覚ましいため,ソフトウェア工学におけるDLの可能性を見落とせない。
  論文  参考訳（メタデータ） (2020-02-13T11:02:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。