論文の概要: Long-term Reproducibility for Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2207.04821v1
- Date: Mon, 11 Jul 2022 12:40:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-12 18:43:33.175768
- Title: Long-term Reproducibility for Neural Architecture Search
- Title(参考訳): ニューラルネットワーク検索における長期再現性
- Authors: David Towers, Matthew Forshaw, Amir Atapour-Abarghouei, Andrew Stephen
McGough
- Abstract要約: バグ修正やメンテナンスには学術的な「工道」は存在しない。
多くの場合、コードは利用できないか、もし利用可能であればバグを含んでいるか、不完全なか、あるいは時代遅れ/時代遅れのライブラリに依存している。
- 参考スコア(独自算出の注目度): 4.301276597844756
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is a sad reflection of modern academia that code is often ignored after
publication -- there is no academic 'kudos' for bug fixes / maintenance. Code
is often unavailable or, if available, contains bugs, is incomplete, or relies
on out-of-date / unavailable libraries. This has a significant impact on
reproducibility and general scientific progress. Neural Architecture Search
(NAS) is no exception to this, with some prior work in reproducibility.
However, we argue that these do not consider long-term reproducibility issues.
We therefore propose a checklist for long-term NAS reproducibility. We evaluate
our checklist against common NAS approaches along with proposing how we can
retrospectively make these approaches more long-term reproducible.
- Abstract(参考訳): コードは出版後に無視されることが多く、バグ修正やメンテナンスには学術的な「工藤」は存在しないという、現代の学界の悲しい反映です。
コードは多くの場合、利用できないか、バグが含まれているか、不完全なか、最新または未使用のライブラリに依存している。
これは再現性と一般的な科学的進歩に大きな影響を与える。
ニューラルアーキテクチャサーチ(NAS)はその例外ではなく、再現性に関する先行研究である。
しかし, 長期的な再現性は考慮されていない。
そこで我々は,長期NAS再現性チェックリストを提案する。
一般的なNASアプローチに対するチェックリストを評価し、これらのアプローチをより長期的な再現性を高める方法を提案する。
関連論文リスト
- CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.37076502395699]
検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。
まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。
CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
論文 参考訳(メタデータ) (2024-06-20T16:59:52Z) - Shortcomings of Question Answering Based Factuality Frameworks for Error
Localization [51.01957350348377]
質問応答(QA)に基づく事実性指標は、生成した要約の誤り範囲を正しく識別できないことを示す。
このようなローカライゼーションが不十分な理由として,QGモジュールが生成した質問は,非実数的な要約から誤りを継承することが多く,さらに下流モジュールに伝播する。
本実験は,より強力なQAモデルとQGモデルでのみ修正できないQAフレームワークを用いた局所化に関する根本的な問題が存在することを確定的に示す。
論文 参考訳(メタデータ) (2022-10-13T05:23:38Z) - RealTime QA: What's the Answer Right Now? [137.04039209995932]
本稿では,動的質問応答(QA)プラットフォームであるREALTIME QAを紹介する。
GPT-3 や T5 など,大規模事前学習型言語モデルに基づく強力なベースラインモデルを構築した。
GPT-3は、検索された文書が答えを見つけるのに十分な情報を提供していない場合、時代遅れの回答を返す傾向がある。
論文 参考訳(メタデータ) (2022-07-27T07:26:01Z) - Geodesics, Non-linearities and the Archive of Novelty Search [69.6462706723023]
このアーカイブの重要な効果は、不適切な行動指標の使用による探索バイアスと相反することである。
我々の観察は、サンプリングにおいてアーカイブにより積極的な役割を担っていることが有益であることを示しているように思われる。
論文 参考訳(メタデータ) (2022-05-06T12:03:40Z) - Repro: An Open-Source Library for Improving the Reproducibility and
Usability of Publicly Available Research Code [74.28810048824519]
Reproは、研究コードのユーザビリティ向上を目的とした、オープンソースのライブラリである。
Dockerコンテナ内で研究者がリリースしたソフトウェアを実行するための軽量Python APIを提供する。
論文 参考訳(メタデータ) (2022-04-29T01:54:54Z) - A Siren Song of Open Source Reproducibility [36.754180527471895]
我々は、再現可能な研究の状況を改善したい場合、複製のためのコードに焦点が当てられていることを誤解している。
カンファレンスが奨励と報酬のために行う効果的な行動の証拠が不足している。
私たちは今日、再現可能な機械学習研究を進めるために、会場はもっとアクションを取らなければならないと論じています。
論文 参考訳(メタデータ) (2022-04-09T03:06:40Z) - 1-2-3 Reproducibility for Quantum Software Experiments [12.312854439969051]
本稿では,量子ソフトウェア実験のための1-2-3アプローチを提案する。
我々の方式は、量子プロセッサ自体がもはやアクセスできない場合でも、長期的トレーサビリティを確認する。
論文 参考訳(メタデータ) (2022-01-28T10:54:34Z) - Avalanche: an End-to-End Library for Continual Learning [81.84325803942811]
PyTorchをベースとした継続的学習研究のためのオープンソースライブラリであるAvalancheを提案する。
avalancheは、継続的学習アルゴリズムの高速プロトタイピング、トレーニング、再現可能な評価のための共有とコラボレーションを提供するように設計されている。
論文 参考訳(メタデータ) (2021-04-01T11:31:46Z) - Research Reproducibility as a Survival Analysis [22.66983713481359]
我々は,論文のモデリングを生存分析問題として検討する。
生存率分析によって、過去の縦断データをよりよく説明できる新たな洞察を導きだす方法を示す。
論文 参考訳(メタデータ) (2020-12-17T20:56:53Z) - [not Rp] Reproducibility of 'Poincare dodecahedral space parameter
estimates' [0.0]
本論文は,2008年に発表された宇宙トポロジ観測論文を再現する試みである。
再生ステップは、無償ライセンスのgitリポジトリパッケージ "0807.4260" で正式に定義される。
論文 参考訳(メタデータ) (2020-07-23T21:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。