論文の概要: On the Importance of Reproducibility of Experimental Results Especially in the Domain of Security

• arxiv url: http://arxiv.org/abs/2407.06760v1
• Date: Tue, 9 Jul 2024 11:12:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 18:17:01.389530
• Title: On the Importance of Reproducibility of Experimental Results Especially in the Domain of Security
• Title（参考訳）: 安全分野における実験結果の再現性の重要性について
• Authors: Dmytro Petryk, Ievgen Kabin, Peter Langendörfer, Zoya Dyka,
• Abstract要約: 我々は,実験装置に付随するパラメータで報告されたパラメータを検証するために実施した実験について報告する。 以上の結果から,実世界データと実世界データの間には大きな相違点があることが示唆された。 結果を改善するために,研究グループが使用する機器のインスを検証し,一方,cmなどの国際的に受け入れられている単位に測定設定パラメータを提供することを論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Security especially in the fields of IoT, industrial automation and critical infrastructure is paramount nowadays and a hot research topic. In order to ensure confidence in research results they need to be reproducible. In the past we reported [18] that in many publications important information such as details about the equipment used are missing. In this paper we report on our own experiments that we run to verify the parameters reported in the datasheets that came along with our experimental equipment. Our results show that there are significant discrepancies between the datasheets and the real world data. These deviations concern accuracy of positions, movements, duration of laser shots etc. In order to improve reproducibility of results we therefore argue on the one hand that research groups verify the data given in datasheets of equipment they use and on the other hand that they provide measurement set-up parameters in globally accepted units such as cm, seconds, etc.
• Abstract（参考訳）: IoT、産業自動化、重要なインフラストラクチャの分野におけるセキュリティは、最近は最重要で、ホットな研究トピックである。 研究結果の信頼性を確保するためには、再現性が必要です。 過去の報告では、多くの出版物において、使用済み機器の詳細などの重要な情報が欠落している。 本稿では,実験装置に付随するデータシートで報告されたパラメータを検証するために実施した実験について報告する。 その結果,データシートと実世界のデータの間には大きな相違点があることが判明した。 これらの偏差は、位置、動き、レーザーショットの持続時間などの精度に関係している。 結果の再現性を向上させるために,研究グループは使用する機器のデータシートに与えられたデータを検証するとともに,cmや秒などの国際的に受け入れられている単位に測定設定パラメータを提供する。

関連論文リスト

• Understanding Data Importance in Machine Learning Attacks: Does Valuable Data Pose Greater Harm? [23.2883929808036]
  5つの異なる攻撃タイプを解析することにより,データ重要度と機械学習攻撃との関係について検討する。 例えば、高重要性データサンプルは、メンバーシップ推論やモデル盗難などの特定の攻撃において、脆弱性が増大していることを観察する。 これらの知見は、実用性最大化と価値あるデータの保護のバランスを崩す革新的な防衛機構の緊急の必要性を強調している。
  論文  参考訳（メタデータ） (2024-09-05T17:54:26Z)
• Evaluating Automatic Metrics with Incremental Machine Translation Systems [55.78547133890403]
  商業機械翻訳からなるデータセットを導入し,12の翻訳方向から6年間にわたって収集した。 商業システムは時間とともに改善され、より最近の翻訳の好みに基づいて機械翻訳(MT)メトリクスを評価することができると仮定する。
  論文  参考訳（メタデータ） (2024-07-03T17:04:17Z)
• A Review of Benchmarks for Visual Defect Detection in the Manufacturing Industry [63.52264764099532]
  本稿では,既存のベンチマークを用いて,それらの特性とユースケースを比較し,公開する。 産業メトリクスの要求と試験手順についての研究は、研究されたベンチマークに提示され、適用されます。
  論文  参考訳（メタデータ） (2023-05-05T07:44:23Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• Shifts 2.0: Extending The Dataset of Real Distributional Shifts [25.31085238930148]
  シフトデータセットを、高い社会的重要性を持つ工業的、高リスクな応用から得られた2つのデータセットで拡張する。 3次元磁気共鳴脳画像における白質多発性硬化症病変の分節化の課題と船舶の電力消費量の推定について検討した。 これらの新しいデータセットは、研究者が新しい状況における堅牢な一般化と不確実性推定をさらに探求することを可能にする。
  論文  参考訳（メタデータ） (2022-06-30T16:51:52Z)
• Investigating Data Variance in Evaluations of Automatic Machine Translation Metrics [58.50754318846996]
  本稿では,メトリクスのパフォーマンスがデータに敏感であることを示す。 メトリクスのランキングは、異なるデータセットで評価が行われると異なる。
  論文  参考訳（メタデータ） (2022-03-29T18:58:28Z)
• Auto-encoder based Model for High-dimensional Imbalanced Industrial Data [6.339700878842761]
  分散重み付きマルチヘッドオートエンコーダ分類モデルを導入し,高次元および高不均衡なデータによく適合する。 また、出力制御された表現学習とマルチタスク重み付けを利用して、複数の出力を同時に予測する。
  論文  参考訳（メタデータ） (2021-08-04T14:34:59Z)
• Hidden Biases in Unreliable News Detection Datasets [60.71991809782698]
  データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。 クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。 将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
  論文  参考訳（メタデータ） (2021-04-20T17:16:41Z)
• Towards Understanding Sample Variance in Visually Grounded Language Generation: Evaluations and Observations [67.4375210552593]
  視覚的基盤言語生成において,重要だがしばしば無視される問題を理解するために実験を設計する。 人間にはさまざまなユーティリティと視覚的注意があるので、マルチ参照データセットのサンプルのばらつきはモデルの性能にどのように影響しますか? 人為的な参照は、異なるデータセットやタスクで大きく変化する可能性があり、それぞれのタスクの性質が明らかになる。
  論文  参考訳（メタデータ） (2020-10-07T20:45:14Z)
• Meta Learning for Causal Direction [29.00522306460408]
  小型データ設定における原因と効果の区別を可能にする新しい生成モデルを提案する。 提案手法は, 各種合成データと実世界のデータを用いて実証し, 種々のデータセットサイズにおける方向検出の精度を高い精度で維持可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-06T15:12:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。