論文の概要: The Efficiency Misnomer

• arxiv url: http://arxiv.org/abs/2110.12894v1
• Date: Mon, 25 Oct 2021 12:48:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 13:25:46.901886
• Title: The Efficiency Misnomer
• Title（参考訳）: 効率のミスノマー
• Authors: Mostafa Dehghani and Anurag Arnab and Lucas Beyer and Ashish Vaswani and Yi Tay
• Abstract要約: 我々は、共通のコスト指標、それらの利点とデメリット、そしてそれらが相互に矛盾する方法について論じる。 コストインジケータの不完全な報告が、どのようにして部分的な結論をもたらすかを示し、異なるモデルの実践的考察の曖昧さや不完全さを図示する。
• 参考スコア（独自算出の注目度）: 50.69516433266469
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model efficiency is a critical aspect of developing and deploying machine learning models. Inference time and latency directly affect the user experience, and some applications have hard requirements. In addition to inference costs, model training also have direct financial and environmental impacts. Although there are numerous well-established metrics (cost indicators) for measuring model efficiency, researchers and practitioners often assume that these metrics are correlated with each other and report only few of them. In this paper, we thoroughly discuss common cost indicators, their advantages and disadvantages, and how they can contradict each other. We demonstrate how incomplete reporting of cost indicators can lead to partial conclusions and a blurred or incomplete picture of the practical considerations of different models. We further present suggestions to improve reporting of efficiency metrics.
• Abstract（参考訳）: モデル効率は、機械学習モデルの開発とデプロイの重要な側面である。 推論時間とレイテンシはユーザエクスペリエンスに直接影響を与えます。 推論コストに加えて、モデルトレーニングは財政や環境に直接影響を与える。 モデル効率を測定するための確立されたメトリクス(コスト指標)は数多く存在するが、研究者や実践者はこれらのメトリクスが相互に相関していると考え、報告するのはごくわずかである。 本稿では,共通コスト指標,それらの利点とデメリット,相互矛盾の可能性について徹底的に考察する。 コスト指標の不完全な報告が部分的な結論と異なるモデルの実用的考察のぼやけた、あるいは不完全な図にどのようにつながるかを実証する。 さらに,効率指標の報告を改善するための提案を行う。

関連論文リスト

• MultiAgent Collaboration Attack: Investigating Adversarial Attacks in Large Language Model Collaborations via Debate [24.92465108034783]
  大規模言語モデル(LLM)は、個別に作業する場合に、現在のベンチマークで例外的な結果を示す。 パラメータサイズと推論時間の短縮とともに、それらの能力の進歩は、これらのモデルをエージェントとしての使用を促進する。 敵の影響下での議論を通じて協調するモデルのネットワークの挙動を評価する。
  論文  参考訳（メタデータ） (2024-06-20T20:09:37Z)
• PairCFR: Enhancing Model Training on Paired Counterfactually Augmented Data through Contrastive Learning [49.60634126342945]
  Counterfactually Augmented Data (CAD)は、既存のデータサンプルのラベルを他のクラスに戻すのに、最小限かつ十分な修正を適用することで、新しいデータサンプルを作成する。 近年の研究では、CADを用いたトレーニングが、他の重要な文脈情報を無視しながら、モデルが修正機能に過度にフォーカスする可能性があることが示されている。 我々は、対実的手がかりの学習に加えて、グローバルな特徴アライメントを促進するために、対照的な学習を採用する。
  論文  参考訳（メタデータ） (2024-06-09T07:29:55Z)
• Causal Fair Metric: Bridging Causality, Individual Fairness, and Adversarial Robustness [7.246701762489971]
  モデル内の脆弱性の特定や、類似した個人を公平に扱うことを目的とした個々の公正性に使用される対向的摂動は、どちらも同等の入力データインスタンスを生成するためのメトリクスに依存している。 このような共同メトリクスを定義する以前の試みは、データや構造因果モデルに関する一般的な仮定を欠くことが多く、反事実的近接を反映できなかった。 本稿では, 因果的属性と保護された因果的摂動を含む因果的構造に基づいて定式化された因果的公正度について紹介する。
  論文  参考訳（メタデータ） (2023-10-30T09:53:42Z)
• On the Trade-offs between Adversarial Robustness and Actionable Explanations [32.05150063480917]
  本研究は, 対向的に頑健なモデルが動作可能な説明に与える影響を初めて研究する試みである。 提案手法は,最先端のアルゴリズムが生成する手法のコストと妥当性の差に関する理論的境界を導出する。 その結果, 逆向き頑健なモデルでは, コストが大幅に増加し, 結果の妥当性が低下することが示唆された。
  論文  参考訳（メタデータ） (2023-09-28T13:59:50Z)
• Striving for data-model efficiency: Identifying data externalities on group performance [75.17591306911015]
  信頼できる、効果的で責任ある機械学習システムの構築は、トレーニングデータとモデリング決定の違いが、予測パフォーマンスにどのように影響するかを理解することに集中する。 我々は、特定のタイプのデータモデル非効率性に注目し、一部のソースからトレーニングデータを追加することで、集団の重要なサブグループで評価されるパフォーマンスを実際に低下させることができる。 以上の結果から,データ効率が正確かつ信頼性の高い機械学習の鍵となることが示唆された。
  論文  参考訳（メタデータ） (2022-11-11T16:48:27Z)
• Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors [105.12462629663757]
  本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。 本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
  論文  参考訳（メタデータ） (2022-05-25T15:26:48Z)
• Individual Explanations in Machine Learning Models: A Survey for Practitioners [69.02688684221265]
  社会的関連性の高い領域の決定に影響を与える洗練された統計モデルの使用が増加しています。 多くの政府、機関、企業は、アウトプットが人間の解釈可能な方法で説明しにくいため、採用に消極的です。 近年,機械学習モデルに解釈可能な説明を提供する方法として,学術文献が多数提案されている。
  論文  参考訳（メタデータ） (2021-04-09T01:46:34Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)
• Metrics for Benchmarking and Uncertainty Quantification: Quality, Applicability, and a Path to Best Practices for Machine Learning in Chemistry [0.0]
  本総説は, 化学・材料分野における機械学習ベンチマークの実施に際し, 2つの課題に留意することを目的としている。 化学者は統計学における限られた訓練しか持たないため、しばしば見過ごされるか、未熟なトピックである。 これらの指標は、異なるモデルのパフォーマンスを比較する上でも重要であり、したがって化学における機械学習の適用を成功させるためのガイドラインとベストプラクティスを開発する上でも重要である。
  論文  参考訳（メタデータ） (2020-09-30T21:19:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。