論文の概要: Machine Learning and Knowledge: Why Robustness Matters
- arxiv url: http://arxiv.org/abs/2310.19819v1
- Date: Mon, 23 Oct 2023 15:45:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-05 13:28:01.086864
- Title: Machine Learning and Knowledge: Why Robustness Matters
- Title（参考訳）: 機械学習と知識:なぜロバスト性が重要か
- Authors: Jonathan Vandenburgh
- Abstract要約: アルゴリズムの信頼性は、ユーザーがそのアウトプットが正しいかどうかを知る立場にあるかどうかにかかっている、と私は論じる。
機械学習アルゴリズムは、カウンターファクトシナリオでうまく機能し、適切な機能に基づいて意思決定を行う場合にのみ、知識を提供することができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Trusting machine learning algorithms requires having confidence in their
outputs. Confidence is typically interpreted in terms of model reliability,
where a model is reliable if it produces a high proportion of correct outputs.
However, model reliability does not address concerns about the robustness of
machine learning models, such as models relying on the wrong features or
variations in performance based on context. I argue that the epistemic
dimension of trust can instead be understood through the concept of knowledge,
where the trustworthiness of an algorithm depends on whether its users are in
the position to know that its outputs are correct. Knowledge requires beliefs
to be formed for the right reasons and to be robust to error, so machine
learning algorithms can only provide knowledge if they work well across
counterfactual scenarios and if they make decisions based on the right
features. This, I argue, can explain why we should care about model properties
like interpretability, causal shortcut independence, and distribution shift
robustness even if such properties are not required for model reliability.
- Abstract（参考訳）: 機械学習アルゴリズムを信頼するには、アウトプットに自信が必要である。
信頼はモデル信頼性の観点から解釈されるのが一般的であり、モデルが正しい出力の比率を高い割合で生成した場合は信頼される。
しかしながら、モデルの信頼性は、間違った特徴に依存するモデルやコンテキストに基づくパフォーマンスのバリエーションなど、マシンラーニングモデルの堅牢性に関する問題には対処しない。
信頼という認識の次元は、アルゴリズムの信頼性は、ユーザーがそのアウトプットが正しいかどうかを知る立場にあるかどうかに依存する、知識の概念を通して理解することができる、と私は論じる。
知識は正しい理由による信念の形成と、エラーに対する堅牢性を必要とするため、マシンラーニングアルゴリズムは、反事実的シナリオでうまく機能し、適切な機能に基づいて意思決定を行う場合にのみ、知識を提供することができる。
これは、解釈可能性、因果的近道独立性、分散シフトのロバスト性といったモデル特性がモデル信頼性に必要でなくても考慮すべき理由を説明できます。
関連論文リスト
- Automated Trustworthiness Testing for Machine Learning Classifiers [3.3423762257383207]
本稿では,テキスト分類器が信頼に値するかどうかを判断する信頼度オラクルを自動生成するTOWERを提案する。
我々の仮説は、その説明中の単語が予測されたクラスと意味的に関連している場合、予測は信頼に値するというものである。
その結果,TOWERはノイズの増加に伴って信頼性の低下を検出することができるが,人為的ラベル付きデータセットに対して評価しても有効ではないことがわかった。
論文 参考訳（メタデータ） (2024-06-07T20:25:05Z) - Mathematical Algorithm Design for Deep Learning under Societal and
Judicial Constraints: The Algorithmic Transparency Requirement [65.26723285209853]
計算モデルにおける透過的な実装が実現可能かどうかを分析するための枠組みを導出する。
以上の結果から,Blum-Shub-Smale Machinesは,逆問題に対する信頼性の高い解法を確立できる可能性が示唆された。
論文 参考訳（メタデータ） (2024-01-18T15:32:38Z) - Improving the Reliability of Large Language Models by Leveraging
Uncertainty-Aware In-Context Learning [76.98542249776257]
大規模言語モデルはしばしば「ハロシン化」の課題に直面している
本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-07T12:06:53Z) - Trusting Language Models in Education [1.2578554943276923]
本稿では,BERT 上の XGBoost を用いて補正された確率を出力することを提案する。
我々の仮説は、注意の流れに含まれる不確実性のレベルは、モデルの応答自体の品質に関係している、というものである。
論文 参考訳（メタデータ） (2023-08-07T18:27:54Z) - Causal Discovery with Language Models as Imperfect Experts [119.22928856942292]
専門知識を用いて因果グラフの同定を改善する方法について検討する。
整合性に基づく専門家の知識を改良するための戦略を提案する。
本稿では,不完全な専門家として大規模言語モデルを用いる実データを用いたケーススタディについて報告する。
論文 参考訳（メタデータ） (2023-07-05T16:01:38Z) - Inference for Interpretable Machine Learning: Fast, Model-Agnostic
Confidence Intervals for Feature Importance [1.2891210250935146]
我々は、機械学習の解釈の広く使われている形態、すなわち特徴の重要性に対する信頼区間を発達させる。
ランダムな観察とミニパッチアンサンブルと呼ばれる特徴サブサンプリングの形式を活用することで実現している。
推論に必要な計算が、アンサンブル学習プロセスの一部としてほぼ無償で提供されるため、私たちのアプローチは高速です。
論文 参考訳（メタデータ） (2022-06-05T03:14:48Z) - Don't Just Blame Over-parametrization for Over-confidence: Theoretical
Analysis of Calibration in Binary Classification [58.03725169462616]
理論上は、過剰パラメトリゼーションは過剰信頼の唯一の理由ではない。
我々は、ロジスティック回帰は本質的に信頼過剰であり、実現可能で、非パラメータな設定であることを示す。
おそらく驚くことに、過剰な信頼が常にそうであるとは限らないことも示します。
論文 参考訳（メタデータ） (2021-02-15T21:38:09Z) - Uncertainty as a Form of Transparency: Measuring, Communicating, and
Using Uncertainty [66.17147341354577]
我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。
モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。
この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
論文 参考訳（メタデータ） (2020-11-15T17:26:14Z) - Explainability for fair machine learning [10.227479910430866]
本稿では,Shapley値のパラダイムに基づく機械学習における公平性を説明するための新しいアプローチを提案する。
我々の公正な説明は、モデルがセンシティブな属性を直接操作していない場合であっても、モデル全体の不公平さを個々の入力特徴に帰着する。
本稿では,既存のトレーニング時間フェアネス介入を適用したメタアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-14T20:21:01Z) - A Note on High-Probability versus In-Expectation Guarantees of
Generalization Bounds in Machine Learning [95.48744259567837]
統計的機械学習理論は、しばしば機械学習モデルの一般化を保証するよう試みる。
機械学習モデルのパフォーマンスに関する声明は、サンプリングプロセスを考慮する必要がある。
1つのステートメントを別のステートメントに変換する方法を示します。
論文 参考訳（メタデータ） (2020-10-06T09:41:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。