論文の概要: From Model Performance to Claim: How a Change of Focus in Machine Learning Replicability Can Help Bridge the Responsibility Gap
- arxiv url: http://arxiv.org/abs/2404.13131v1
- Date: Fri, 19 Apr 2024 18:36:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 20:18:24.712296
- Title: From Model Performance to Claim: How a Change of Focus in Machine Learning Replicability Can Help Bridge the Responsibility Gap
- Title(参考訳): モデルパフォーマンスからクレームへ:機械学習の再現性の変化が責任のギャップを橋渡しするのにどう役立つか
- Authors: Tianqi Kou,
- Abstract要約: 2つの目標 - 機械学習研究の複製性と説明責任の改善。
本稿では,複製可能性の再構築がギャップを埋める助けとなることを示唆する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Two goals - improving replicability and accountability of Machine Learning research respectively, have accrued much attention from the AI ethics and the Machine Learning community. Despite sharing the measures of improving transparency, the two goals are discussed in different registers - replicability registers with scientific reasoning whereas accountability registers with ethical reasoning. Given the existing challenge of the Responsibility Gap - holding Machine Learning scientists accountable for Machine Learning harms due to them being far from sites of application, this paper posits that reconceptualizing replicability can help bridge the gap. Through a shift from model performance replicability to claim replicability, Machine Learning scientists can be held accountable for producing non-replicable claims that are prone to eliciting harm due to misuse and misinterpretation. In this paper, I make the following contributions. First, I define and distinguish two forms of replicability for ML research that can aid constructive conversations around replicability. Second, I formulate an argument for claim-replicability's advantage over model performance replicability in justifying assigning accountability to Machine Learning scientists for producing non-replicable claims and show how it enacts a sense of responsibility that is actionable. In addition, I characterize the implementation of claim replicability as more of a social project than a technical one by discussing its competing epistemological principles, practical implications on Circulating Reference, Interpretative Labor, and research communication.
- Abstract(参考訳): 機械学習研究の再現性と説明責任の改善という2つの目標が、AI倫理と機械学習コミュニティから大きな注目を集めている。
透明性を改善するための尺度を共有しているにもかかわらず、2つの目標が異なるレジスタで議論されている。
既存の責任ギャップ(Responsibility Gap)の課題 - 機械学習の科学者がアプリケーションサイトから遠く離れているため、機械学習の害を負う可能性があることを考えると、この論文は、複製可能性の再構築がギャップを埋めるのに役立つと仮定する。
モデルパフォーマンスの再現性から複製性へのシフトを通じて、機械学習の科学者は、誤用や誤解釈による害を招きやすい非レプリケーション可能なクレームを生成する責任を負うことができる。
本稿では、以下の貢献をします。
まず、複製性に関する構築的な会話を支援するML研究のための2つの形態の複製性を定義し、区別する。
第二に、私は、非複製可能なクレームを生成するために機械学習の科学者に説明責任を割り当てることを正当化する上で、モデル性能の再現性に対するクレーム-複製可能性のアドバンテージを定式化し、それが実行可能な責任感をいかに実現するかを示す。
さらに,私は,主張の再現性の実現を技術的プロジェクトよりも社会的プロジェクトとして,その競合する認識論的原則,循環基準,解釈的労働,研究コミュニケーションの実践的意味を議論することで特徴付けている。
関連論文リスト
- A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。
本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
論文 参考訳(メタデータ) (2023-11-14T07:13:10Z) - Self-RAG: Learning to Retrieve, Generate, and Critique through
Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。
自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。
様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文 参考訳(メタデータ) (2023-10-17T18:18:32Z) - Replicable Reinforcement Learning [15.857503103543308]
本稿では、並列値反復のための証明可能なレプリカブルアルゴリズムと、エピソード設定における証明可能なR-maxのレプリカブルバージョンを提供する。
これらは制御問題に対する最初の公式なレプリカ化結果であり、バッチ学習設定とは異なるレプリケーションの課題を提示している。
論文 参考訳(メタデータ) (2023-05-24T16:05:15Z) - Defining Replicability of Prediction Rules [2.4366811507669124]
本稿では,予測規則の再現性を定義するためのアプローチを提案する。
私は、典型的な利用状況における「一貫性のある結果」の意味に特に焦点を合わせます。
論文 参考訳(メタデータ) (2023-04-30T13:27:55Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳(メタデータ) (2022-08-27T09:27:36Z) - Exploring the Trade-off between Plausibility, Change Intensity and
Adversarial Power in Counterfactual Explanations using Multi-objective
Optimization [73.89239820192894]
自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。
本稿では, 対実例生成のための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2022-05-20T15:02:53Z) - Variational Empowerment as Representation Learning for Goal-Based
Reinforcement Learning [114.07623388322048]
本稿では,標準目標条件付きRL (GCRL) を目的変動エンパワーメントによってカプセル化する方法について論じる。
我々の研究は、ゴールベースRLで表現学習技術を評価し、分析し、開発する新しい基礎を築いた。
論文 参考訳(メタデータ) (2021-06-02T18:12:26Z) - Abduction and Argumentation for Explainable Machine Learning: A Position
Survey [2.28438857884398]
本稿では, 推論の2つの原則形式として, 帰納法と論証法を提案する。
機械学習の中で彼らが果たせる基本的な役割を具体化します。
論文 参考訳(メタデータ) (2020-10-24T13:23:44Z) - Social Commonsense Reasoning with Multi-Head Knowledge Attention [24.70946979449572]
社会的コモンセンス推論には、テキストの理解、社会イベントに関する知識、その実践的な意味、およびコモンセンス推論スキルが必要である。
本稿では,半構造化コモンセンス推論規則を符号化し,それをトランスフォーマーベースの推論セルに組み込むことを学習する,新しいマルチヘッド知識アテンションモデルを提案する。
論文 参考訳(メタデータ) (2020-10-12T10:24:40Z) - Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。
本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。
この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文 参考訳(メタデータ) (2020-04-13T05:23:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。