論文の概要: From Model Performance to Claim: How a Change of Focus in Machine Learning Replicability Can Help Bridge the Responsibility Gap

• arxiv url: http://arxiv.org/abs/2404.13131v1
• Date: Fri, 19 Apr 2024 18:36:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 20:18:24.712296
• Title: From Model Performance to Claim: How a Change of Focus in Machine Learning Replicability Can Help Bridge the Responsibility Gap
• Title（参考訳）: モデルパフォーマンスからクレームへ:機械学習の再現性の変化が責任のギャップを橋渡しするのにどう役立つか
• Authors: Tianqi Kou,
• Abstract要約: 2つの目標 - 機械学習研究の複製性と説明責任の改善。 本稿では,複製可能性の再構築がギャップを埋める助けとなることを示唆する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Two goals - improving replicability and accountability of Machine Learning research respectively, have accrued much attention from the AI ethics and the Machine Learning community. Despite sharing the measures of improving transparency, the two goals are discussed in different registers - replicability registers with scientific reasoning whereas accountability registers with ethical reasoning. Given the existing challenge of the Responsibility Gap - holding Machine Learning scientists accountable for Machine Learning harms due to them being far from sites of application, this paper posits that reconceptualizing replicability can help bridge the gap. Through a shift from model performance replicability to claim replicability, Machine Learning scientists can be held accountable for producing non-replicable claims that are prone to eliciting harm due to misuse and misinterpretation. In this paper, I make the following contributions. First, I define and distinguish two forms of replicability for ML research that can aid constructive conversations around replicability. Second, I formulate an argument for claim-replicability's advantage over model performance replicability in justifying assigning accountability to Machine Learning scientists for producing non-replicable claims and show how it enacts a sense of responsibility that is actionable. In addition, I characterize the implementation of claim replicability as more of a social project than a technical one by discussing its competing epistemological principles, practical implications on Circulating Reference, Interpretative Labor, and research communication.
• Abstract（参考訳）: 機械学習研究の再現性と説明責任の改善という2つの目標が、AI倫理と機械学習コミュニティから大きな注目を集めている。 透明性を改善するための尺度を共有しているにもかかわらず、2つの目標が異なるレジスタで議論されている。 既存の責任ギャップ(Responsibility Gap)の課題 - 機械学習の科学者がアプリケーションサイトから遠く離れているため、機械学習の害を負う可能性があることを考えると、この論文は、複製可能性の再構築がギャップを埋めるのに役立つと仮定する。 モデルパフォーマンスの再現性から複製性へのシフトを通じて、機械学習の科学者は、誤用や誤解釈による害を招きやすい非レプリケーション可能なクレームを生成する責任を負うことができる。 本稿では、以下の貢献をします。 まず、複製性に関する構築的な会話を支援するML研究のための2つの形態の複製性を定義し、区別する。 第二に、私は、非複製可能なクレームを生成するために機械学習の科学者に説明責任を割り当てることを正当化する上で、モデル性能の再現性に対するクレーム-複製可能性のアドバンテージを定式化し、それが実行可能な責任感をいかに実現するかを示す。 さらに,私は,主張の再現性の実現を技術的プロジェクトよりも社会的プロジェクトとして,その競合する認識論的原則,循環基準,解釈的労働,研究コミュニケーションの実践的意味を議論することで特徴付けている。

関連論文リスト

• ReVISE: Learning to Refine at Test-Time via Intrinsic Self-Verification [53.80183105328448]
  Refine via Intrinsic Self-Verification (ReVISE)は、LLMが自己検証を通じてアウトプットを自己修正できる効率的なフレームワークである。 様々な推論タスクに関する実験により、ReVISEは効率的な自己補正を実現し、推論性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2025-02-20T13:50:02Z)
• PSSD: Making Large Language Models Self-denial via Human Psyche Structure [5.057375783924452]
  本稿では,3つの異なる役割が人間の推論に寄与するように,人間の精神構造を参照し,実装する。 大規模な実験では、提案された設計が推論能力を向上するだけでなく、現行のモデルとシームレスに統合できることが示されている。
  論文  参考訳（メタデータ） (2025-02-03T13:37:21Z)
• Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
  本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。 実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
  論文  参考訳（メタデータ） (2024-11-20T17:55:38Z)
• What is Reproducibility in Artificial Intelligence and Machine Learning Research? [0.7373617024876725]
  重要な検証作業の役割と定義を明らかにするための検証フレームワークを導入する。 この構造化フレームワークは、AI/ML研究者にこれらの本質的な概念を明確化することを目的としている。
  論文  参考訳（メタデータ） (2024-04-29T18:51:20Z)
• Distilling Reasoning Ability from Large Language Models with Adaptive Thinking [54.047761094420174]
  思考の微調整(cot-finetuning)の連鎖は、小さな言語モデル(SLM)を特定のタスクに対するパフォーマンス向上の推論能力で実現することを目的としている。 既存のコトファインタニング法の多くは事前に考えられたメカニズムを採用しており、SLMは答えを出す前に理性を生成することができる。 このメカニズムにより、SLMは複雑な質問を分析して考えることができるが、答えの正しさは論理的に小さな誤りに非常に敏感になる。 理性よりも先に回答を生成するための頑健な後思考機構を提案する。
  論文  参考訳（メタデータ） (2024-04-14T07:19:27Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Replicable Reinforcement Learning [15.857503103543308]
  本稿では、並列値反復のための証明可能なレプリカブルアルゴリズムと、エピソード設定における証明可能なR-maxのレプリカブルバージョンを提供する。 これらは制御問題に対する最初の公式なレプリカ化結果であり、バッチ学習設定とは異なるレプリケーションの課題を提示している。
  論文  参考訳（メタデータ） (2023-05-24T16:05:15Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)
• Abduction and Argumentation for Explainable Machine Learning: A Position Survey [2.28438857884398]
  本稿では, 推論の2つの原則形式として, 帰納法と論証法を提案する。 機械学習の中で彼らが果たせる基本的な役割を具体化します。
  論文  参考訳（メタデータ） (2020-10-24T13:23:44Z)
• Generating Fact Checking Explanations [52.879658637466605]
  まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。 本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。 この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-13T05:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。