論文の概要: What is it for a Machine Learning Model to Have a Capability?

• arxiv url: http://arxiv.org/abs/2405.08989v1
• Date: Tue, 14 May 2024 23:03:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-16 14:45:30.749611
• Title: What is it for a Machine Learning Model to Have a Capability?
• Title（参考訳）: 機械学習モデルが機能を持つのは何か?
• Authors: Jacqueline Harding, Nathaniel Sharadin,
• Abstract要約: モデル評価の初期段階の科学に有用な機械学習モデルの能力について考察する。 私たちの中核的な提案は、モデル能力の条件付き分析(CAMA)であり、粗雑に言うと、機械学習モデルは、もし"トリド"された場合、それが確実にXを行うのに成功するときに、Xの能力を持つ。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: What can contemporary machine learning (ML) models do? Given the proliferation of ML models in society, answering this question matters to a variety of stakeholders, both public and private. The evaluation of models' capabilities is rapidly emerging as a key subfield of modern ML, buoyed by regulatory attention and government grants. Despite this, the notion of an ML model possessing a capability has not been interrogated: what are we saying when we say that a model is able to do something? And what sorts of evidence bear upon this question? In this paper, we aim to answer these questions, using the capabilities of large language models (LLMs) as a running example. Drawing on the large philosophical literature on abilities, we develop an account of ML models' capabilities which can be usefully applied to the nascent science of model evaluation. Our core proposal is a conditional analysis of model abilities (CAMA): crudely, a machine learning model has a capability to X just when it would reliably succeed at doing X if it 'tried'. The main contribution of the paper is making this proposal precise in the context of ML, resulting in an operationalisation of CAMA applicable to LLMs. We then put CAMA to work, showing that it can help make sense of various features of ML model evaluation practice, as well as suggest procedures for performing fair inter-model comparisons.
• Abstract（参考訳）: 現代の機械学習(ML)モデルに何ができるのか? 社会におけるMLモデルの普及を考えると、この問題に答えることは、パブリックとプライベートの両方において、さまざまな利害関係者に重要である。 モデルの性能評価は、規制の注意と政府の助成金に支えられて、現代のMLの重要なサブフィールドとして急速に発展しつつある。 それにもかかわらず、能力を持つMLモデルの概念は疑問視されていない。 そして、この疑問にどんな証拠が当てはまるのか? 本稿では,大規模言語モデル(LLM)を実例として,これらの疑問に答えることを目的とする。 本研究は,MLモデルの能力に関する哲学文献をもとに,モデル評価の新たな科学に有効に適用可能な,MLモデルの能力について考察する。 私たちの中核的な提案は、モデル能力の条件付き分析(CAMA: Conditional analysis of model abilities)です。 本論文の主な貢献は、この提案をMLの文脈で正確にすることであり、その結果、LCMに適用可能なCAMAの運用が可能となった。 そこで我々はCAMAを実践し、MLモデル評価実践の様々な特徴を理解するのに役立つことを示し、公正なモデル間比較を行うための手順を提案する。

関連論文リスト

• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• Beyond Specialization: Assessing the Capabilities of MLLMs in Age and Gender Estimation [0.0]
  現在最も強力なMLLM(ShareGPT4V, ChatGPT, LLaVA-Next)の能力を比較する。 この比較は、参加モデルの強みと弱みに関する興味深い結果と洞察をもたらした。
  論文  参考訳（メタデータ） (2024-03-04T18:32:12Z)
• MetaVL: Transferring In-Context Learning Ability From Language Models to Vision-Language Models [74.89629463600978]
  視覚言語領域では、ほとんどの大規模事前学習された視覚言語モデルは、文脈内学習を行う能力を持っていない。 本稿では,言語領域から視覚領域へコンテキスト内学習能力を移行できるのか,という興味深い仮説を考察する。
  論文  参考訳（メタデータ） (2023-06-02T07:21:03Z)
• Specializing Smaller Language Models towards Multi-Step Reasoning [56.78474185485288]
  GPT-3.5 (ge$ 175B) から T5 変種 (le$ 11B) までを蒸留できることを示す。 対象タスクに対するモデルの能力を専門化するモデル特殊化を提案する。
  論文  参考訳（メタデータ） (2023-01-30T08:51:19Z)
• Rethinking and Recomputing the Value of ML Models [28.80821411530123]
  私たちがMLモデルをトレーニングし評価してきた方法は、それらが組織や社会的文脈に適用されているという事実をほとんど忘れている、と私たちは主張する。 この観点から、私たちはMLモデルの評価、選択、デプロイの方法を根本的に変えています。
  論文  参考訳（メタデータ） (2022-09-30T01:02:31Z)
• The games we play: critical complexity improves machine learning [0.0]
  機械学習のベストプラクティスは、合理主義的で壮大な物語よりも、決定的な複雑性の観点から一致すべきである、と私たちは主張する。 MLコミュニティでプレイされている13の「ゲーム」は、モデルに偽の正当性を与え、人工知能の能力に関する過剰な宣伝と誇大宣伝に寄与し、不平等を悪化させ差別を引き起こすモデルに繋がる。
  論文  参考訳（メタデータ） (2022-05-18T13:37:22Z)
• The Need for Interpretable Features: Motivation and Taxonomy [69.07189753428553]
  我々は、「解釈可能な特徴」という用語は、機械学習の説明の有用性に影響を与える機能の全範囲を捉えるのに十分な具体的あるいは詳細ではないと主張している。 本稿では,(1)解釈可能な機能空間と呼ぶもの,あるいはドメインの専門家が現実の行動を取る上で有用な機能の現状に,より注意を払わなければならない,という3つの重要な教訓を論じる。
  論文  参考訳（メタデータ） (2022-02-23T19:19:14Z)
• What do we expect from Multiple-choice QA Systems? [70.86513724662302]
  複数のMultiple Choice Question Answering(MCQA)データセット上で,トップパフォーマンスモデルを検討する。 このようなモデルから得られる可能性のある一連の期待値に対して、モデル入力のゼロ情報摂動を用いて評価する。
  論文  参考訳（メタデータ） (2020-11-20T21:27:10Z)
• Insights into Performance Fitness and Error Metrics for Machine Learning [1.827510863075184]
  機械学習(ML)は、高いレベルの認知を達成し、人間のような分析を行うための訓練機械の分野である。 本稿では、回帰アルゴリズムや分類アルゴリズムにおいて、最もよく使われている性能適合度と誤差の測定値について検討する。
  論文  参考訳（メタデータ） (2020-05-17T22:59:04Z)
• An Information-Theoretic Approach to Personalized Explainable Machine Learning [92.53970625312665]
  本稿では,予測とユーザ知識のための簡易確率モデルを提案する。 説明と予測の間の条件付き相互情報による説明の効果を定量化する。
  論文  参考訳（メタデータ） (2020-03-01T13:06:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。