論文の概要: REAL ML: Recognizing, Exploring, and Articulating Limitations of Machine Learning Research

• arxiv url: http://arxiv.org/abs/2205.08363v1
• Date: Thu, 5 May 2022 15:32:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-22 17:41:53.707621
• Title: REAL ML: Recognizing, Exploring, and Articulating Limitations of Machine Learning Research
• Title（参考訳）: REAL ML: 機械学習研究における限界を認識し,探索し,記録する
• Authors: Jessie J. Smith, Saleema Amershi, Solon Barocas, Hanna Wallach, Jennifer Wortman Vaughan
• Abstract要約: 制限に関する透明性は、研究の厳格さを改善し、研究結果の適切な解釈を確実にし、研究の主張をより信頼できるものにするのに役立つ。 これらの利点にもかかわらず、機械学習(ML)研究コミュニティは、制限の開示と議論に関して、十分に発達した規範を欠いている。 機械学習の研究者が研究の限界を認識し、探索し、明確化するのに役立つ一連のガイド付きアクティビティであるREAL MLを開発するために、30人のMLおよびML隣接研究者による反復的な設計プロセスを実行します。
• 参考スコア（独自算出の注目度）: 19.71032778307425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transparency around limitations can improve the scientific rigor of research, help ensure appropriate interpretation of research findings, and make research claims more credible. Despite these benefits, the machine learning (ML) research community lacks well-developed norms around disclosing and discussing limitations. To address this gap, we conduct an iterative design process with 30 ML and ML-adjacent researchers to develop and test REAL ML, a set of guided activities to help ML researchers recognize, explore, and articulate the limitations of their research. Using a three-stage interview and survey study, we identify ML researchers' perceptions of limitations, as well as the challenges they face when recognizing, exploring, and articulating limitations. We develop REAL ML to address some of these practical challenges, and highlight additional cultural challenges that will require broader shifts in community norms to address. We hope our study and REAL ML help move the ML research community toward more active and appropriate engagement with limitations.
• Abstract（参考訳）: 限界に関する透明性は、研究の科学的厳密さを改善し、研究結果の適切な解釈を確実にし、研究の主張をより信頼できるものにする。 これらの利点にもかかわらず、機械学習(ML)研究コミュニティは、制限の開示と議論に関して、十分に発達した規範を欠いている。 このギャップに対処するために、30人のML研究者とML隣接研究者による反復的な設計プロセスを実施し、REAL MLを開発し、テストする。 3段階のインタビューと調査の結果から,ml研究者の制限に対する認識と,制限を認識し,探索し,認識する上での課題を明らかにした。 我々は,これらの実践的な課題に対処するためにREAL MLを開発し,コミュニティ規範のより広範なシフトを必要とする文化的な課題を強調している。 我々は,我々の研究とREAL MLが,ML研究コミュニティをより活発かつ適切な制限への関与へと移行するのに役立つことを願っている。

関連論文リスト

• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• Reproducibility in Machine Learning-based Research: Overview, Barriers and Drivers [1.4841630983274845]
  様々な分野の研究は、現在結果の認識に関する課題を経験している。 この問題は、機械学習(ML)の研究でも広く用いられている。 MLによる研究のレベルは相変わらず不満足である。
  論文  参考訳（メタデータ） (2024-06-20T13:56:42Z)
• Apprentices to Research Assistants: Advancing Research with Large Language Models [0.0]
  大規模言語モデル(LLM)は、様々な研究領域において強力なツールとして登場した。 本稿では,文献レビューと手動実験を通じてその可能性について考察する。
  論文  参考訳（メタデータ） (2024-04-09T15:53:06Z)
• LimGen: Probing the LLMs for Generating Suggestive Limitations of Research Papers [8.076841611508488]
  本稿では,研究論文におけるSLG(Suggestive Limitation Generation)の新たな課題について紹介する。 我々は textbftextitLimGen というデータセットをコンパイルし、4068 の研究論文とそれに関連する ACL アンソロジーの制限を包含する。
  論文  参考訳（メタデータ） (2024-03-22T17:31:43Z)
• Effectiveness Assessment of Recent Large Vision-Language Models [78.69439393646554]
  本稿では,多言語多言語モデル(LVLM)の専門的および汎用的な課題における能力を評価する。 私たちは、自然、医療、産業という3つの異なるアプリケーションシナリオで6つの挑戦的なタスクを採用しています。 我々は,MiniGPT-v2,LLaVA-1.5,Shikraを含む最近の3つのオープンソースLVLMの視覚的認識および局所化性能について検討した。
  論文  参考訳（メタデータ） (2024-03-07T08:25:27Z)
• Exploring Perceptual Limitation of Multimodal Large Language Models [57.567868157293994]
  我々は、いくつかの最先端MLLMにおける小さな視覚物体の知覚を定量的に研究する。 この制限に寄与できる4つの独立した要因を特定します。 オブジェクトの品質が低く、オブジェクトサイズも小さいため、MLLMの視覚的質問に答える能力は独立して低下する。
  論文  参考訳（メタデータ） (2024-02-12T03:04:42Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• Reproducibility in Machine Learning-Driven Research [1.7936835766396748]
  研究は生存可能性の危機に直面しており、多くの研究の結果や発見は、再現することが困難または不可能である。 機械学習(ML)と人工知能(AI)の研究においても、これは同じである。 MLプラットフォームの使用などの研究コミュニティでは,この問題に対処するさまざまなソリューションが議論されているが,MLによる研究のレベルは大幅に上昇していない。
  論文  参考訳（メタデータ） (2023-07-19T07:00:22Z)
• Machine Learning Practices Outside Big Tech: How Resource Constraints Challenge Responsible Development [1.8275108630751844]
  さまざまな職業やバックグラウンドを持つ機械学習実践者は、機械学習(ML)メソッドをますます活用している。 過去の研究では、より広く、よりリソースの少ないMLコミュニティを除外することが多い。 これらの実践者は、Big Techと同じようなML開発上の困難と倫理的な混乱の多くを共有しています。
  論文  参考訳（メタデータ） (2021-10-06T17:25:21Z)
• Understanding the Usability Challenges of Machine Learning In High-Stakes Decision Making [67.72855777115772]
  機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。 多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。 児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
  論文  参考訳（メタデータ） (2021-03-02T22:50:45Z)
• Learnings from Frontier Development Lab and SpaceML -- AI Accelerators for NASA and ESA [57.06643156253045]
  AIとML技術による研究は、しばしば非同期の目標とタイムラインを備えたさまざまな設定で動作します。 我々は、NASAとESAの民間パートナーシップの下で、AIアクセラレータであるFrontier Development Lab(FDL)のケーススタディを実行する。 FDL研究は、AI研究の責任ある開発、実行、普及に基礎を置く原則的な実践に従う。
  論文  参考訳（メタデータ） (2020-11-09T21:23:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。