論文の概要: REAL ML: Recognizing, Exploring, and Articulating Limitations of Machine Learning Research

• arxiv url: http://arxiv.org/abs/2205.08363v1
• Date: Thu, 5 May 2022 15:32:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-22 17:41:53.707621
• Title: REAL ML: Recognizing, Exploring, and Articulating Limitations of Machine Learning Research
• Title（参考訳）: REAL ML: 機械学習研究における限界を認識し,探索し,記録する
• Authors: Jessie J. Smith, Saleema Amershi, Solon Barocas, Hanna Wallach, Jennifer Wortman Vaughan
• Abstract要約: 制限に関する透明性は、研究の厳格さを改善し、研究結果の適切な解釈を確実にし、研究の主張をより信頼できるものにするのに役立つ。 これらの利点にもかかわらず、機械学習(ML)研究コミュニティは、制限の開示と議論に関して、十分に発達した規範を欠いている。 機械学習の研究者が研究の限界を認識し、探索し、明確化するのに役立つ一連のガイド付きアクティビティであるREAL MLを開発するために、30人のMLおよびML隣接研究者による反復的な設計プロセスを実行します。
• 参考スコア（独自算出の注目度）: 19.71032778307425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transparency around limitations can improve the scientific rigor of research, help ensure appropriate interpretation of research findings, and make research claims more credible. Despite these benefits, the machine learning (ML) research community lacks well-developed norms around disclosing and discussing limitations. To address this gap, we conduct an iterative design process with 30 ML and ML-adjacent researchers to develop and test REAL ML, a set of guided activities to help ML researchers recognize, explore, and articulate the limitations of their research. Using a three-stage interview and survey study, we identify ML researchers' perceptions of limitations, as well as the challenges they face when recognizing, exploring, and articulating limitations. We develop REAL ML to address some of these practical challenges, and highlight additional cultural challenges that will require broader shifts in community norms to address. We hope our study and REAL ML help move the ML research community toward more active and appropriate engagement with limitations.
• Abstract（参考訳）: 限界に関する透明性は、研究の科学的厳密さを改善し、研究結果の適切な解釈を確実にし、研究の主張をより信頼できるものにする。 これらの利点にもかかわらず、機械学習(ML)研究コミュニティは、制限の開示と議論に関して、十分に発達した規範を欠いている。 このギャップに対処するために、30人のML研究者とML隣接研究者による反復的な設計プロセスを実施し、REAL MLを開発し、テストする。 3段階のインタビューと調査の結果から,ml研究者の制限に対する認識と,制限を認識し,探索し,認識する上での課題を明らかにした。 我々は,これらの実践的な課題に対処するためにREAL MLを開発し,コミュニティ規範のより広範なシフトを必要とする文化的な課題を強調している。 我々は,我々の研究とREAL MLが,ML研究コミュニティをより活発かつ適切な制限への関与へと移行するのに役立つことを願っている。

関連論文リスト

• Position: Multimodal Large Language Models Can Significantly Advance Scientific Reasoning [51.11965014462375]
  MLLM(Multimodal Large Language Models)は、テキスト、画像、その他のモダリティを統合する。 本稿では,MLLMが数学,物理,化学,生物学などの分野にまたがる科学的推論を著しく前進させることができることを論じる。
  論文  参考訳（メタデータ） (2025-02-05T04:05:27Z)
• Knowledge Boundary of Large Language Models: A Survey [75.67848187449418]
  大規模言語モデル(LLM)はパラメータに膨大な量の知識を格納するが、特定の知識の記憶と利用に制限がある。 これは、LLMの知識境界を理解するための重要な必要性を強調している。 本稿では,LLM知識境界の包括的定義を提案し,知識を4つの異なるタイプに分類する形式化された分類法を提案する。
  論文  参考訳（メタデータ） (2024-12-17T02:14:02Z)
• A Survey on Uncertainty Quantification of Large Language Models: Taxonomy, Open Research Challenges, and Future Directions [9.045698110081686]
  大規模言語モデル (LLMs) は、信頼性を高く表現した、妥当で、事実的に正しくない応答を生成する。 従来の研究では、LLMが生み出す幻覚やその他の非現実的な反応は、関連するプロンプトに対するLLMの不確実性を調べることによって検出できることが示されている。 本調査は, LLMの健全な特徴と強度, 弱点を識別し, 既存の不確実性定量化手法を幅広く検討することを目的としている。
  論文  参考訳（メタデータ） (2024-12-07T06:56:01Z)
• Reproducibility in Machine Learning-based Research: Overview, Barriers and Drivers [1.4841630983274845]
  様々な分野の研究は、現在結果の認識に関する課題を経験している。 この問題は、機械学習(ML)の研究でも広く用いられている。 MLによる研究のレベルは相変わらず不満足である。
  論文  参考訳（メタデータ） (2024-06-20T13:56:42Z)
• LimGen: Probing the LLMs for Generating Suggestive Limitations of Research Papers [8.076841611508488]
  本稿では,研究論文におけるSLG(Suggestive Limitation Generation)の新たな課題について紹介する。 我々は textbftextitLimGen というデータセットをコンパイルし、4068 の研究論文とそれに関連する ACL アンソロジーの制限を包含する。
  論文  参考訳（メタデータ） (2024-03-22T17:31:43Z)
• Effectiveness Assessment of Recent Large Vision-Language Models [78.69439393646554]
  本稿では,多言語多言語モデル(LVLM)の専門的および汎用的な課題における能力を評価する。 私たちは、自然、医療、産業という3つの異なるアプリケーションシナリオで6つの挑戦的なタスクを採用しています。 我々は,MiniGPT-v2,LLaVA-1.5,Shikraを含む最近の3つのオープンソースLVLMの視覚的認識および局所化性能について検討した。
  論文  参考訳（メタデータ） (2024-03-07T08:25:27Z)
• Exploring Perceptual Limitation of Multimodal Large Language Models [57.567868157293994]
  我々は、いくつかの最先端MLLMにおける小さな視覚物体の知覚を定量的に研究する。 この制限に寄与できる4つの独立した要因を特定します。 オブジェクトの品質が低く、オブジェクトサイズも小さいため、MLLMの視覚的質問に答える能力は独立して低下する。
  論文  参考訳（メタデータ） (2024-02-12T03:04:42Z)
• Reproducibility in Machine Learning-Driven Research [1.7936835766396748]
  研究は生存可能性の危機に直面しており、多くの研究の結果や発見は、再現することが困難または不可能である。 機械学習(ML)と人工知能(AI)の研究においても、これは同じである。 MLプラットフォームの使用などの研究コミュニティでは,この問題に対処するさまざまなソリューションが議論されているが,MLによる研究のレベルは大幅に上昇していない。
  論文  参考訳（メタデータ） (2023-07-19T07:00:22Z)
• Understanding the Usability Challenges of Machine Learning In High-Stakes Decision Making [67.72855777115772]
  機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。 多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。 児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
  論文  参考訳（メタデータ） (2021-03-02T22:50:45Z)
• Learnings from Frontier Development Lab and SpaceML -- AI Accelerators for NASA and ESA [57.06643156253045]
  AIとML技術による研究は、しばしば非同期の目標とタイムラインを備えたさまざまな設定で動作します。 我々は、NASAとESAの民間パートナーシップの下で、AIアクセラレータであるFrontier Development Lab(FDL)のケーススタディを実行する。 FDL研究は、AI研究の責任ある開発、実行、普及に基礎を置く原則的な実践に従う。
  論文  参考訳（メタデータ） (2020-11-09T21:23:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。