論文の概要: REAL ML: Recognizing, Exploring, and Articulating Limitations of Machine
Learning Research
- arxiv url: http://arxiv.org/abs/2205.08363v1
- Date: Thu, 5 May 2022 15:32:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-22 17:41:53.707621
- Title: REAL ML: Recognizing, Exploring, and Articulating Limitations of Machine
Learning Research
- Title(参考訳): REAL ML: 機械学習研究における限界を認識し,探索し,記録する
- Authors: Jessie J. Smith, Saleema Amershi, Solon Barocas, Hanna Wallach,
Jennifer Wortman Vaughan
- Abstract要約: 制限に関する透明性は、研究の厳格さを改善し、研究結果の適切な解釈を確実にし、研究の主張をより信頼できるものにするのに役立つ。
これらの利点にもかかわらず、機械学習(ML)研究コミュニティは、制限の開示と議論に関して、十分に発達した規範を欠いている。
機械学習の研究者が研究の限界を認識し、探索し、明確化するのに役立つ一連のガイド付きアクティビティであるREAL MLを開発するために、30人のMLおよびML隣接研究者による反復的な設計プロセスを実行します。
- 参考スコア(独自算出の注目度): 19.71032778307425
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transparency around limitations can improve the scientific rigor of research,
help ensure appropriate interpretation of research findings, and make research
claims more credible. Despite these benefits, the machine learning (ML)
research community lacks well-developed norms around disclosing and discussing
limitations. To address this gap, we conduct an iterative design process with
30 ML and ML-adjacent researchers to develop and test REAL ML, a set of guided
activities to help ML researchers recognize, explore, and articulate the
limitations of their research. Using a three-stage interview and survey study,
we identify ML researchers' perceptions of limitations, as well as the
challenges they face when recognizing, exploring, and articulating limitations.
We develop REAL ML to address some of these practical challenges, and highlight
additional cultural challenges that will require broader shifts in community
norms to address. We hope our study and REAL ML help move the ML research
community toward more active and appropriate engagement with limitations.
- Abstract(参考訳): 限界に関する透明性は、研究の科学的厳密さを改善し、研究結果の適切な解釈を確実にし、研究の主張をより信頼できるものにする。
これらの利点にもかかわらず、機械学習(ML)研究コミュニティは、制限の開示と議論に関して、十分に発達した規範を欠いている。
このギャップに対処するために、30人のML研究者とML隣接研究者による反復的な設計プロセスを実施し、REAL MLを開発し、テストする。
3段階のインタビューと調査の結果から,ml研究者の制限に対する認識と,制限を認識し,探索し,認識する上での課題を明らかにした。
我々は,これらの実践的な課題に対処するためにREAL MLを開発し,コミュニティ規範のより広範なシフトを必要とする文化的な課題を強調している。
我々は,我々の研究とREAL MLが,ML研究コミュニティをより活発かつ適切な制限への関与へと移行するのに役立つことを願っている。
関連論文リスト
- Effectiveness Assessment of Recent Large Vision-Language Models [82.08377770649777]
専門的・汎用的なタスクにおいて,一般的な大規模視覚言語モデル(LVLM)の能力を評価する。
視覚認識とローカライゼーションの領域における最近の3つのオープンソースLVLM(MiniGPT-v2,LLaVA-1.5,Shikra)の性能について検討する。
本研究により, これらのモデルは, 特殊タスクだけでなく, 一般タスクにおいても, 限られた習熟度を示すことが明らかとなった。
論文 参考訳(メタデータ) (2024-03-07T08:25:27Z) - Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When
and What to Retrieve for LLMs [64.0049955128318]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。
パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。
ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文 参考訳(メタデータ) (2024-02-19T11:11:08Z) - Exploring Perceptual Limitation of Multimodal Large Language Models [57.567868157293994]
我々は、いくつかの最先端MLLMにおける小さな視覚物体の知覚を定量的に研究する。
この制限に寄与できる4つの独立した要因を特定します。
オブジェクトの品質が低く、オブジェクトサイズも小さいため、MLLMの視覚的質問に答える能力は独立して低下する。
論文 参考訳(メタデータ) (2024-02-12T03:04:42Z) - A Survey on Model Compression for Large Language Models [23.354025348567077]
大規模言語モデル(LLM)は、自然言語処理タスクに革命をもたらした。
それらの大きなサイズと計算上の要求は、実践的な展開に重大な課題をもたらす。
モデル圧縮の分野は、これらの制限を緩和するための重要な研究領域として現れている。
論文 参考訳(メタデータ) (2023-08-15T08:31:05Z) - Are We Closing the Loop Yet? Gaps in the Generalizability of VIS4ML
Research [26.829392755701843]
我々は、最近のVIS4ML論文を調査し、ヒトインザループMLの実現における研究貢献とクレームの一般化性を評価する。
以上の結果から,現在のVIS4ML研究範囲と実用化への期待との間には,潜在的なギャップがあることが示唆された。
論文 参考訳(メタデータ) (2023-08-10T21:44:48Z) - Investigating the Factual Knowledge Boundary of Large Language Models
with Retrieval Augmentation [91.30946119104111]
大規模言語モデル(LLM)は,質問に応答する能力に対して,波及しない自信を持っていることを示す。
検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。
また, LLM は, 回答の定式化に際し, 提案した検索結果に依存する傾向が認められた。
論文 参考訳(メタデータ) (2023-07-20T16:46:10Z) - Reproducibility in Machine Learning-Driven Research [1.7936835766396748]
研究は生存可能性の危機に直面しており、多くの研究の結果や発見は、再現することが困難または不可能である。
機械学習(ML)と人工知能(AI)の研究においても、これは同じである。
MLプラットフォームの使用などの研究コミュニティでは,この問題に対処するさまざまなソリューションが議論されているが,MLによる研究のレベルは大幅に上昇していない。
論文 参考訳(メタデータ) (2023-07-19T07:00:22Z) - Use and Misuse of Machine Learning in Anthropology [0.9786690381850356]
生物学的・文化的な証拠に基づいて人類の進化を理解することを目指す古人類学の分野に焦点をあてる。
本研究の目的は,MLが古人類学に応用されている方法について,簡単な紹介を行うことである。
人類学文献の集積部において,ML手法の正しいプロトコルの一連の誤り,誤り,違反について論じる。
論文 参考訳(メタデータ) (2022-09-06T20:32:24Z) - Machine Learning Practices Outside Big Tech: How Resource Constraints
Challenge Responsible Development [1.8275108630751844]
さまざまな職業やバックグラウンドを持つ機械学習実践者は、機械学習(ML)メソッドをますます活用している。
過去の研究では、より広く、よりリソースの少ないMLコミュニティを除外することが多い。
これらの実践者は、Big Techと同じようなML開発上の困難と倫理的な混乱の多くを共有しています。
論文 参考訳(メタデータ) (2021-10-06T17:25:21Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳(メタデータ) (2021-03-02T22:50:45Z) - Learnings from Frontier Development Lab and SpaceML -- AI Accelerators
for NASA and ESA [57.06643156253045]
AIとML技術による研究は、しばしば非同期の目標とタイムラインを備えたさまざまな設定で動作します。
我々は、NASAとESAの民間パートナーシップの下で、AIアクセラレータであるFrontier Development Lab(FDL)のケーススタディを実行する。
FDL研究は、AI研究の責任ある開発、実行、普及に基礎を置く原則的な実践に従う。
論文 参考訳(メタデータ) (2020-11-09T21:23:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。