論文の概要: Are We Closing the Loop Yet? Gaps in the Generalizability of VIS4ML
Research
- arxiv url: http://arxiv.org/abs/2308.06290v1
- Date: Thu, 10 Aug 2023 21:44:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 18:13:04.378675
- Title: Are We Closing the Loop Yet? Gaps in the Generalizability of VIS4ML
Research
- Title(参考訳): ループはまだ閉ざされているか?
VIS4ML研究の一般化可能性のギャップ
- Authors: Hariharan Subramonyam, Jessica Hullman
- Abstract要約: 我々は、最近のVIS4ML論文を調査し、ヒトインザループMLの実現における研究貢献とクレームの一般化性を評価する。
以上の結果から,現在のVIS4ML研究範囲と実用化への期待との間には,潜在的なギャップがあることが示唆された。
- 参考スコア(独自算出の注目度): 26.829392755701843
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visualization for machine learning (VIS4ML) research aims to help experts
apply their prior knowledge to develop, understand, and improve the performance
of machine learning models. In conceiving VIS4ML systems, researchers
characterize the nature of human knowledge to support human-in-the-loop tasks,
design interactive visualizations to make ML components interpretable and
elicit knowledge, and evaluate the effectiveness of human-model interchange. We
survey recent VIS4ML papers to assess the generalizability of research
contributions and claims in enabling human-in-the-loop ML. Our results show
potential gaps between the current scope of VIS4ML research and aspirations for
its use in practice. We find that while papers motivate that VIS4ML systems are
applicable beyond the specific conditions studied, conclusions are often
overfitted to non-representative scenarios, are based on interactions with a
small set of ML experts and well-understood datasets, fail to acknowledge
crucial dependencies, and hinge on decisions that lack justification. We
discuss approaches to close the gap between aspirations and research claims and
suggest documentation practices to report generality constraints that better
acknowledge the exploratory nature of VIS4ML research.
- Abstract(参考訳): 機械学習(VIS4ML)研究の可視化は、機械学習モデルの開発、理解、改善のために専門家が事前知識を適用するのを支援することを目的としている。
VIS4MLシステムを構築する際、研究者は人間の知識の性質を特徴付け、人間のループ内タスクをサポートし、MLコンポーネントを解釈可能かつ誘発可能にするためのインタラクティブな可視化を設計し、ヒューマンモデル交換の有効性を評価する。
我々は、最近のVIS4ML論文を調査し、ヒトインザループMLの実現における研究貢献とクレームの一般化性を評価する。
以上の結果から,現在のVIS4ML研究範囲と実用化への期待との間には,潜在的なギャップがあることが示唆された。
論文は、VIS4MLシステムが研究対象の特定の条件を超えて適用可能であることを示唆するが、結論はしばしば非表現的なシナリオに過度に適合し、少数のML専門家とよく理解されたデータセットとの相互作用に基づいており、重要な依存関係を認めず、正当化を欠いた決定をヒンジしている。
我々は,願望と研究主張のギャップを埋めるアプローチについて議論し,VIS4ML研究の探索的性質をよりよく認識する一般性制約を報告するための文書化プラクティスを提案する。
関連論文リスト
- Effectiveness Assessment of Recent Large Vision-Language Models [82.08377770649777]
専門的・汎用的なタスクにおいて,一般的な大規模視覚言語モデル(LVLM)の能力を評価する。
視覚認識とローカライゼーションの領域における最近の3つのオープンソースLVLM(MiniGPT-v2,LLaVA-1.5,Shikra)の性能について検討する。
本研究により, これらのモデルは, 特殊タスクだけでなく, 一般タスクにおいても, 限られた習熟度を示すことが明らかとなった。
論文 参考訳(メタデータ) (2024-03-07T08:25:27Z) - Quantitative knowledge retrieval from large language models [4.155711233354597]
大規模言語モデル(LLM)は、説得力のある自然言語配列を生成する能力について広く研究されている。
本稿では,データ解析作業を支援するための定量的知識検索のメカニズムとして,LLMの実現可能性について検討する。
論文 参考訳(メタデータ) (2024-02-12T16:32:37Z) - Exploring the Cognitive Knowledge Structure of Large Language Models: An
Educational Diagnostic Assessment Approach [50.125704610228254]
大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。
近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。
ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
論文 参考訳(メタデータ) (2023-10-12T09:55:45Z) - ExpeL: LLM Agents Are Experiential Learners [60.54312035818746]
実験学習エージェント(ExpeL)を導入し、パラメトリック更新を必要とせずにエージェント体験から学習できるようにする。
我々のエージェントは、経験を自律的に収集し、学習課題の集合から自然言語を用いて知識を抽出する。
推論において、エージェントは抽出された洞察と過去の経験をリコールし、情報的決定を行う。
論文 参考訳(メタデータ) (2023-08-20T03:03:34Z) - Visual Analytics For Machine Learning: A Data Perspective Survey [17.19676876329529]
この調査は、データの観点からVIS4MLの作業を要約することに焦点を当てている。
MLモデルで処理される共通データを5つのタイプに分類し、各タイプのユニークな特徴を説明し、それらから学習できる対応するMLモデルを強調する。
第2に、多数のVIS4ML作業から、MLパイプラインのさまざまな段階でこの種のデータを操作する6つのタスクをティースして、MLモデルを理解し、診断し、洗練します。
論文 参考訳(メタデータ) (2023-07-15T05:13:06Z) - LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities
and Future Opportunities [68.86209486449924]
知識グラフ(KG)の構築と推論のための大規模言語モデル(LLM)の評価。
我々は,LLMと外部ソースを用いたマルチエージェントベースのアプローチであるAutoKGを提案し,KGの構築と推論を行う。
論文 参考訳(メタデータ) (2023-05-22T15:56:44Z) - Artificial Intelligence for Dementia Research Methods Optimization [0.49050354212898845]
本稿では,認知症研究において最も頻繁に使用される機械学習アルゴリズムの概要を紹介する。
本稿では, 再現性と解釈可能性の問題と, 認知症研究の臨床的応用性への影響について論じる。
本稿では, 伝達学習, マルチタスク学習, 強化学習といった最先端の手法が, これらの課題を克服するためにどのように応用されるかを示す。
論文 参考訳(メタデータ) (2023-03-02T08:50:25Z) - The State of the Art in Enhancing Trust in Machine Learning Models with
the Use of Visualizations [0.0]
機械学習(ML)モデルは、医学、バイオインフォマティクス、その他の科学など、様々な分野の複雑な応用で使われている。
しかし、ブラックボックスの性質のため、それらが提供する結果を理解し、信頼することは難しいこともある。
これにより、MLモデルの信頼性向上に関連する信頼性の高い視覚化ツールの需要が増加した。
本稿では,インタラクティブな可視化によるMLモデルの信頼性向上について,STAR(State-of-the-Art Report)を提案する。
論文 参考訳(メタデータ) (2022-12-22T14:29:43Z) - Interactive Machine Learning: A State of the Art Review [0.0]
対話型機械学習(iML)の現状を包括的に分析する。
敵のブラックボックス攻撃と対応するiMLベースの防衛システム、探索機械学習、リソース制約学習、およびiMLパフォーマンス評価について研究する。
論文 参考訳(メタデータ) (2022-07-13T13:43:16Z) - VBridge: Connecting the Dots Between Features, Explanations, and Data
for Healthcare Models [85.4333256782337]
VBridgeは、臨床医の意思決定ワークフローに機械学習の説明をシームレスに組み込むビジュアル分析ツールである。
我々は,臨床医がMLの特徴に慣れていないこと,文脈情報の欠如,コホートレベルの証拠の必要性など,3つの重要な課題を特定した。
症例スタディと専門医4名のインタビューを通じて, VBridgeの有効性を実証した。
論文 参考訳(メタデータ) (2021-08-04T17:34:13Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳(メタデータ) (2021-03-02T22:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。