論文の概要: Are We Closing the Loop Yet? Gaps in the Generalizability of VIS4ML Research

• arxiv url: http://arxiv.org/abs/2308.06290v1
• Date: Thu, 10 Aug 2023 21:44:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 18:13:04.378675
• Title: Are We Closing the Loop Yet? Gaps in the Generalizability of VIS4ML Research
• Title（参考訳）: ループはまだ閉ざされているか? VIS4ML研究の一般化可能性のギャップ
• Authors: Hariharan Subramonyam, Jessica Hullman
• Abstract要約: 我々は、最近のVIS4ML論文を調査し、ヒトインザループMLの実現における研究貢献とクレームの一般化性を評価する。 以上の結果から,現在のVIS4ML研究範囲と実用化への期待との間には,潜在的なギャップがあることが示唆された。
• 参考スコア（独自算出の注目度）: 26.829392755701843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visualization for machine learning (VIS4ML) research aims to help experts apply their prior knowledge to develop, understand, and improve the performance of machine learning models. In conceiving VIS4ML systems, researchers characterize the nature of human knowledge to support human-in-the-loop tasks, design interactive visualizations to make ML components interpretable and elicit knowledge, and evaluate the effectiveness of human-model interchange. We survey recent VIS4ML papers to assess the generalizability of research contributions and claims in enabling human-in-the-loop ML. Our results show potential gaps between the current scope of VIS4ML research and aspirations for its use in practice. We find that while papers motivate that VIS4ML systems are applicable beyond the specific conditions studied, conclusions are often overfitted to non-representative scenarios, are based on interactions with a small set of ML experts and well-understood datasets, fail to acknowledge crucial dependencies, and hinge on decisions that lack justification. We discuss approaches to close the gap between aspirations and research claims and suggest documentation practices to report generality constraints that better acknowledge the exploratory nature of VIS4ML research.
• Abstract（参考訳）: 機械学習(VIS4ML)研究の可視化は、機械学習モデルの開発、理解、改善のために専門家が事前知識を適用するのを支援することを目的としている。 VIS4MLシステムを構築する際、研究者は人間の知識の性質を特徴付け、人間のループ内タスクをサポートし、MLコンポーネントを解釈可能かつ誘発可能にするためのインタラクティブな可視化を設計し、ヒューマンモデル交換の有効性を評価する。 我々は、最近のVIS4ML論文を調査し、ヒトインザループMLの実現における研究貢献とクレームの一般化性を評価する。 以上の結果から,現在のVIS4ML研究範囲と実用化への期待との間には,潜在的なギャップがあることが示唆された。 論文は、VIS4MLシステムが研究対象の特定の条件を超えて適用可能であることを示唆するが、結論はしばしば非表現的なシナリオに過度に適合し、少数のML専門家とよく理解されたデータセットとの相互作用に基づいており、重要な依存関係を認めず、正当化を欠いた決定をヒンジしている。 我々は,願望と研究主張のギャップを埋めるアプローチについて議論し,VIS4ML研究の探索的性質をよりよく認識する一般性制約を報告するための文書化プラクティスを提案する。

関連論文リスト

• Understanding the Role of LLMs in Multimodal Evaluation Benchmarks [77.59035801244278]
  本稿では,MLLM評価におけるLarge Language Model (LLM)バックボーンの役割について検討する。 本研究は4つのMLLMベンチマークと8つの最先端MLLMベンチマークを含む。 鍵となる発見は、いくつかのベンチマークでは視覚的な入力がなくても高いパフォーマンスを実現しており、最大50%のエラーレートは、LLMバックボーンにおける不十分な世界的知識に起因していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T07:49:13Z)
• Understanding the Human-LLM Dynamic: A Literature Survey of LLM Use in Programming Tasks [0.850206009406913]
  大規模言語モデル(LLM)はプログラミングプラクティスを変革し、コード生成活動に重要な機能を提供する。 本稿では,LLMがプログラミングタスクに与える影響を評価するユーザスタディから洞察を得た上で,プログラミングタスクにおけるそれらの使用に焦点を当てる。
  論文  参考訳（メタデータ） (2024-10-01T19:34:46Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。 LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。 我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• Explaining Large Language Models Decisions Using Shapley Values [1.223779595809275]
  大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。 しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。 本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T22:49:43Z)
• Effectiveness Assessment of Recent Large Vision-Language Models [78.69439393646554]
  本稿では,多言語多言語モデル(LVLM)の専門的および汎用的な課題における能力を評価する。 私たちは、自然、医療、産業という3つの異なるアプリケーションシナリオで6つの挑戦的なタスクを採用しています。 我々は,MiniGPT-v2,LLaVA-1.5,Shikraを含む最近の3つのオープンソースLVLMの視覚的認識および局所化性能について検討した。
  論文  参考訳（メタデータ） (2024-03-07T08:25:27Z)
• Exploring the Cognitive Knowledge Structure of Large Language Models: An Educational Diagnostic Assessment Approach [50.125704610228254]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。 近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。 ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
  論文  参考訳（メタデータ） (2023-10-12T09:55:45Z)
• ExpeL: LLM Agents Are Experiential Learners [60.54312035818746]
  実験学習エージェント(ExpeL)を導入し、パラメトリック更新を必要とせずにエージェント体験から学習できるようにする。 我々のエージェントは、経験を自律的に収集し、学習課題の集合から自然言語を用いて知識を抽出する。 推論において、エージェントは抽出された洞察と過去の経験をリコールし、情報的決定を行う。
  論文  参考訳（メタデータ） (2023-08-20T03:03:34Z)
• Metacognitive Prompting Improves Understanding in Large Language Models [12.112914393948415]
  メタ認知プロンプト(MP)は,人間の内省的推論プロセスにインスパイアされた戦略である。 我々は10の自然言語理解(NLU)データセットにまたがる4つの先行するLarge Language Model(LLM)の実験を行った。 MPは、一般的なNLUタスクとドメイン固有のNLUタスクの両方において、既存のプロンプトメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-08-10T05:10:17Z)
• Visual Analytics For Machine Learning: A Data Perspective Survey [17.19676876329529]
  この調査は、データの観点からVIS4MLの作業を要約することに焦点を当てている。 MLモデルで処理される共通データを5つのタイプに分類し、各タイプのユニークな特徴を説明し、それらから学習できる対応するMLモデルを強調する。 第2に、多数のVIS4ML作業から、MLパイプラインのさまざまな段階でこの種のデータを操作する6つのタスクをティースして、MLモデルを理解し、診断し、洗練します。
  論文  参考訳（メタデータ） (2023-07-15T05:13:06Z)
• The State of the Art in Enhancing Trust in Machine Learning Models with the Use of Visualizations [0.0]
  機械学習(ML)モデルは、医学、バイオインフォマティクス、その他の科学など、様々な分野の複雑な応用で使われている。 しかし、ブラックボックスの性質のため、それらが提供する結果を理解し、信頼することは難しいこともある。 これにより、MLモデルの信頼性向上に関連する信頼性の高い視覚化ツールの需要が増加した。 本稿では,インタラクティブな可視化によるMLモデルの信頼性向上について,STAR(State-of-the-Art Report)を提案する。
  論文  参考訳（メタデータ） (2022-12-22T14:29:43Z)
• Understanding the Usability Challenges of Machine Learning In High-Stakes Decision Making [67.72855777115772]
  機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。 多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。 児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
  論文  参考訳（メタデータ） (2021-03-02T22:50:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。