論文の概要: Improving Steering and Verification in AI-Assisted Data Analysis with Interactive Task Decomposition
- arxiv url: http://arxiv.org/abs/2407.02651v1
- Date: Tue, 2 Jul 2024 20:33:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 18:14:18.385007
- Title: Improving Steering and Verification in AI-Assisted Data Analysis with Interactive Task Decomposition
- Title（参考訳）: 対話型タスク分解を用いたAI支援データ解析におけるステアリングと検証の改善
- Authors: Majeed Kazemitabaar, Jack Williams, Ian Drosos, Tovi Grossman, Austin Henley, Carina Negreanu, Advait Sarkar,
- Abstract要約: LLMを利用するChatGPT Data Analysisのようなツールは、ユーザがデータ分析プログラミングの難しいタスクに取り組むのに役立つ可能性がある。
しかし、私たちのフォーマティブな研究は、AI生成結果の検証とAIの運営において深刻な課題を明らかにしました。
これらの課題に対処する2つの対照的なアプローチを開発した。
- 参考スコア（独自算出の注目度）: 24.845241768474363
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM-powered tools like ChatGPT Data Analysis, have the potential to help users tackle the challenging task of data analysis programming, which requires expertise in data processing, programming, and statistics. However, our formative study (n=15) uncovered serious challenges in verifying AI-generated results and steering the AI (i.e., guiding the AI system to produce the desired output). We developed two contrasting approaches to address these challenges. The first (Stepwise) decomposes the problem into step-by-step subgoals with pairs of editable assumptions and code until task completion, while the second (Phasewise) decomposes the entire problem into three editable, logical phases: structured input/output assumptions, execution plan, and code. A controlled, within-subjects experiment (n=18) compared these systems against a conversational baseline. Users reported significantly greater control with the Stepwise and Phasewise systems, and found intervention, correction, and verification easier, compared to the baseline. The results suggest design guidelines and trade-offs for AI-assisted data analysis tools.
- Abstract（参考訳）: LLMを利用するChatGPT Data Analysisのようなツールは、ユーザがデータ処理、プログラミング、統計学の専門知識を必要とするデータ分析プログラミングの難しいタスクに取り組むのを助ける可能性がある。
しかし、我々のフォーマティブな研究(n=15)は、AI生成結果の検証とAI(AIシステムに望ましい出力を導くこと)のステアリングにおける深刻な課題を明らかにしました。
これらの課題に対処する2つの対照的なアプローチを開発した。
第1(ステップワイズ)は、タスク完了まで編集可能な仮定とコードのペアでステップバイステップのサブゴールに分解し、第2(ステップワイズ)は、全問題を3つの編集可能な論理的なフェーズ(構造化された入出力仮定、実行計画、コード)に分解する。
制御されたin-subjects実験(n=18)は、これらのシステムを会話ベースラインと比較した。
ユーザは、ステップワイズシステムとフェーズワイズシステムによるコントロールが大幅に向上し、ベースラインに比べて介入、修正、検証が容易になった。
その結果、AI支援データ分析ツールの設計ガイドラインとトレードオフが示唆された。
関連論文リスト
- Data Analysis in the Era of Generative AI [56.44807642944589]
本稿では,AIを活用したデータ分析ツールの可能性について考察する。
我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。
次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
論文 参考訳（メタデータ） (2024-09-27T06:31:03Z) - Enhancing Feature Selection and Interpretability in AI Regression Tasks Through Feature Attribution [38.53065398127086]
本研究では、回帰問題に対する入力データの非形式的特徴をフィルタリングする特徴属性法の可能性について検討する。
我々は、初期データ空間から最適な変数セットを選択するために、統合グラディエントとk平均クラスタリングを組み合わせた機能選択パイプラインを導入する。
提案手法の有効性を検証するため, ターボ機械の開発過程における羽根振動解析を実世界の産業問題に適用した。
論文 参考訳（メタデータ） (2024-09-25T09:50:51Z) - LogicPro: Improving Complex Logical Reasoning via Program-Guided Learning [23.987059076950622]
本稿では,プログラム例を通して大規模言語モデル (LLM) の論理的推論を強化するための新しいアプローチであるLogicProを提案する。
私たちは、広く利用可能なアルゴリズム問題とそのコードソリューションを単純に活用することで、これを効果的に実現します。
提案手法はBBH$27$, GSM8K, HellSwag, Logicqa, Reclor, RTEデータセットの複数のモデルの大幅な改善を実現する。
論文 参考訳（メタデータ） (2024-09-19T17:30:45Z) - Event prediction and causality inference despite incomplete information [0.41232474244672235]
我々は,データポイントのシーケンス内で発生した事象を予測し,説明する上での課題について検討した。
特に、イベントの発生を引き起こす未知のトリガーが、非攻撃的で、マスク付き、ノイズの多いデータポイントから成り立つシナリオに注目しました。
分析、シミュレーション、機械学習のアプローチを組み合わせて、調査、定量化、ソリューションを提供しました。
論文 参考訳（メタデータ） (2024-06-09T19:23:20Z) - The Foundations of Computational Management: A Systematic Approach to
Task Automation for the Integration of Artificial Intelligence into Existing
Workflows [55.2480439325792]
本稿では,タスク自動化の体系的アプローチである計算管理を紹介する。
この記事では、ワークフロー内でAIを実装するプロセスを開始するための、ステップバイステップの手順を3つ紹介する。
論文 参考訳（メタデータ） (2024-02-07T01:45:14Z) - Thought Propagation: An Analogical Approach to Complex Reasoning with Large Language Models [62.96551299003463]
大規模言語モデルの複雑な推論能力を高めるために,textbftextitThought Propagation (TP)を提案する。
TP はまず LLM に対して,入力問題に関連する類似問題の集合を提案し,解決するよう促す。
TPは、類似問題の結果を再利用して、新しいソリューションを直接生成したり、スクラッチから得られた初期ソリューションを修正するための知識集約的な実行プランを導出する。
論文 参考訳（メタデータ） (2023-10-06T01:40:09Z) - Evaluating and Improving Tool-Augmented Computation-Intensive Math
Reasoning [75.74103236299477]
CoT(Chain-of- Thought prompting)とツール拡張は、大きな言語モデルを改善するための効果的なプラクティスとして検証されている。
ツールインターフェース,すなわち textbfDELI を用いた推論ステップを考慮に入れた新しい手法を提案する。
CARPと他の6つのデータセットの実験結果から、提案されたDELIは、主に競合ベースラインを上回っていることが示された。
論文 参考訳（メタデータ） (2023-06-04T17:02:59Z) - Evaluating GPT's Programming Capability through CodeWars' Katas [0.5512295869673147]
本稿では,GPT(Generative Pretrained Transformer)モデルのプログラミング能力の新たな評価法を提案する。
実験では、これらのGPTモデルがソリューション提供に苦しむ3休レベルでの明確な境界を明らかにした。
この研究は、人間の問題解決技術をうまくエミュレートするために、AIモデルにおけるバリデーションと創造的な思考能力の必要性を強調している。
論文 参考訳（メタデータ） (2023-05-31T10:36:16Z) - AI for IT Operations (AIOps) on Cloud Platforms: Reviews, Opportunities
and Challenges [60.56413461109281]
IT運用のための人工知能(AIOps)は、AIのパワーとIT運用プロセスが生成するビッグデータを組み合わせることを目的としている。
我々は、IT運用活動が発信する重要なデータの種類、分析における規模と課題、そしてどのように役立つかについて深く議論する。
主要なAIOpsタスクは、インシデント検出、障害予測、根本原因分析、自動アクションに分類します。
論文 参考訳（メタデータ） (2023-04-10T15:38:12Z) - AR-LSAT: Investigating Analytical Reasoning of Text [57.1542673852013]
テキストの分析的推論の課題を研究し、1991年から2016年までのロースクール入学試験からの質問からなる新しいデータセットを紹介します。
我々は,この課題をうまくこなすために必要な知識理解と推論能力を分析する。
論文 参考訳（メタデータ） (2021-04-14T02:53:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。