論文の概要: AI2T: Building Trustable AI Tutors by Interactively Teaching a Self-Aware Learning Agent
- arxiv url: http://arxiv.org/abs/2411.17924v1
- Date: Tue, 26 Nov 2024 22:39:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-28 15:27:40.619646
- Title: AI2T: Building Trustable AI Tutors by Interactively Teaching a Self-Aware Learning Agent
- Title(参考訳): AI2T: 自己認識学習エージェントを対話的に教えることで、信頼できるAIチュータを構築する
- Authors: Daniel Weitekamp, Erik Harpstead, Kenneth Koedinger,
- Abstract要約: 著者は、ステップバイステップのソリューションを提供し、AI2T独自の問題解決の試みをグレードすることで、AI2Tを指導する。
わずか20~30分間のインタラクティブトレーニングから、AI2Tはステップバイステップのソリューショントラッキングのための堅牢なルールを導き出すことができる。
- 参考スコア(独自算出の注目度): 2.0937431058291933
- License:
- Abstract: AI2T is an interactively teachable AI for authoring intelligent tutoring systems (ITSs). Authors tutor AI2T by providing a few step-by-step solutions and then grading AI2T's own problem-solving attempts. From just 20-30 minutes of interactive training, AI2T can induce robust rules for step-by-step solution tracking (i.e., model-tracing). As AI2T learns it can accurately estimate its certainty of performing correctly on unseen problem steps using STAND: a self-aware precondition learning algorithm that outperforms state-of-the-art methods like XGBoost. Our user study shows that authors can use STAND's certainty heuristic to estimate when AI2T has been trained on enough diverse problems to induce correct and complete model-tracing programs. AI2T-induced programs are more reliable than hallucination-prone LLMs and prior authoring-by-tutoring approaches. With its self-aware induction of hierarchical rules, AI2T offers a path toward trustable data-efficient authoring-by-tutoring for complex ITSs that normally require as many as 200-300 hours of programming per hour of instruction.
- Abstract(参考訳): AI2Tは、インテリジェントチューリングシステム(ITS)のオーサリングのための対話型教育可能なAIである。
著者は、ステップバイステップのソリューションを提供し、AI2T独自の問題解決の試みをグレードすることで、AI2Tを指導する。
わずか20~30分間のインタラクティブトレーニングから、AI2Tはステップバイステップのソリューショントラッキング(モデルトレース)のための堅牢なルールを導き出すことができる。
AI2Tが学習すると、その確実性を正確に見積もることができる。STANDは、XGBoostのような最先端の手法よりも優れた自己認識型プレコンディション学習アルゴリズムである。
我々のユーザスタディは、著者がSTANDの確実なヒューリスティックを使って、AI2Tが正しい完全なモデルトレーシングプログラムを導き出すのに十分な多様な問題で訓練されているかを推定できることを示している。
AI2Tによって引き起こされるプログラムは、幻覚を引き起こすLPMや、事前のオーサリング・バイ・チュータリングアプローチよりも信頼性が高い。
AI2Tは階層的なルールを自己認識することで、複雑なITSの信頼性の高いデータ効率のオーサリングへの道を提供する。
関連論文リスト
- Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs [76.43407125275202]
o1のようなモデルは、推論中に人間のような長時間の思考をエミュレートすることができる。
本論文は,これらのモデルにおける過度な考察の課題に関する,最初の包括的研究である。
精度を損なうことなく、過剰思考を緩和し、推論プロセスを合理化するための戦略を提案する。
論文 参考訳(メタデータ) (2024-12-30T18:55:12Z) - Adaptation of XAI to Auto-tuning for Numerical Libraries [0.0]
説明可能なAI(XAI)技術は、AIモデル開発の合理化と、ユーザへのAI出力の説明の負担軽減を目的として、注目を集めている。
本研究は,2つの異なるプロセスに統合されたAIモデルのXAIに着目し,数値計算を行う。
論文 参考訳(メタデータ) (2024-05-12T09:00:56Z) - AI-Tutoring in Software Engineering Education [0.7631288333466648]
我々は,GPT-3.5-TurboモデルをAI-TutorとしてAPASアルテミスに組み込むことで,探索的なケーススタディを行った。
この発見は、タイムリーなフィードバックやスケーラビリティといった利点を浮き彫りにしている。
しかし,AI-Tutor を用いた場合,一般的な応答や学習進行抑制に対する学生の懸念も明らかであった。
論文 参考訳(メタデータ) (2024-04-03T08:15:08Z) - Learning to Make Adherence-Aware Advice [8.419688203654948]
本稿では,人間の従順性を考慮した逐次意思決定モデルを提案する。
最適なアドバイスポリシーを学習し、重要なタイムスタンプでのみアドバイスを行う学習アルゴリズムを提供する。
論文 参考訳(メタデータ) (2023-10-01T23:15:55Z) - A LLM Assisted Exploitation of AI-Guardian [57.572998144258705]
IEEE S&P 2023で発表された敵に対する最近の防衛であるAI-Guardianの堅牢性を評価する。
我々は、このモデルを攻撃するためのコードを書かず、代わりに、GPT-4に命令とガイダンスに従って全ての攻撃アルゴリズムを実装するよう促します。
このプロセスは驚くほど効果的で効率的であり、言語モデルでは、この論文の著者が実行したよりも高速に曖昧な命令からコードを生成することもあった。
論文 参考訳(メタデータ) (2023-07-20T17:33:25Z) - Principle-Driven Self-Alignment of Language Models from Scratch with
Minimal Human Supervision [84.31474052176343]
ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。
この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。
本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-05-04T17:59:28Z) - AI Maintenance: A Robustness Perspective [91.28724422822003]
我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。
本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。
我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
論文 参考訳(メタデータ) (2023-01-08T15:02:38Z) - Enabling Automated Machine Learning for Model-Driven AI Engineering [60.09869520679979]
モデル駆動型ソフトウェアエンジニアリングとモデル駆動型AIエンジニアリングを実現するための新しいアプローチを提案する。
特に、私たちはAutomated MLをサポートし、AI集約システムの開発において、AIの深い知識のないソフトウェアエンジニアを支援します。
論文 参考訳(メタデータ) (2022-03-06T10:12:56Z) - Confident AI [0.0]
本稿では,人工知能(AI)と機械学習(ML)システムを,モデル予測と報告結果に対するアルゴリズムとユーザ信頼性の両方で設計する手段として,信頼AIを提案する。
Confident AIの4つの基本原則は、反復性、信頼性、十分性、適応性である。
論文 参考訳(メタデータ) (2022-02-12T02:26:46Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳(メタデータ) (2022-01-26T18:53:09Z) - The application of artificial intelligence in software engineering: a
review challenging conventional wisdom [0.9651131604396904]
この調査章は、ソフトウェア工学に適用されるAIの最も一般的な方法のレビューである。
このレビューでは、1975年から2017年にかけての要件フェーズについて、46の主要なAI駆動手法が発見されている。
この章の目的は、以下の質問に答えることである。
論文 参考訳(メタデータ) (2021-08-03T15:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。