論文の概要: AI Assistants Overassist
- arxiv url: http://arxiv.org/abs/2607.21306v1
- Date: Thu, 23 Jul 2026 13:30:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.421732
- Title: AI Assistants Overassist
- Title(参考訳): AIアシスタントの過激さ
- Abstract要約: 大規模言語モデル(LLM)は、チューターや思考パートナーとしてますます使われており、ユーザーが問題を推論するのに役立っている。
AIシステムは、問題解決中の介入決定をどのようにナビゲートするかは、いまだに理解されていない。
Int-Benchは「学生」をシミュレートし、「教師」が生徒の推論を監視し、いつ、どのように介入するかを決定する。
- 参考スコア(独自算出の注目度): 11.910820103556574
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly used as tutors and thought partners, helping users reason through problems. While guidance from AI assistants can scaffold thinking and foster learning, such benefits depend on how they help--for instance, intervening too early or too frequently may hinder true learning and cognitive engagement. Yet how AI systems navigate intervention decisions during problem-solving remains poorly understood. Here, we introduce Int-Bench, a simulation-based benchmark for evaluating LLM interventions during learning. Int-Bench simulates a "student" solving a problem while a "teacher" monitors the student's reasoning and decides whether, when, and how to intervene. Across three domains--code debugging, mathematics, and brain teasers--we evaluate LLM teachers on the frequency and timing of interventions, as well as their impact on both immediate task success and generalization to new problems. We also compare LLMs to humans, finding that LLMs intervene more frequently and earlier than humans. Moreover, in contrast to humans, they tend to provide complete solutions rather than targeted hints. These findings suggest that current LLM assistants often optimize for short-term success rather than supporting the reasoning processes needed for deeper learning and long-term success.
- Abstract(参考訳): 大規模言語モデル(LLM)は、チューターや思考パートナーとしてますます使われており、ユーザーが問題を推論するのに役立っている。
AIアシスタントからのガイダンスは、思考と学習を足場にし、学習を促進することができるが、そのようなメリットは、例えば、早期または頻繁な介入によって、真の学習と認知的エンゲージメントを妨げる可能性がある。
しかし、AIシステムは、問題解決中の介入決定をどのようにナビゲートするかは、まだよく分かっていない。
本稿では,学習中のLSM介入を評価するためのシミュレーションベースのベンチマークであるInt-Benchを紹介する。
Int-Benchは「学生」をシミュレートし、「教師」が生徒の推論を監視し、いつ、どのように介入するかを決定する。
3つの領域(コードデバッギング,数学,脳ティーザー)にまたがって, LLM教師が介入の頻度とタイミング, 課題の即時成功と新たな問題への一般化に与える影響を評価した。
また、LSMを人間と比較したところ、LSMは人間よりも頻繁に、より早く介入することがわかった。
さらに、人間とは対照的に、対象とするヒントではなく、完全なソリューションを提供する傾向がある。
これらの結果から,従来のLLMアシスタントは,より深い学習と長期的成功に必要な推論プロセスを支援するのではなく,短期的成功のために最適化されていることが示唆された。
関連論文リスト
- LLM Pedagogical Behavior in AI Tutoring Interactions [2.7316402953904233]
LLMは、学生が真に学習する相互作用の家庭教師として使うときに提供される援助のレベルについてはほとんど分かっていない。
我々はこの次元を足場レベルとして運用し、人間のアノテーションに対して検証された5段階の尺度を開発する。
大学AI講座の203人の学生から14,637 LLMの回答を得た。
論文 参考訳(メタデータ) (2026-08-24T08:57:40Z) - Reflective Dialogue or Prompt Refinement? Effects of Tutor Scaffolding on Students' Independent LLM Use for Programming [0.0]
大規模言語モデル(LLM)は、学習においてパーソナライズされたサポートを提供する。
本研究では,2種類のLLM学習者が学生の指導実践をどのように形作るかを検討した。
論文 参考訳(メタデータ) (2026-07-03T13:15:36Z) - Large Language Models as Students Who Think Aloud: Overly Coherent, Verbose, and Confident [0.8564319625930894]
大規模言語モデル(LLM)は、AIベースの学習システムにますます組み込まれている。彼らは、初心者の推論とメタ認知的判断を忠実にモデル化できるだろうか?
学生のヒント使用,試行,問題文脈の問題解決ログを用いた化学チュータリング問題からの630のシンクアラウド発話を用いて,LSMを初心者として評価した。
そこで本研究では,LLM生成推論と人間の学習者発話を,最小限で拡張された文脈的プロンプトで比較し,ステップレベルの学習者成功を予測するモデルの能力を評価する。
論文 参考訳(メタデータ) (2026-02-01T04:46:38Z) - Thinker: Training LLMs in Hierarchical Thinking for Deep Search via Multi-Turn Interaction [57.67217258741752]
Thinkerはマルチターンインタラクションによるディープ検索のための階層的思考モデルである。
複素問題を独立に解ける部分確率に分解する。
サブプロブレム間の依存関係は、これらの論理関数を介してパラメータとして渡される。
論文 参考訳(メタデータ) (2025-11-11T07:48:45Z) - Multi-Agent Evolve: LLM Self-Improve through Co-evolution [53.00458074754831]
強化学習(RL)は、大規模言語モデル(LLM)の推論能力を高める大きな可能性を証明している。
近年のSelf-Play RL法は,ゲームやGoのパラダイムの成功に触発されて,人間に注釈を付けることなくLSM推論能力を向上することを目指している。
数学,推論,一般知識Q&Aなど多種多様な課題の解決において,LLMが自己発展できるフレームワークであるMulti-Agent Evolve(MAE)を提案する。
論文 参考訳(メタデータ) (2025-10-27T17:58:02Z) - LLMs are Imperfect, Then What? An Empirical Study on LLM Failures in Software Engineering [38.20696656193963]
非自明なソフトウェアエンジニアリングタスクにおいて,ChatGPTをコーディングアシスタントとして使用した22名の参加者を対象に,観察的研究を行った。
そこで我々は,ChatGPTが失敗した事例,その根本原因,およびユーザが使用する緩和ソリューションを特定した。
論文 参考訳(メタデータ) (2024-11-15T03:29:41Z) - Exploring Knowledge Tracing in Tutor-Student Dialogues using LLMs [49.18567856499736]
本研究では,大規模言語モデル(LLM)が対話学習を支援することができるかどうかを検討する。
我々は,学習者の知識レベルを対話全体にわたって追跡するために,ラベル付きデータに知識追跡(KT)手法を適用した。
我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLCM-based method LLMKTが優れていることを示す。
論文 参考訳(メタデータ) (2024-09-24T22:31:39Z) - AI Meets the Classroom: When Do Large Language Models Harm Learning? [0.0]
大規模言語モデル(LLM)が学習結果に与える影響は,利用行動に依存することを示す。
LLMは学習を改善する大きな可能性を示しているが、それらの使用は教育的な文脈に合わせて調整されなければならない。
論文 参考訳(メタデータ) (2024-08-29T17:07:46Z) - Adversarial Math Word Problem Generation [6.92510069380188]
大規模言語モデル(LLM)の公平な評価を保証するための新しいパラダイムを提案する。
評価を目的とした質問の構造と難易度を保持する逆例を生成するが,LLMでは解けない。
我々は様々なオープン・クローズド・ソース LLM の実験を行い、定量的かつ質的に、我々の手法が数学の問題解決能力を著しく低下させることを示した。
論文 参考訳(メタデータ) (2024-02-27T22:07:52Z) - Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。
パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。
ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文 参考訳(メタデータ) (2024-02-19T11:11:08Z) - Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners? [140.9751389452011]
本研究では,大言語モデル(LLM)の偏りを,算術語問題を解く際に,子どもに知られているものと関連づけて検討する。
我々は,これらの各テストに対して,問題特徴のきめ細かい制御を可能にするニューロシンボリックアプローチを用いて,新しい単語問題を生成する。
論文 参考訳(メタデータ) (2024-01-31T18:48:20Z) - Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate [85.3444184685235]
複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。
我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
論文 参考訳(メタデータ) (2023-05-30T15:25:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。