論文の概要: Small but Significant: On the Promise of Small Language Models for Accessible AIED

• arxiv url: http://arxiv.org/abs/2505.08588v1
• Date: Tue, 13 May 2025 13:58:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.596183
• Title: Small but Significant: On the Promise of Small Language Models for Accessible AIED
• Title（参考訳）: 小さいが重要なこと:アクセシブルAIEDのための小さな言語モデルの約束について
• Authors: Yumou Wei, Paulo Carvalho, John Stamper,
• Abstract要約: GPTは、大きな言語モデル(LLM)とほぼ同義語になっている。 我々は、小規模言語モデル(SLM)が資源に制約のある機関に、高品質なAIツールへの公平で安価なアクセスを提供する上での潜在的影響を無視して、GPTのリスクに重点を置いていることを論じる。
• 参考スコア（独自算出の注目度）: 0.26626950367610397
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: GPT has become nearly synonymous with large language models (LLMs), an increasingly popular term in AIED proceedings. A simple keyword-based search reveals that 61% of the 76 long and short papers presented at AIED 2024 describe novel solutions using LLMs to address some of the long-standing challenges in education, and 43% specifically mention GPT. Although LLMs pioneered by GPT create exciting opportunities to strengthen the impact of AI on education, we argue that the field's predominant focus on GPT and other resource-intensive LLMs (with more than 10B parameters) risks neglecting the potential impact that small language models (SLMs) can make in providing resource-constrained institutions with equitable and affordable access to high-quality AI tools. Supported by positive results on knowledge component (KC) discovery, a critical challenge in AIED, we demonstrate that SLMs such as Phi-2 can produce an effective solution without elaborate prompting strategies. Hence, we call for more attention to developing SLM-based AIED approaches.
• Abstract（参考訳）: GPTは大規模言語モデル (LLMs) とほぼ同義語となり、AIEDプロシージャではますます人気が高まっている。 AIED 2024で発表された76の長い短い論文のうち61%が、教育における長年の課題に対処するためにLLMを使った新しいソリューションを記述しており、43%が特にGPTについて言及している。 GPTによって先駆されたLLMは、AIの教育への影響を強化するエキサイティングな機会を生み出すが、GPTや他のリソース集約型LLM(パラメータが10B以上)にこの分野が重点を置いていることは、スモールランゲージモデル(SLM)がリソースに制約のある機関に対して、高品質なAIツールへの平等かつ安価なアクセスを提供する上での潜在的影響を無視している、と我々は主張する。 AIEDにおける重要な課題である知識コンポーネント発見(KC)の肯定的な結果から,Phi-2のようなSLMが戦略を精巧に促さずに効果的なソリューションを実現できることを示す。 したがって、我々はSLMベースのAIEDアプローチの開発により多くの注意を払っている。

関連論文リスト

• Trace-of-Thought Prompting: Investigating Prompt-Based Knowledge Distillation Through Question Decomposition [6.066322919105025]
  本稿では,高リソースの教師モデルから低リソースの学生モデルへの重要な推論能力を抽出する新しいフレームワークであるTrace-of-Thought Promptingを紹介する。 我々の結果は、オープンソースで低リソースのモデルが最終的には学生と教師の両方に役立てられるという、有望な道筋を示唆している。
  論文  参考訳（メタデータ） (2025-04-29T17:14:54Z)
• MLRC-Bench: Can Language Agents Solve Machine Learning Research Challenges? [64.62421656031128]
  MLRC-Benchは、機械学習(ML)リサーチコンペティションの挑戦において、言語エージェントがいかに効果的に対処できるかを定量化するために設計されたベンチマークである。 MLRC-Benchは以前の研究とは異なり、新しい研究手法を提案し、実装する上で重要なステップを計測する。 最も優れた試験薬でさえ、ベースラインとトップヒューマンのスコアの差の9.3%しか閉じていない。
  論文  参考訳（メタデータ） (2025-04-13T19:35:43Z)
• Improving In-Context Learning with Small Language Model Ensembles [2.3499129784547654]
  In-context Learning (ICL) は安価で効率的な代替手段であるが、高度な手法の精度と一致しない。 本稿では,複数の微調整小言語モデル(SLM)の専門知識を活用することでICLを強化する新しいアプローチであるEnsemble SuperICLを提案する。
  論文  参考訳（メタデータ） (2024-10-29T09:02:37Z)
• Can LLMs be Fooled? Investigating Vulnerabilities in LLMs [4.927763944523323]
  LLM(Large Language Models)の出現は、自然言語処理(NLP)内の様々な領域で大きな人気を集め、膨大なパワーを誇っている。 本稿では,各脆弱性部の知見を合成し,新たな研究・開発の方向性を提案する。 現在の脆弱性の焦点を理解することで、将来のリスクを予測し軽減できます。
  論文  参考訳（メタデータ） (2024-07-30T04:08:00Z)
• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
  大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
  論文  参考訳（メタデータ） (2024-05-10T02:48:45Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Fairness of ChatGPT and the Role Of Explainable-Guided Prompts [6.079011829257036]
  本研究では,大規模言語モデル(LLM),特に OpenAI の GPT の信用リスク評価における可能性について検討する。 この結果から,LLMは従来の機械学習(ML)モデルの性能を並列化できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-07-14T09:20:16Z)
• Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
  ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。 この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。 本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。