論文の概要: HierLLM: Hierarchical Large Language Model for Question Recommendation
- arxiv url: http://arxiv.org/abs/2409.06177v1
- Date: Tue, 10 Sep 2024 03:12:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-10 15:56:07.624384
- Title: HierLLM: Hierarchical Large Language Model for Question Recommendation
- Title（参考訳）: HierLLM: 質問推薦のための階層型大規模言語モデル
- Authors: Yuxuan Liu, Haipeng Liu, Ting Long,
- Abstract要約: 質問推薦のための階層型大規模言語モデル(HierLLM)を提案する。
階層構造は、概念の数が質問の数よりもかなり小さいという事実を生かしている。
広範に実験を行い,HierLLMの優れた性能を実証した。
- 参考スコア（独自算出の注目度）: 6.5786507866287325
- License:
- Abstract: Question recommendation is a task that sequentially recommends questions for students to enhance their learning efficiency. That is, given the learning history and learning target of a student, a question recommender is supposed to select the question that will bring the most improvement for students. Previous methods typically model the question recommendation as a sequential decision-making problem, estimating students' learning state with the learning history, and feeding the learning state with the learning target to a neural network to select the recommended question from a question set. However, previous methods are faced with two challenges: (1) learning history is unavailable in the cold start scenario, which makes the recommender generate inappropriate recommendations; (2) the size of the question set is much large, which makes it difficult for the recommender to select the best question precisely. To address the challenges, we propose a method called hierarchical large language model for question recommendation (HierLLM), which is a LLM-based hierarchical structure. The LLM-based structure enables HierLLM to tackle the cold start issue with the strong reasoning abilities of LLM. The hierarchical structure takes advantage of the fact that the number of concepts is significantly smaller than the number of questions, narrowing the range of selectable questions by first identifying the relevant concept for the to-recommend question, and then selecting the recommended question based on that concept. This hierarchical structure reduces the difficulty of the recommendation.To investigate the performance of HierLLM, we conduct extensive experiments, and the results demonstrate the outstanding performance of HierLLM.
- Abstract（参考訳）: 質問推薦とは、学生が学習効率を高めるために質問を逐次推薦するタスクである。
すなわち、学生の学習履歴と学習目標を考えると、質問推薦者は生徒に最も改善をもたらす質問を選択する必要がある。
従来の方法は、質問の推薦をシーケンシャルな意思決定問題としてモデル化し、生徒の学習状態を学習履歴で推定し、学習目標と学習状態をニューラルネットワークに供給し、質問セットから推薦された質問を選択する。
しかし,(1) コールドスタートシナリオでは学習履歴が利用できないため,推奨者が不適切なレコメンデーションを生成すること,(2) 質問セットのサイズが非常に大きいこと,そして,推奨者が適切な質問を正確に選択することが難しいこと,の2つの課題に直面した。
この課題に対処するために,LLMに基づく階層構造である質問推薦のための階層型大規模言語モデル (HierLLM) を提案する。
LLMをベースとした構造により、HierLLMはLLMの強い推論能力でコールドスタート問題に取り組むことができる。
階層構造は、概念の数が質問の数よりもかなり小さいという事実を生かし、選択可能な質問の範囲を狭め、最初に推奨された質問の関連概念を特定し、その概念に基づいて推奨された質問を選択する。
この階層構造は、HierLLMの性能を調査するために、広範囲な実験を行い、その結果、HierLLMの優れた性能を示す。
関連論文リスト
- MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
MindStarは、大言語モデルの純粋に推論に基づく探索手法である。
推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。
Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
論文 参考訳（メタデータ） (2024-05-25T15:07:33Z) - Can Small Language Models be Good Reasoners for Sequential Recommendation? [34.098264212413305]
SLIM (Step-by-step knowLedge dIstillation fraMework for recommendation)
より大規模な教師モデルのためのユーザ行動系列に基づくCoTプロンプトを導入する。
教師モデルによって生成される理論的根拠をラベルとして利用し、下流のより小さな学生モデルを蒸留する。
論文 参考訳（メタデータ） (2024-03-07T06:49:37Z) - Enhancing Answer Selection in Community Question Answering with
Pre-trained and Large Language Models [0.9065034043031668]
まず,質問応答型クロスアテンションネットワーク(QAN)を提案する。
次に,大規模言語モデル(LLM)を用いて,知識拡張による回答選択を行う。
実験の結果、QANモデルが2つのデータセット、SemEval2015とSemEval 2017の最先端のパフォーマンスを示している。
論文 参考訳（メタデータ） (2023-11-29T10:24:50Z) - An In-Context Schema Understanding Method for Knowledge Base Question
Answering [70.87993081445127]
大きな言語モデル(LLM)は、言語理解において強力な能力を示しており、この課題を解決するために使用することができる。
既存のメソッドは、当初、スキーマ固有の詳細を使わずにLLMを使用してロジックフォームのドラフトを生成することで、この課題を回避している。
そこで本研究では,LLMが文脈内学習を利用してスキーマを直接理解できる簡易なインコンテキスト理解(ICSU)手法を提案する。
論文 参考訳（メタデータ） (2023-10-22T04:19:17Z) - Cache & Distil: Optimising API Calls to Large Language Models [82.32065572907125]
ジェネレーティブAIツールの大規模デプロイは、ユーザクエリをフルフィルするために、LLM(Large Language Model)に対する高価なAPI呼び出しに依存することが多い。
これらの呼び出しの頻度を縮めるために、より小さな言語モデル(学生)を用いることができる。
この学生は、ユーザー要求の増加に独立して対処する能力が徐々に向上する。
論文 参考訳（メタデータ） (2023-10-20T15:01:55Z) - Large Language Models are Zero-Shot Rankers for Recommender Systems [76.02500186203929]
本研究では,レコメンダシステムのランキングモデルとして機能する大規模言語モデル(LLM)の能力を検討することを目的とする。
LLMにはゼロショットランキング能力があるが、歴史的相互作用の順序を理解するのに苦労していることを示す。
これらの問題は、特別に設計されたプロンプトとブートストラップ戦略によって緩和可能であることを実証する。
論文 参考訳（メタデータ） (2023-05-15T17:57:39Z) - Recommendation as Instruction Following: A Large Language Model
Empowered Recommendation Approach [83.62750225073341]
我々は、大規模言語モデル(LLM)による指示としてレコメンデーションを考える。
まず、ユーザの好み、意図、タスクフォーム、コンテキストを自然言語で記述するための一般的な命令形式を設計する。
そして、39の命令テンプレートを手動で設計し、大量のユーザ個人化された命令データを自動的に生成する。
論文 参考訳（メタデータ） (2023-05-11T17:39:07Z) - Active Prompting with Chain-of-Thought for Large Language Models [26.5029080638055]
本稿では,大規模言語モデルを異なるタスクに適応させる新しい手法であるActive-Promptを提案する。
不確実性に基づくアクティブラーニングの関連問題からアイデアを借用することにより、不確実性を特徴づける指標をいくつか導入する。
実験により,提案手法の優位性を実証し,8つの複雑な推論タスクの最先端化を図った。
論文 参考訳（メタデータ） (2023-02-23T18:58:59Z) - Top-N Recommendation with Counterfactual User Preference Simulation [26.597102553608348]
ユーザーランキングに基づく好みの学習を目的としたTop-Nレコメンデーションは、長い間、広範囲のアプリケーションにおいて基本的な問題だった。
本稿では,データ不足問題に対処するため,因果推論フレームワーク内での推薦タスクの再構築を提案する。
論文 参考訳（メタデータ） (2021-09-02T14:28:46Z) - Sequential Recommendation with Self-Attentive Multi-Adversarial Network [101.25533520688654]
逐次レコメンデーションにおける文脈情報の影響を明示的にモデル化するためのMFGAN(Multi-Factor Generative Adversarial Network)を提案する。
当社のフレームワークは,複数種類の因子情報を組み込むことが柔軟であり,各因子が推奨決定にどのように貢献するかを時間とともに追跡することができる。
論文 参考訳（メタデータ） (2020-05-21T12:28:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。