論文の概要: Anna Karenina Strikes Again: Pre-Trained LLM Embeddings May Favor High-Performing Learners
- arxiv url: http://arxiv.org/abs/2406.06599v1
- Date: Thu, 6 Jun 2024 10:36:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 21:14:20.614934
- Title: Anna Karenina Strikes Again: Pre-Trained LLM Embeddings May Favor High-Performing Learners
- Title(参考訳): アンナ・カレニナ、LLMのプレトレーニングを実施
- Authors: Abigail Gurin Schleifer, Beata Beigman Klebanov, Moriah Ariely, Giora Alexandron,
- Abstract要約: オープンエンドな質問に対する教師なしの回答を行動的および認知的プロファイルにクラスタリングすることは、新しい技術である。
本報告では, 正解を含むほとんどのKPの発見可能性の低下を報告した。
我々は、この「発見可能性バイアス」を、事前学習されたLLM埋め込み空間におけるKPの表現に遡る。
- 参考スコア(独自算出の注目度): 1.7389683862172196
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unsupervised clustering of student responses to open-ended questions into behavioral and cognitive profiles using pre-trained LLM embeddings is an emerging technique, but little is known about how well this captures pedagogically meaningful information. We investigate this in the context of student responses to open-ended questions in biology, which were previously analyzed and clustered by experts into theory-driven Knowledge Profiles (KPs). Comparing these KPs to ones discovered by purely data-driven clustering techniques, we report poor discoverability of most KPs, except for the ones including the correct answers. We trace this "discoverability bias" to the representations of KPs in the pre-trained LLM embeddings space.
- Abstract(参考訳): LLM埋め込みを用いたオープンエンド質問に対する教師なし回答のクラスタリングは、新しい手法である。
本研究では,これまで専門家によって分析され,理論駆動型知識プロファイル (KPs) にまとめられた生物学におけるオープンエンド質問に対する学生の回答の文脈において,これを考察する。
これらのKPを、純粋にデータ駆動クラスタリング技術によって発見されたものと比べ、正解を含むものを除いて、ほとんどのKPの発見可能性の低いことを報告した。
我々は、この「発見可能性バイアス」を、事前学習されたLLM埋め込み空間におけるKPの表現に遡る。
関連論文リスト
- LLM-based Knowledge Pruning for Time Series Data Analytics on Edge-computing Devices [23.18319883190927]
時系列学習のための新しいパラダイムであるKP(Knowledge Pruning)を提案する。
他の方法とは異なり、我々のKPは冗長な知識を掘り起こし、関連する知識をターゲットモデルにのみ蒸留することを目的としています。
提案したKPにより、軽量ネットワークは適切な知識を効果的に学習し、良好な性能を低コストで達成することができる。
論文 参考訳(メタデータ) (2024-06-13T02:51:18Z) - Hidden Question Representations Tell Non-Factuality Within and Across Large Language Models [34.985758097434946]
本研究は非実効性予測(NFP)に関する研究である。
NFPは、LLMが生成プロセスの前に質問に対する非実効応答を生成するかどうかを予測する。
ミニバッチベースのトレーニングの有効性を確保するための質問整合戦略を提案する。
論文 参考訳(メタデータ) (2024-06-08T02:59:52Z) - Learning to Generate Explainable Stock Predictions using Self-Reflective
Large Language Models [54.21695754082441]
説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。
反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。
我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
論文 参考訳(メタデータ) (2024-02-06T03:18:58Z) - Few-Shot Class-Incremental Learning with Prior Knowledge [94.95569068211195]
本稿では,事前学習モデルの一般化能力を高めるために,先行知識を用いた学習(LwPK)を提案する。
実験結果から,LwPKは破滅的忘れ込みに対するモデルレジリエンスを効果的に向上させることが示された。
論文 参考訳(メタデータ) (2024-02-02T08:05:35Z) - Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。
本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
論文 参考訳(メタデータ) (2024-01-29T18:27:52Z) - Knowledge Editing for Large Language Models: A Survey [51.01368551235289]
大規模言語モデル(LLM)の大きな欠点の1つは、事前学習に要する計算コストである。
知識に基づくモデル編集(KME)が注目を集めており、特定の知識を組み込むためにLLMを正確に修正することを目的としている。
論文 参考訳(メタデータ) (2023-10-24T22:18:13Z) - Do We Fully Understand Students' Knowledge States? Identifying and
Mitigating Answer Bias in Knowledge Tracing [12.31363929361146]
知識追跡は、概念に関連した質問との学習相互作用を通じて、学生の進化する知識状態を監視することを目的としている。
解答バイアスの一般的な現象、すなわち、各質問に対する正解と誤解の高度に不均衡な分布がある。
既存のモデルは、KTで高い予測性能を達成するためのショートカットとして解答バイアスを記憶する傾向がある。
論文 参考訳(メタデータ) (2023-08-15T13:56:29Z) - KGA: A General Machine Unlearning Framework Based on Knowledge Gap
Alignment [51.15802100354848]
我々は,忘れやすさを誘発する一般学習フレームワークKGAを提案する。
大規模なデータセットの実験は、KGAがベースラインよりも包括的な改善をもたらすことを示している。
論文 参考訳(メタデータ) (2023-05-11T02:44:29Z) - A Survey on Knowledge-Enhanced Pre-trained Language Models [8.54551743144995]
自然言語処理(NLP)は、事前学習言語モデル(PLM)によって革新された。
ほぼすべてのNLPタスクに新しいレコードを設定するが、PLMは、解釈可能性の低さ、推論能力の弱さ、下流タスクに適用する場合に多くの高価な注釈付きデータが必要であるなど、多くの課題に直面している。
外部知識を PLM に統合することにより、textitunderline-Knowledge-underline が強化された underlinePre-trained underlineLanguage underlineModels
論文 参考訳(メタデータ) (2022-12-27T09:54:14Z) - Knowledge-driven Active Learning [70.37119719069499]
アクティブな学習戦略は、ディープラーニングモデルをトレーニングするために必要なラベル付きデータの量を最小限にすることを目的としている。
ほとんどの積極的な戦略は不確実なサンプルの選択に基づいており、しばしば決定境界に近いサンプルに制限される。
本稿では、一般的なドメイン知識を考慮し、エキスパートでないユーザがより少ないサンプルでモデルを訓練できるようにする。
論文 参考訳(メタデータ) (2021-10-15T06:11:53Z) - Learning from Matured Dumb Teacher for Fine Generalization [0.6079137591620588]
ランダムで、訓練されていない、均等に構成された教師ネットワークは、一般化性能を大幅に向上させることができることを示す。
そこで我々は,学習者の一般化仮説を,学習情報の大量破壊を伴わずに保守的に伝達する,成熟した愚かな教師に基づくKDを提案する。
論文 参考訳(メタデータ) (2021-08-12T14:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。