論文の概要: Inferring the Phylogeny of Large Language Models and Predicting their Performances in Benchmarks
- arxiv url: http://arxiv.org/abs/2404.04671v1
- Date: Sat, 6 Apr 2024 16:16:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 20:09:57.350720
- Title: Inferring the Phylogeny of Large Language Models and Predicting their Performances in Benchmarks
- Title(参考訳): 大規模言語モデルの系統推定とベンチマークにおける性能予測
- Authors: Nicolas Yax, Pierre-Yves Oudeyer, Stefano Palminteri,
- Abstract要約: 本稿では,系統解析アルゴリズムを大規模言語モデルに適用したPhyloLMを提案する。
本研究は, 系統距離測定を用いて, 異なるLLMファミリーを良好に捕捉するデンドログラムを構築した。
このアプローチは遺伝的概念を機械学習に翻訳し、LSMの開発、関係、能力を予測するツールを提供する。
- 参考スコア(独自算出の注目度): 17.91379291654773
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces PhyloLM, a method applying phylogenetic algorithms to Large Language Models to explore their finetuning relationships, and predict their performance characteristics. By leveraging the phylogenetic distance metric, we construct dendrograms, which satisfactorily capture distinct LLM families (across a set of 77 open-source and 22 closed models). Furthermore, phylogenetic distance predicts performances in benchmarks (we test MMLU and ARC), thus enabling a time and cost-effective estimation of LLM capabilities. The approach translates genetic concepts to machine learning, offering tools to infer LLM development, relationships, and capabilities, even in the absence of transparent training information.
- Abstract(参考訳): 本稿では,系統解析アルゴリズムを大規模言語モデルに適用し,それらの微調整関係を探索し,その性能特性を予測するPhyloLMを提案する。
系統的距離測定を利用して、異なるLLMファミリー(77のオープンソースモデルと22のクローズドモデルを含む)を良好に捕捉するデンドログラムを構築する。
さらに、系統的距離はベンチマークの性能を予測し(MMLUとARCをテストする)、LLMの能力の時間的・費用的評価を可能にする。
このアプローチは遺伝的概念を機械学習に翻訳し、透明なトレーニング情報がない場合でも、LCMの開発、関係、能力を予測するツールを提供する。
関連論文リスト
- PoLLMgraph: Unraveling Hallucinations in Large Language Models via State Transition Dynamics [51.17512229589]
PoLLMgraphは、大規模言語モデルのためのモデルベースのホワイトボックス検出および予測手法である。
LLMの内部状態遷移ダイナミクスを解析することにより,幻覚を効果的に検出できることを示す。
我々の研究は、LLMのモデルベースのホワイトボックス分析の新しい手法を開拓し、LLMの振る舞いの複雑なダイナミクスをさらに探求し、理解し、洗練する研究コミュニティを動機付けている。
論文 参考訳(メタデータ) (2024-04-06T20:02:20Z) - Towards Modeling Learner Performance with Large Language Models [7.002923425715133]
本稿では,LLMのパターン認識とシーケンスモデリング機能が,知識追跡の領域にまで拡張できるかどうかを検討する。
ゼロショットプロンプト(ゼロショットプロンプト)とモデル微調整(モデル微調整)の2つの手法と,既存のLLM以外の知識追跡手法を比較した。
LLMベースのアプローチは最先端のパフォーマンスを達成しないが、微調整のLLMは素早いベースラインモデルの性能を上回り、標準的なベイズ的知識追跡手法と同等に機能する。
論文 参考訳(メタデータ) (2024-02-29T14:06:34Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳(メタデータ) (2024-02-28T04:56:21Z) - Harnessing Large Language Models as Post-hoc Correctors [7.067145619709089]
大規模言語モデル(LLM)は、機械学習(ML)モデルのパフォーマンスを最小限のコストで改善することができる。
提案するトレーニングフリーフレームワークLlmCorrにより,LLMがポストホックな修正器として機能し,任意のMLモデルの予測に対する修正を提案する。
実験の結果,LlmCorrは複数のモデルの性能を最大39%向上することがわかった。
論文 参考訳(メタデータ) (2024-02-20T22:50:41Z) - Probing Large Language Models from A Human Behavioral Perspective [24.109080140701188]
大規模言語モデル(LLM)は、現代のNLPにおいて支配的な基礎モデルとして登場した。
フィードフォワードネットワーク (FFN) やマルチヘッド・セルフアテンション (MHSA) などの予測プロセスや内部メカニズムの理解はいまだに未解明のままである。
論文 参考訳(メタデータ) (2023-10-08T16:16:21Z) - Evaluating and Explaining Large Language Models for Code Using Syntactic
Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。
その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。
私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文 参考訳(メタデータ) (2023-08-07T18:50:57Z) - On Learning to Summarize with Large Language Models as References [105.62615205746106]
本研究では,大規模言語モデル(LLM)を,データセット上のゴールドスタンダード・オラクルの参照あるいは参照とみなす新たな学習環境について検討する。
CNN/DailyMailおよびXSumデータセットの実験では、より小さな要約モデルがLLMと同等のパフォーマンスを達成できることが示されている。
しかし,人間による評価では,小型モデルではLLMレベルに到達できないことがわかった。
論文 参考訳(メタデータ) (2023-05-23T16:56:04Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳(メタデータ) (2023-01-27T18:59:01Z) - Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。
Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。
自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
論文 参考訳(メタデータ) (2022-09-23T18:36:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。