Fugu-MT 論文翻訳(概要): On Evaluating LLMs' Capabilities as Functional Approximators: A Bayesian Perspective

論文の概要: On Evaluating LLMs' Capabilities as Functional Approximators: A Bayesian Perspective

arxiv url: http://arxiv.org/abs/2410.04541v1
Date: Sun, 6 Oct 2024 16:30:47 GMT
ステータス: 処理完了
システム内更新日: 2024-11-02 06:46:25.731323
Title: On Evaluating LLMs' Capabilities as Functional Approximators: A Bayesian Perspective
Title（参考訳）: 機能近似器としてのLLMの機能評価について:ベイズの視点から
Authors: Shoaib Ahmed Siddiqui, Yanzhi Chen, Juyeon Heo, Menglin Xia, Adrian Weller,
Abstract要約: 本稿では,大規模言語モデルの関数モデリング能力を包括的に評価するための新しい評価フレームワークを提案する。関数モデリングのベイズ的視点を採用することで、LLMは生データのパターンの理解に比較的弱いが、基礎となる関数の理解を深めるために、ドメインに関する事前知識を活用することに長けていることが分かる。
参考スコア（独自算出の注目度）: 37.51471397123902
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Recent works have successfully applied Large Language Models (LLMs) to function modeling tasks. However, the reasons behind this success remain unclear. In this work, we propose a new evaluation framework to comprehensively assess LLMs' function modeling abilities. By adopting a Bayesian perspective of function modeling, we discover that LLMs are relatively weak in understanding patterns in raw data, but excel at utilizing prior knowledge about the domain to develop a strong understanding of the underlying function. Our findings offer new insights about the strengths and limitations of LLMs in the context of function modeling.
Abstract（参考訳）: 最近の研究は、機能モデリングタスクにLLM(Large Language Models)をうまく応用している。しかし、この成功の理由は不明である。本研究では,LLMの関数モデリング能力を総合的に評価するための新しい評価フレームワークを提案する。関数モデリングのベイズ的視点を採用することで、LLMは生データのパターンの理解に比較的弱いが、基礎となる関数の理解を深めるために、ドメインに関する事前知識を活用することに長けていることが分かる。本研究は,機能モデリングの文脈におけるLLMの強度と限界に関する新たな知見を提供する。

関連論文リスト

Can LLMs Predict Citation Intent? An Experimental Analysis of In-context Learning and Fine-tuning on Open LLMs [0.464982780843177]
本研究では,Large Language Models (LLMs) を用いて,文脈内学習と微調整による引用意図の予測を行う。ゼロ, 1, few, many-shot の 5 つのオープン LLM ファミリーにまたがる12 種類のモデル変動を評価し,シナリオ間の性能評価を行う。結果は、引用意図を認識する上でのLLMの強みと限界を強調し、モデル選択と迅速なエンジニアリングのための貴重な洞察を提供する。
論文参考訳（メタデータ） (2025-02-20T13:45:42Z)
The Inherent Limits of Pretrained LLMs: The Unexpected Convergence of Instruction Tuning and In-Context Learning Capabilities [51.594836904623534]
本研究は,インコンテキストの例を用いて誘導されるベースモデルと,命令調整モデルが根本的に異なる機能を持つかどうかを考察する。命令調整モデルの性能は,基本モデルのコンテキスト内性能と大きく相関していることを示す。具体的には、この理解を命令付きモデルに拡張し、事前学習データも同様に、解決可能なタスクの制限境界を設定することを示唆する。
論文参考訳（メタデータ） (2025-01-15T10:57:55Z)
Applying Large Language Models in Knowledge Graph-based Enterprise Modeling: Challenges and Opportunities [0.0]
エンタープライズモデリングにおける大規模言語モデル(LLM)は、最近、学術研究から産業応用へとシフトし始めている。本稿では,企業モデリングにおける知識グラフに基づくアプローチを採用し,LLMの潜在的なメリットについて検討する。
論文参考訳（メタデータ） (2025-01-07T06:34:17Z)
Insights from the Inverse: Reconstructing LLM Training Goals Through Inverse RL [7.988692259455583]
Reinforcement Learning from Human Feedbackで訓練された大規模言語モデル(LLM)は、目覚ましい能力を示しているが、その基盤となる報酬関数や意思決定プロセスは不透明である。本稿では, 逆強化学習(IRL)を用いて暗黙の報酬関数を復元することにより, LLMを解釈する新しい手法を提案する。我々は,ヒトの嗜好を予測する上で,最大80.40%の精度を達成できる報酬モデルを抽出し,様々な大きさの毒性アライメントLDMについて実験を行った。
論文参考訳（メタデータ） (2024-10-16T12:14:25Z)
Configurable Foundation Models: Building LLMs from a Modular Perspective [115.63847606634268]
LLMを多数の機能モジュールに分解する傾向が高まり、複雑なタスクに取り組むためにモジュールの一部とモジュールの動的アセンブリを推論することができる。各機能モジュールを表すブロックという用語を造語し、モジュール化された構造をカスタマイズ可能な基礎モデルとして定義する。検索とルーティング,マージ,更新,成長という,レンガ指向の4つの操作を提示する。 FFN層はニューロンの機能的特殊化と機能的ニューロン分割を伴うモジュラーパターンに従うことが判明した。
論文参考訳（メタデータ） (2024-09-04T17:01:02Z)
Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
論文参考訳（メタデータ） (2024-06-20T13:08:09Z)
Towards Modeling Learner Performance with Large Language Models [7.002923425715133]
本稿では,LLMのパターン認識とシーケンスモデリング機能が,知識追跡の領域にまで拡張できるかどうかを検討する。ゼロショットプロンプト(ゼロショットプロンプト)とモデル微調整(モデル微調整)の2つの手法と,既存のLLM以外の知識追跡手法を比較した。 LLMベースのアプローチは最先端のパフォーマンスを達成しないが、微調整のLLMは素早いベースラインモデルの性能を上回り、標準的なベイズ的知識追跡手法と同等に機能する。
論文参考訳（メタデータ） (2024-02-29T14:06:34Z)
LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文参考訳（メタデータ） (2024-02-26T07:33:05Z)
LLM Augmented LLMs: Expanding Capabilities through Composition [56.40953749310957]
CALM -- 言語モデルの拡張のための構成 -- は、モデル間の相互アテンションを導入して、表現を構成し、新しい機能を有効にする。低リソース言語で訓練されたより小さなモデルでPaLM2-Sを増強すると、英語への翻訳のようなタスクで最大13%の改善が達成される。 PaLM2-Sがコード固有モデルで拡張されると、コード生成や説明タスクのベースモデルよりも40%向上する。
論文参考訳（メタデータ） (2024-01-04T18:53:01Z)
In-Context Explainers: Harnessing LLMs for Explaining Black Box Models [28.396104334980492]
大規模言語モデル(LLM)は、機械翻訳、常識推論、言語理解といった複雑なタスクにおいて、例外的な機能を示している。このような多様なタスクにおけるLLMの適応性の主要な理由の1つは、インコンテキスト学習(ICL)能力である。本稿では,LLMのICL機能を利用して,他の予測モデルによる予測を説明する新しい3つの手法,In-Context Explainersを提案する。
論文参考訳（メタデータ） (2023-10-09T15:31:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。