Fugu-MT 論文翻訳(概要): Batch Universal Prediction

論文の概要: Batch Universal Prediction

arxiv url: http://arxiv.org/abs/2402.03901v1
Date: Tue, 6 Feb 2024 11:13:26 GMT
ステータス: 処理完了
システム内更新日: 2024-02-07 15:19:02.826213
Title: Batch Universal Prediction
Title（参考訳）: バッチユニバーサル予測
Authors: Marco Bondaschi, Michael Gastpar
Abstract要約: 大型言語モデル (LLM) は、人間に似た英語文を生成するという驚くべき能力により、最近多くの人気を集めている。本稿では,古典的平均的後悔の修正として,バッチ後悔の概念について考察する。
参考スコア（独自算出の注目度）: 20.889464448762176
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) have recently gained much popularity due to their surprising ability at generating human-like English sentences. LLMs are essentially predictors, estimating the probability of a sequence of words given the past. Therefore, it is natural to evaluate their performance from a universal prediction perspective. In order to do that fairly, we introduce the notion of batch regret as a modification of the classical average regret, and we study its asymptotical value for add-constant predictors, in the case of memoryless sources and first-order Markov sources.
Abstract（参考訳）: 大型言語モデル(llm)は最近、人間のような英語文を生成するという驚くべき能力により、大きな人気を得ている。 LLMは基本的に予測子であり、過去の単語列の確率を推定する。したがって、普遍的な予測の観点からその性能を評価することは自然である。これを公平に行うために,古典的平均的後悔の修正としてバッチ後悔の概念を導入し,その漸近的価値について,記憶力のない情報源と1次マルコフ源について検討する。

関連論文リスト

When a language model is optimized for reasoning, does it still show embers of autoregression? An analysis of OpenAI o1 [20.093907710471317]
o1はOpenAIの新しいシステムで、従来の言語モデルと異なり、推論に最適化されている。多くの場合、o1は従来のLLMよりも大幅に優れていた。しかし、o1は以前のシステムで観測したのと同じ定性的傾向を示している。
論文参考訳（メタデータ） (2024-10-02T17:50:19Z)
Classical Statistical (In-Sample) Intuitions Don't Generalize Well: A Note on Bias-Variance Tradeoffs, Overfitting and Moving from Fixed to Random Designs [11.893324664457548]
古典統計学の教科書で教えられている直観と相反する行動が現在観察されている別の理由が示されている。固定されたデザインからランダムなデザインへのこの単純な動きは、教科書の直観に遠く及ばない結果をもたらすことを強調する。
論文参考訳（メタデータ） (2024-09-27T15:36:24Z)
Mitigating Reversal Curse in Large Language Models via Semantic-aware Permutation Training [57.771940716189114]
我々は、大きな言語モデル(LLM)が「逆の呪い」に苦しむことを示す。逆の呪いの根本原因は、訓練と推論の段階で異なる単語順にある。この問題に対処するために,SPT(Semantic-Aware Permutation Training)を提案する。
論文参考訳（メタデータ） (2024-03-01T18:55:20Z)
Temperature-scaling surprisal estimates improve fit to human reading times -- but does it do so for the "right reasons"? [15.773775387121097]
大規模な言語モデルのキャリブレーションは,通常モデルサイズによって改善されることを示す。温度スケーリングの確率は、読み取り時間に体系的に適合することがわかった。
論文参考訳（メタデータ） (2023-11-15T19:34:06Z)
Humans and language models diverge when predicting repeating text [52.03471802608112]
我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
論文参考訳（メタデータ） (2023-10-10T08:24:28Z)
Variational Prediction [95.00085314353436]
本稿では,変動境界を用いた後部予測分布に対する変動近似の学習手法を提案する。このアプローチは、テスト時間の限界化コストを伴わずに、優れた予測分布を提供することができる。
論文参考訳（メタデータ） (2023-07-14T18:19:31Z)
Uncertainty-Aware Unlikelihood Learning Improves Generative Aspect Sentiment Quad Prediction [52.05304897163256]
トークンレベルの生成を制御するテンプレートに依存しない手法を提案する。具体的には、事前訓練された言語モデルのビルトイン不確実性を理解するために、モンテカルロのドロップアウトを導入する。さらに,不確実性を認識した誤りトークンを抑制するために,差分学習を提案する。
論文参考訳（メタデータ） (2023-06-01T07:49:06Z)
Token-wise Decomposition of Autoregressive Language Model Hidden States for Analyzing Model Predictions [9.909170013118775]
本研究は,各初期入力トークンに基づいて,自己回帰言語モデルから最終隠れ状態の線形分解を行う。次単語確率の変化を重要度尺度として、まず、どの文脈語が言語モデル予測に最も貢献するかを検討する。
論文参考訳（メタデータ） (2023-05-17T23:55:32Z)
Why Does Surprisal From Larger Transformer-Based Language Models Provide a Poorer Fit to Human Reading Times? [9.909170013118775]
トレーニング中にシーケンスを「記憶する」ためにトランスフォーマーをベースとした大規模モデルの妥当性は、その前提推定を人間的な期待から逸脱させる。これらの結果から,大規模トランスフォーマーモデルがトレーニング中にシーケンスを「記憶する」ことの妥当性は,人為的な予測から逸脱することが示唆された。
論文参考訳（メタデータ） (2022-12-23T03:57:54Z)
A Measure-Theoretic Characterization of Tight Language Models [105.16477132329416]
病理学的には「確率質量」が無限列の集合に漏れることがある。本稿では,言語モデリングの尺度論的扱いについて述べる。多くのポピュラーな言語モデルファミリーが実際に密接な関係にあることを証明しています。
論文参考訳（メタデータ） (2022-12-20T18:17:11Z)
Universal Off-Policy Evaluation [64.02853483874334]
ユニバーサルオフ政治推定器(UnO)への第一歩を踏み出す我々は, 平均, 分散, 分位数/中間数, 分位数範囲, cvar, および累積分布全体の推定と同時結合に uno を用いる。
論文参考訳（メタデータ） (2021-04-26T18:54:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。