Fugu-MT 論文翻訳(概要): Rare Event Analysis of Large Language Models

論文の概要: Rare Event Analysis of Large Language Models

arxiv url: http://arxiv.org/abs/2602.06791v1
Date: Fri, 06 Feb 2026 15:50:36 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-09 22:18:26.455875
Title: Rare Event Analysis of Large Language Models
Title（参考訳）: 大規模言語モデルの希少事象解析
Authors: Jake McAllister Dorman, Edward Gillman, Dominic C. Rose, Jamie F. Mair, Juan P. Garrahan,
Abstract要約: 本稿では,大規模言語モデルにおける希少事象の体系的解析のためのエンドツーエンドフレームワークを提案する。提案する実装は,スパンニング理論,効率的な生成戦略,確率推定,エラー解析である。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Being probabilistic models, during inference large language models (LLMs) display rare events: behaviour that is far from typical but highly significant. By definition all rare events are hard to see, but the enormous scale of LLM usage means that events completely unobserved during development are likely to become prominent in deployment. Here we present an end-to-end framework for the systematic analysis of rare events in LLMs. We provide a practical implementation spanning theory, efficient generation strategies, probability estimation and error analysis, which we illustrate with concrete examples. We outline extensions and applications to other models and contexts, highlighting the generality of the concepts and techniques presented here.
Abstract（参考訳）: 確率的モデルであることは、推論の大きな言語モデル (LLM) の間、まれな事象: 典型的なものではないが非常に重要な振る舞いを示す。定義上は、すべてのまれなイベントを見ることは難しいが、LLMの使用の膨大な規模は、開発期間中に完全に観測されていないイベントが、デプロイメントにおいて顕著になる可能性が高いことを意味している。本稿では,LLMにおける希少事象の系統解析のためのエンドツーエンドフレームワークを提案する。本稿では,具体例で示すような,スパンニング理論,効率的な生成戦略,確率推定,エラー解析を実践的に実施する。我々は、他のモデルやコンテキストへの拡張と応用の概要を示し、ここで提示される概念や技法の一般化を強調します。

関連論文リスト

Quantization Meets dLLMs: A Systematic Study of Post-training Quantization for Diffusion LLMs [78.09559830840595]
本稿では拡散に基づく言語モデルの定量化に関する最初の体系的研究について述べる。異常に大きなアクティベーション値によって特徴付けられるアクティベーションアウトリーチの存在を同定する。我々は最先端のPTQ手法を実装し、包括的な評価を行う。
論文参考訳（メタデータ） (2025-08-20T17:59:51Z)
Approaching Maximal Information Extraction in Low-Signal Regimes via Multiple Instance Learning [0.0]
より正確な予測を得るために,機械学習(ML)手法を提案する。提案手法では,データセットに潜伏する理論上の最大漁獲量の抽出が可能である可能性が示唆された。
論文参考訳（メタデータ） (2025-08-09T22:46:55Z)
Discrete Diffusion in Large Language and Multimodal Models: A Survey [61.86669998363359]
離散拡散言語モデル(dLLMs)と離散拡散多モード言語モデル(dMLLMs)の体系的調査を行う。自己回帰(AR)モデルとは異なり、dLLMsとdMLLMsはマルチトークンの並列デコーディングパラダイムを採用しており、フルアテンションとデノナイジングに基づく生成戦略を採用している。我々は、dLLMとdMLLMの歴史的発展を辿り、基礎となる数学的枠組みを定式化し、一般的なモデリング手法を列挙し、代表モデルを分類する。
論文参考訳（メタデータ） (2025-06-16T17:59:08Z)
Large Language Models as Markov Chains [7.078696932669912]
有限状態空間上で定義された自己回帰変換言語モデルとマルコフ連鎖の同値性を描く。以上の結果とLLMで観察された病理行動との関連性を検討した。最新のLlamaとGemmaのモデル群による実験は、我々の理論が実際にそれらの振る舞いを正しく捉えていることを示している。
論文参考訳（メタデータ） (2024-10-03T17:45:31Z)
Beyond DAGs: A Latent Partial Causal Model for Multimodal Learning [80.44084021062105]
本稿では,非方向エッジで連結された2つの潜在結合変数を特徴とする,多モーダルデータに対する新しい潜在部分因果モデルを提案する。特定の統計的仮定の下では、多モーダル・コントラッシブ・ラーニングによって学習された表現が、自明な変換までの潜在結合変数に対応することを示す。事前トレーニングされたCLIPモデルの実験は、非絡み合った表現を具現化し、数ショットの学習を可能にし、さまざまな現実世界のデータセットにわたるドメインの一般化を改善する。
論文参考訳（メタデータ） (2024-02-09T07:18:06Z)
Learning the Effects of Physical Actions in a Multi-modal Environment [17.757831697284498]
大規模言語モデル(LLM)は、物理的コモンセンス情報を不十分に扱う。本稿では,現実的な感覚入力のみから行動の結果を予測するマルチモーダルタスクを提案する。マルチモーダルモデルでは、視覚情報で拡張した場合に、物理的なコモンセンスをキャプチャできることを示す。
論文参考訳（メタデータ） (2023-01-27T16:49:52Z)
EvEntS ReaLM: Event Reasoning of Entity States via Language Models [24.077262847151232]
残念なことに、Large Language Model(LLM)は、オブジェクトの相互作用に関する手続き的な知識を公開しています。特に,本研究の結果は,未確認属性(ドメイン外)や限られたデータしか利用できない場合に特に有用であることが示唆された。
論文参考訳（メタデータ） (2022-11-10T07:48:01Z)
Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
論文参考訳（メタデータ） (2021-07-22T20:52:26Z)
Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文参考訳（メタデータ） (2021-04-14T06:30:36Z)
Generalization and Memorization: The Bias Potential Model [9.975163460952045]
生成モデルと密度推定器は、関数の学習モデルとは全く異なる振る舞いをする。バイアスポテンシャルモデルでは、早期停止が採用された場合、次元非依存の一般化精度が達成可能であることを示す。長期的には、モデルはサンプルを記憶するか、分岐させる。
論文参考訳（メタデータ） (2020-11-29T04:04:54Z)
A Multi-Channel Neural Graphical Event Model with Negative Evidence [76.51278722190607]
イベントデータセットは、タイムライン上で不規則に発生するさまざまなタイプのイベントのシーケンスである。基礎となる強度関数を推定するために,非パラメトリックディープニューラルネットワーク手法を提案する。
論文参考訳（メタデータ） (2020-02-21T23:10:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。