論文の概要: Uncovering Uncertainty in Transformer Inference
- arxiv url: http://arxiv.org/abs/2412.05768v1
- Date: Sun, 08 Dec 2024 00:46:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-10 14:58:21.869979
- Title: Uncovering Uncertainty in Transformer Inference
- Title（参考訳）: 変圧器推論における不確かさの発見
- Authors: Greyson Brothers, Willa Mannering, Amber Tien, John Winder,
- Abstract要約: 変換言語モデルにおける反復推論仮説(IIH)について検討する。
本研究は, 残留流路に埋没したn番目のトークンが損失減少の軌跡を辿っていることを示すIIHに対する実証的支持を提供する。
本稿では,この不確実性を検出するためにクロスエントロピーを利用する手法を提案する。
- 参考スコア（独自算出の注目度）: 1.1726838461147573
- License:
- Abstract: We explore the Iterative Inference Hypothesis (IIH) within the context of transformer-based language models, aiming to understand how a model's latent representations are progressively refined and whether observable differences are present between correct and incorrect generations. Our findings provide empirical support for the IIH, showing that the nth token embedding in the residual stream follows a trajectory of decreasing loss. Additionally, we observe that the rate at which residual embeddings converge to a stable output representation reflects uncertainty in the token generation process. Finally, we introduce a method utilizing cross-entropy to detect this uncertainty and demonstrate its potential to distinguish between correct and incorrect token generations on a dataset of idioms.
- Abstract（参考訳）: 変圧器に基づく言語モデルの文脈における反復推論仮説(IIH)を探索し、モデルの潜在表現がどのように徐々に洗練され、観測可能な相違が正しい世代と間違った世代の間に存在するかを理解することを目的としている。
本研究は, 残留流路に埋没したn番目のトークンが損失減少の軌跡を辿っていることを示すIIHに対する実証的支持を提供する。
さらに,残差埋め込みが安定な出力表現に収束する速度は,トークン生成過程における不確かさを反映する。
最後に,この不確実性を検出するためにクロスエントロピーを利用する手法を提案する。
関連論文リスト
- Identifiable Latent Neural Causal Models [82.14087963690561]
因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。
因果表現の識別可能性に寄与する分布シフトのタイプを決定する。
本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
論文 参考訳（メタデータ） (2024-03-23T04:13:55Z) - From Registration Uncertainty to Segmentation Uncertainty [11.294691606431526]
本稿では, 画像登録において, エピステミックとアレタリックのセグメンテーションの不確実性の両方を同時に推定する新しい枠組みを提案する。
既存の登録不確実性を推定する手法とともにセグメンテーションの不確実性を導入することにより、画像登録の異なる段階における潜在的な不確実性について重要な洞察を提供する。
論文 参考訳（メタデータ） (2024-03-08T07:16:14Z) - Identifiable Latent Polynomial Causal Models Through the Lens of Change [82.14087963690561]
因果表現学習は、観測された低レベルデータから潜在的な高レベル因果表現を明らかにすることを目的としている。
主な課題の1つは、識別可能性(identifiability)として知られるこれらの潜伏因果モデルを特定する信頼性の高い保証を提供することである。
論文 参考訳（メタデータ） (2023-10-24T07:46:10Z) - Learning Disentangled Discrete Representations [22.5004558029479]
本稿では,標準ガウス変分オートエンコーダをカテゴリー変分オートエンコーダに置き換えることで,離散潜在空間と非交分表現の関係を示す。
本研究では,非絡み合った表現を学習する上で,個別のVAEの利点を示す分析的および実証的な知見を提供する。
論文 参考訳（メタデータ） (2023-07-26T12:29:58Z) - Monotonicity and Double Descent in Uncertainty Estimation with Gaussian
Processes [52.92110730286403]
限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。
我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。
また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
論文 参考訳（メタデータ） (2022-10-14T08:09:33Z) - Identifying Weight-Variant Latent Causal Models [82.14087963690561]
推移性は潜在因果表現の識別性を阻害する重要な役割を担っている。
いくつかの軽微な仮定の下では、潜伏因果表現が自明な置換とスケーリングまで特定可能であることを示すことができる。
本稿では,その間の因果関係や因果関係を直接学習する構造的caUsAl変分自動エンコーダを提案する。
論文 参考訳（メタデータ） (2022-08-30T11:12:59Z) - The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。
本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
論文 参考訳（メタデータ） (2020-12-05T17:30:35Z) - Learning Disentangled Representations with Latent Variation
Predictability [102.4163768995288]
本稿では,潜在不整合表現の変動予測可能性について述べる。
逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。
本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
論文 参考訳（メタデータ） (2020-07-25T08:54:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。