論文の概要: Prediction Dynamics in Depth-Recurrent Language Models

• arxiv url: http://arxiv.org/abs/2609.21383v1
• Date: Fri, 18 Sep 2026 06:56:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.886773
• Title: Prediction Dynamics in Depth-Recurrent Language Models
• Title（参考訳）: 深部繰り返し言語モデルにおける予測ダイナミクス
• Abstract要約: 等級の保守性を共通翻訳、勝者に対する方向、各競技者の更新とスコアギャップとのペアリングに分解する。 共有予測分布に対しては,共通成分とコントラストを運動的に分離し,共通成分を候補値と内値濃度で表現する。 共通エネルギーとコントラストエネルギーは異なるレートで減衰し、絶対的な更新の縮小と共存する傾向にある。
• 参考スコア（独自算出の注目度）: 5.094080300011339
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Depth-recurrent language models refine predictions through repeated latent updates. Why can intermediate answers agree with the endpoint while their scores continue to change? We derive a sharp margin characterization that decomposes the conservatism of a magnitude bound into common translation, direction relative to the winner, and the pairing of each competitor's update with its score gap. Across Huginn-3.5B and Ouro-1.4B, accounting for update direction and competitor pairing reduces the mean earliest qualifying depth by a further 22.5-34.4% of the total depth beyond translation removal under full answer-text scoring. This retrospective comparison uses completed trajectories. Substantial contributions also occur under label scoring. For shared predictive distributions, we separate common and contrast motion orthogonally and express the common component through candidate-set mass and within-set concentration. Common and contrast energies can attenuate at different rates, allowing a growing preference-change share to coexist with shrinking absolute updates. These findings explain finite-depth answer preservation through the geometry and composition of observed score changes.
• Abstract（参考訳）: 深さリカレント言語モデルは、繰り返し潜時更新によって予測を洗練します。 なぜ中間回答がエンドポイントと一致し、スコアが変化し続けるのか? 我々は、大域的な保存性を共通の翻訳、勝者に対する方向、および各競技者の更新とスコアギャップとのペアリングに分解するシャープなマージン特性を導出する。 Huginn-3.5B と Ouro-1.4B 全体では、更新方向と競合するペアリングが最初期の予選深度を22.5-34.4%減らす。 この振り返り比較は、完了した軌跡を使用する。 実質的な貢献もラベルスコアの下で行われる。 共用予測分布について、直交的に共通運動とコントラスト運動を分離し、共通成分を候補集合質量と内集合濃度で表現する。 共通エネルギーとコントラストエネルギーは異なるレートで減衰し、絶対的な更新の縮小と共存する傾向にある。 これらの結果は, 観測値の変化の幾何と組成を通して, 有限深さの回答を保存できることを示唆している。

関連論文リスト

• Selective Posterior Margin Regularization for Forward-Corrected Classification [5.8331781561663645]
  前方修正は、潜在クリーンクラスから観測されたアノテーションへの移行を、潜在的に埋め込む。 本稿では,前向きの目的を保ったSPMR(Selective Posterior Margin Regularization)を紹介する。 SPMRはフルタイムのフォワードを2.5-7.0ポイント改善し、Mixupと早期停止でフォワードの0.7-2.5ポイントを維持している。
  論文  参考訳（メタデータ） (2026-09-05T03:37:27Z)
• When Interference Graphs Evolve: Doubly Robust Estimation of Dynamic Peer Effects [1.049126606580198]
  我々は,自己治療,時間的に集約されたピア露光,および課題後の進化の要約によって潜在的な結果をインデックスする制御されたコントラストフレームワークを導入する。 時間分解確率と正規化オーグメンテーションを組み合わせた動的ネットワーク二重ロバスト推定器DynaNet-DRを開発した。
  論文  参考訳（メタデータ） (2026-08-27T14:32:40Z)
• The concentration game: Bayesian updating, regret, and information [0.42671348654734564]
  学習者と自然の間に2人のプレイヤーによるゼロサムの繰り返しゲームを与える。 端末の支払いは、コンパレータが以前の固定相対エントロピーで得ることができる最も高いものである。 学習者の移動が制限されず、ギブス/ベイズ重みはその独特なベルマン等化剤として現れる。
  論文  参考訳（メタデータ） (2026-08-18T17:52:26Z)
• Beyond Similarity: Grounded Agentic Extraction and Expert-Adjudicated Evaluation of Intertextuality in Classical Chinese Histories [3.694051864521789]
  我々は、大言語モデルが2つのテキスト単位をフルに読み込むエージェントタスクとして、きめ細かいテクスチャ間抽出をリキャストする。 3つのドメインの専門家がプールされたマルチモデル候補を2,533対のテキスト間ペアのベンチマークに設定し、Analects と Book of Han を徹底的に比較する手法を検証する。
  論文  参考訳（メタデータ） (2026-07-30T02:34:23Z)
• SHINE: Saliency-aware HIerarchical NEgative Ranking for Compositional Temporal Grounding [52.98133831401225]
  時間的グラウンドディング(英: Temporal grounding、ビデオモーメント検索(英語版))は、所定のクエリ文に対応するビデオセグメントを特定することを目的としている。 本稿では, GPT-3.5-Turbo を用いた負のクエリ構築のための大規模言語モデル駆動手法を提案する。 本稿では,ビデオと階層的負のクエリ間の多粒度意味的関係を学習するモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-06T16:08:17Z)
• Investigating Distributions of Telecom Adapted Sentence Embeddings for Document Retrieval [12.135498957287004]
  公開可能なモデルとドメイン適応型から得られた埋め込みを評価した。 我々は,異なる埋め込みに対する類似度スコアのしきい値を得るための体系的手法を確立する。 ドメイン固有の文に対する埋め込みは、ドメインに依存しない文とほとんど重複しないことを示す。
  論文  参考訳（メタデータ） (2024-06-18T07:03:34Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Consensus-Guided Correspondence Denoising [67.35345850146393]
  本稿では,地域間コンセンサス学習フレームワークと対応関係を異色化し,対応関係をロバストに識別する。 ローカル地域からグローバル地域への動的グラフから推定されるコンセンサススコアに基づいて,信頼度の高い候補を初期マッチングから蒸留する新しい「プルーニング」ブロックを導入した。 本手法は、堅牢なラインフィッティング、ワイドベースライン画像マッチング、画像ローカリゼーションベンチマークを顕著なマージンで上回る。
  論文  参考訳（メタデータ） (2021-01-03T09:10:00Z)
• Constructing interval variables via faceted Rasch measurement and multitask deep learning: a hate speech application [63.10266319378212]
  本稿では,教師付き深層学習と多面的ラッシュアイテム応答理論(IRT)構築手法を組み合わせることで,連続区間スペクトル上の複素変数を測定する手法を提案する。 われわれは、YouTube、Twitter、Redditから5万件のソーシャルメディアコメントを収集し、1万1000人の米国拠点のAmazon Mechanical Turkの労働者によってラベル付けされたデータセット上で、この新しい手法を実証した。
  論文  参考訳（メタデータ） (2020-09-22T02:15:05Z)
• Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading [96.48553941812366]
  唇読解は唇運動系列から音声内容を推測することを目的としている。 seq2seqモデルの伝統的な学習プロセスには2つの問題がある。 本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T09:12:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。