論文の概要: RiLM: Parameter-Efficient Language Modeling via Geodesic Decoding
- arxiv url: http://arxiv.org/abs/2609.10305v1
- Date: Wed, 09 Sep 2026 15:16:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:09.077771
- Title: RiLM: Parameter-Efficient Language Modeling via Geodesic Decoding
- Title（参考訳）: RiLM:ジオデシックデコーディングによるパラメータ効率の良い言語モデリング
- Abstract要約: 埋め込み幅d = 18で2層LSTMまたはTransformerの層を除去する新しい言語モデルを提案する。
平面 Rd (Flat RiLM) とポインケア球 Hd (HypRiLM) 上のフレームワークを共有合成写像 phi (290kパラメータ, d = 18, |V|) でインスタンス化する。
WikiText-2の5つの種のうち、HypRiLMは54.2 +/- 0.2バリデーションパープレキシティに到達し、Flat RiLMは87.6に達した。
- 参考スコア（独自算出の注目度）: 4.8369208007394215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language models under one million parameters matter for edge deployment, domain adaptation, and reproducible research, yet a two-layer LSTM or Transformer at embedding width d = 128 still spends roughly one third of its capacity on the output matrix W_out in R^(d x |V|). We propose Riemannian Language Models (RiLM), which remove that layer entirely: context unfolds as a trajectory on a Riemannian manifold, and next-token probabilities arise from squared geodesic distance between the current state and vocabulary embeddings. The same embedding map serves input and output -- decoding is geometry. We instantiate the framework on flat R^d (Flat RiLM) and the Poincare ball H^d (HypRiLM) with a shared MLP composition map phi (~290k parameters, d = 128, |V| = 2000). Across five seeds on WikiText-2, HypRiLM reaches 54.2 +/- 0.2 validation perplexity versus 87.6 +/- 0.6 for Flat RiLM; tied and matched LSTM, Transformer, and SSM controls remain at 113-147 PPL on WT-2 -- HypRiLM leads by roughly 2x over the strongest tied recurrent baseline (SSM, 113.0 +/- 3.8). Penn Treebank and a 10k-vocabulary stress test confirm that geodesic decoding transfers across corpora and larger |V|, while hyperbolic curvature helps selectively. We also characterize boundary collapse in naive hyperbolic recurrence and show how Mobius stabilization restores trainability. Claims are scoped to controlled small-model comparisons, not full-vocabulary state of the art.
- Abstract（参考訳）: 100万のパラメータ未満の言語モデルは、エッジ配置、ドメイン適応、再現可能な研究において重要であるが、埋め込み幅d = 18の2層LSTMまたはトランスフォーマーは、R^(d x |V|)の出力行列W_outの容量のおよそ3分の1を依然として使っている。
我々はリーマン言語モデル (RiLM) を提案し、この層を完全に取り除く: 文脈はリーマン多様体上の軌跡として展開され、次トーケン確率は現在の状態と語彙埋め込みの間の2乗測地線距離から生じる。
同じ埋め込みマップは入力と出力を提供します -- 復号化は幾何学です。
フラットな R^d (Flat RiLM) とポインケア球 H^d (HypRiLM) 上のフレームワークを共有な MLP 合成マップ phi (~290k パラメータ d = 128, |V| = 2000) でインスタンス化する。
WikiText-2上の5つの種のうち、HypRiLMはFlat RiLMの 87.6 +/- 0.6 に対して54.2 +/-0.2 の精度に達し、LSTM、Transformer、SSMの制御はWT-2上の 113-147 PPL に留まっている。
Penn Treebank と 10k-vocabulary stress test は、ジオデシック復号法がコーパスとより大きい |V| をまたいで転送されることを確認し、一方、双曲曲曲率(英語版)は選択的に役に立つ。
また, 内在性双曲性再発における境界崩壊を特徴付けるとともに, Mobius安定化がトレーニング容易性を回復させることを示す。
クレームは、フルボキャブラリ・オブ・ザ・アートではなく、制御された小さなモデルの比較にスコープされる。
関連論文リスト
- Lost in Interpolation: Why Predictive Feedback Fails in Diffusion Language Models [4.936220215455189]
ソフトマスキングは拡散言語モデルの収束を促進する。
MDLMの埋め込み空間を解析し,マスクと予測埋め込みがほぼ角を保っていることを確認する。
S-SM(Spherical Soft-Masking)は、トップ(k)予測を超球面上のフレッシュ平均に集約するドロップイン置換である。
論文 参考訳（メタデータ） (2026-08-06T19:23:32Z) - Extra-Merge: Tracing the Rank-1 Subspace of Model Merging in Language Model Pre-Training [56.323119575322146]
Extra-Mergeは、GPT-2およびLLaMAファミリーにわたる実験において、標準のマージベースラインを一貫して上回っている。
Pythia-12B下流のタスクに対して一貫したゼロショット精度のゲインを与え、Muon citepjordan2024muonに効果的に一般化する。
論文 参考訳（メタデータ） (2026-05-26T02:48:34Z) - Balancing Understanding and Generation in Discrete Diffusion Models [58.62235340638143]
Masked Diffusion Language Models (MDLM) は意味理解とゼロショットの一般化に優れる。
UDLM(Uniform-Noise Diffusion Language Models)は、強力な数ステップ生成品質を実現する。
定常雑音カーネルを介して2つのパラダイムをブリッジするXDLMを提案する。
論文 参考訳（メタデータ） (2026-02-01T18:00:35Z) - Real-time nonlinear inversion of magnetic resonance elastography with operator learning [0.06797079068199119]
oNLIフレームワークは、NLIに匹敵する空間精度を持つエラストグラムのリアルタイムMREインバージョン(30,000倍高速化)を可能にする。
MRE文学におけるソフト事前正規化に類似した構造的事前機構が,空間的精度を向上させるために組み込まれている。
論文 参考訳（メタデータ） (2025-10-03T08:55:40Z) - Datarus-R1: An Adaptive Multi-Step Reasoning LLM for Automated Data Analysis [0.0]
本稿では,Qwen 2.5-14B-Instructの言語モデルであるDatarus-R1-14Bを提案する。
Datarusは、独立した問合せペアではなく、推論ステップ、コード実行、エラートレース、自己補正、最終的な結論を含む完全な分析トラジェクトリに基づいて訓練されている。
論文 参考訳（メタデータ） (2025-08-18T21:58:18Z) - Monge-Ampere Regularization for Learning Arbitrary Shapes from Point Clouds [69.69726932986923]
任意の曲面型をモデル化するための新しい暗黙曲面表現であるスケールド2乗距離関数 (S$2$DF) を提案する。
S$2$DFは、ゼロレベルセットでのUDFの非微分可能性問題に効果的に対処しながら、内部領域と外部領域を区別しない。
論文 参考訳（メタデータ） (2024-10-24T06:56:34Z) - Blending LLMs into Cascaded Speech Translation: KIT's Offline Speech Translation System for IWSLT 2024 [61.189875635090225]
大規模言語モデル (LLM) は現在,自動音声認識 (ASR) や機械翻訳 (MT) ,さらにはエンドツーエンド音声翻訳 (ST) など,さまざまなタスクを探索中である。
論文 参考訳（メタデータ） (2024-06-24T16:38:17Z) - Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch [72.97553348776425]
スーパーバイザード・ファインチューニング (SFT) LMの能力に影響を与えることなく、ほとんどのデルタパラメータを設定するためにDAREを導入する。
次に、DAREを汎用プラグインとして使用し、複数のSFTモデルのデルタパラメータを分散し、それらを単一のモデルにマージする。
また、DAREを使用して、Open Leaderboardで70億のパラメータを持つモデルの中で、第1位にランクインした統合LMを作成します。
論文 参考訳（メタデータ） (2023-11-06T13:43:07Z) - You can't pick your neighbors, or can you? When and how to rely on
retrieval in the $k$NN-LM [65.74934004876914]
Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。
そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。
本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
論文 参考訳（メタデータ） (2022-10-28T02:57:40Z) - A Wasserstein Minimax Framework for Mixed Linear Regression [69.40394595795544]
マルチモーダル分布は、学習タスクにおいてクラスタ化されたデータをモデル化するために一般的に使用される。
混合線形回帰問題に対する最適輸送ベースフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-14T16:03:51Z) - Transformer Language Models with LSTM-based Cross-utterance Information
Representation [3.976291254896486]
本論文では,長期記憶(LSTM)LMに隠れた状態を用いるR-TLMを提案する。
クロス発話情報をエンコードするために、R-TLMは、トランスフォーマーブロックの一部にセグメントワイズ再発と共にLSTMモジュールを組み込む。
提案システムは,AMI会議コーパス,Eval2000,RT03電話会話評価セットで評価された。
論文 参考訳（メタデータ） (2021-02-12T12:12:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。