論文の概要: Multi-Token Random-Walk Learning via Meeting-Triggered Information Exchange
- arxiv url: http://arxiv.org/abs/2610.14716v1
- Date: Sat, 10 Oct 2026 08:35:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 12:05:57.797596
- Title: Multi-Token Random-Walk Learning via Meeting-Triggered Information Exchange
- Title（参考訳）: ミーティングトリガー情報交換による多段階ランダムウォーク学習
- Abstract要約: 2つの情報交換ポリシーの下で,マルチトークンRW学習について検討する。
textscAverage-Modelは平均トーケン損失を低くし、ネットワークトーケン比$Nm/$に比較的敏感である。
textscGradientは、ベストトーケン損失の低減を実現し、ネットワークツートーケン比の$Nm/$に比較的敏感である。
- 参考スコア（独自算出の注目度）: 11.515750980755522
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Random walk (RW)-based algorithms are widely used in decentralized learning due to their low communication overhead and scalability. While most existing methods rely on a single token, multiple tokens can explore the network in parallel and exchange information upon meeting. However, the fundamental benefits of such meeting-triggered interactions remain unclear. In this work, we investigate multi-token RW learning under two information exchange policies: \textsc{Average-Gradient} and \textsc{Average-Model}, which average stochastic gradients and updated models, respectively, when tokens meet. We establish iteration complexity lower bounds for non-convex, convex, and strongly convex objectives on complete graphs, which apply to both exchange policies. Compared with single-token RW learning, the scaling factor in these bounds is reduced by a factor of $m^2$ for non-convex and convex objectives, and by an exponentially in $m$ for strongly convex objectives, where $m$ denotes the number of tokens. Numerical experiments reveal distinct behaviors of the two policies under two performance criteria: mean-token loss (the average loss across all tokens) and best-token loss (the minimum loss across all tokens). \textsc{Average-Model} achieves lower mean-token loss and is relatively insensitive to the network-to-token ratio $N/m$, where $N$ is the number of nodes. In contrast, \textsc{Average-Gradient} achieves lower best-token loss but exhibits a trade-off between parallel exploration and gradient interference as $N/m$ decreases.
- Abstract（参考訳）: ランダムウォーク(RW)ベースのアルゴリズムは、通信オーバーヘッドとスケーラビリティの低い分散学習で広く利用されている。
既存のほとんどのメソッドは単一のトークンに依存しているが、複数のトークンが並列にネットワークを探索し、ミーティング時に情報を交換することができる。
しかし、このような会合トリガーによる相互作用の基本的な利点はいまだ不明である。
本研究では,トークンが一致したときの確率勾配の平均値と更新モデルである \textsc{Average-Gradient} と \textsc{Average-Model} の2つの情報交換ポリシーに基づくマルチトークンRW学習について検討する。
両交換ポリシに適用可能な完全グラフ上の非凸、凸、強凸の目的に対して、反復複雑性の低い境界を確立する。
シングルトークンRW学習と比較して、これらの境界のスケーリング係数は、非凸と凸の目的に対して$m^2$、強凸の目的に対して$m$で指数関数的に$m$で減少し、$m$はトークンの数を表す。
数値実験により、平均トークン損失(全トークンの平均損失)と最高トークン損失(全トークンの平均損失)という2つの性能基準の下での2つのポリシーの挙動が明らかにされた。
\textsc{Average-Model} は平均トーケン損失を低くし、ネットワークトーケン比$N/m$に比較的敏感である。
対照的に、‘textsc{Average-Gradient} は最良値の損失を低くするが、並列探索と勾配干渉のトレードオフを示す。
関連論文リスト
- Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。
トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。
本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。
また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
論文 参考訳（メタデータ） (2026-04-14T18:19:54Z) - Bottleneck Tokens for Unified Multimodal Retrieval [16.707536543758344]
マルチモーダル検索のためのデコーダのみのマルチモーダル大言語モデル(MLLM)の適用には、2つの構造的ギャップがある。
まず、既存のメソッドは暗黙のプーリングに依存しており、シーケンスレベルの表現として標準語彙トークンの隠れた状態をオーバーロードする。
第二に、コントラスト的な微調整は、埋め込みが一致すべきものを特定するが、どのように情報を圧縮すべきかについてのトークンレベルのガイダンスは提供しない。
本稿では,Bottleneck Tokens(BToks)を紹介した。これは,固定容量明示的なプール機構として機能する,学習可能なトークンの小さなセットである。
論文 参考訳（メタデータ） (2026-04-13T07:12:12Z) - Low-Complexity Semantic Packet Aggregation for Token Communication via Lookahead Search [32.63323958382152]
本稿では,トークンのパケット化に着目し,平均トークン類似度(ATS)を最大化する。
これを解決するために,ルックアヘッド検索(SemPA-Look)を用いたセマンティックアグリゲーションの新しいフレームワークを提案する。
SemPA-Lookは、リプレースせずにパケット内のトークン候補をサンプリングするルックアヘッド検索インスパイアされたアルゴリズムを適用している。
論文 参考訳（メタデータ） (2025-06-24T09:25:44Z) - Training-Free Tokenizer Transplantation via Orthogonal Matching Pursuit [45.18582668677648]
大規模言語モデルにおいて,トークン化剤を移植するためのトレーニング不要な手法を提案する。
それぞれの語彙外トークンを,共有トークンの疎線形結合として近似する。
我々は,OMPがベースモデルの性能を最良にゼロショット保存できることを示す。
論文 参考訳（メタデータ） (2025-06-07T00:51:27Z) - VQToken: Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models [35.38573641029626]
最小限の離散トークンを用いてビデオ全体を表現することを目的としたExtreme Short Token Reductionという新しいタスクを紹介した。
Extreme Short Token Reductionタスクでは、私たちのVQTokenはシーケンスをオリジナルの長さのわずか0.07パーセントまで圧縮し、NextQA-MCベンチマークでは0.6%の精度しか達成していません。
論文 参考訳（メタデータ） (2025-03-21T09:46:31Z) - Regress, Don't Guess -- A Regression-like Loss on Number Tokens for Language Models [2.5464748274973026]
トークンレベルで純粋に動作する回帰的な損失を示す。
我々の提案したナンバートークン損失(NTL)は2つのフレーバーを持ち、$L_p$ノルムまたはワッサーシュタイン距離を最小化する。
提案手法を様々な数学的データセット上で評価し,数学関連タスクの性能を継続的に改善することを発見した。
論文 参考訳（メタデータ） (2024-11-04T13:43:24Z) - LeMeViT: Efficient Vision Transformer with Learnable Meta Tokens for Remote Sensing Image Interpretation [37.72775203647514]
本稿では,学習可能なメタトークンを用いてスパーストークンを定式化し,キー情報を効果的に学習し,推論速度を向上させることを提案する。
視覚トークンが密集した早期にデュアル・クロス・アテンション(DCA)を用いることで,様々な大きさの階層型アーキテクチャLeMeViTが得られる。
分類と密接な予測タスクの実験結果は、LeMeViTがベースラインモデルと比較して1.7倍のスピードアップ、少ないパラメータ、競争性能を持っていることを示している。
論文 参考訳（メタデータ） (2024-05-16T03:26:06Z) - Token Fusion: Bridging the Gap between Token Pruning and Token Merging [71.84591084401458]
ビジョントランスフォーマー(ViT)はコンピュータビジョンの強力なバックボーンとして登場し、多くの伝統的なCNNを上回っている。
計算オーバーヘッドは、主に自己アテンション機構によるもので、リソース制約のあるエッジデバイスへのデプロイが困難になる。
トークンプルーニングとトークンマージの両方のメリットを両立させる手法であるToken Fusion(ToFu)を紹介する。
論文 参考訳（メタデータ） (2023-12-02T04:29:19Z) - Tokenization and the Noiseless Channel [71.25796813073399]
優れたトークン化器は、ある入力がモデルに伝達される手段であるチャネルの使用率を高める。
機械翻訳では、複数のトークン化器において、$alpha = 2.5$のR'enyiエントロピーがtextscBleu: $0.78$と非常に強い相関を持つことがわかった。
論文 参考訳（メタデータ） (2023-06-29T10:32:09Z) - WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation [57.11538133231843]
キーワード生成は、入力文書を要約する短いフレーズを自動的に生成することを目的としている。
最近登場したONE2SETパラダイムは、キーフレーズをセットとして生成し、競争性能を達成した。
本稿では, ONE2SET を拡張した WR-ONE2SET を提案する。
論文 参考訳（メタデータ） (2022-11-13T09:56:24Z) - TLDR: Token Loss Dynamic Reweighting for Reducing Repetitive Utterance
Generation [52.3803408133162]
本稿では、リカレントニューラルネットワーク(RNN)とトランスフォーマーアーキテクチャの両方を用いて、エンコーダデコーダモデルの繰り返し問題について検討する。
ハードトークンの重量を高くし、簡単なトークンの重量を低くすることで、NLGモデルは異なるペースで個々のトークンを学習することができる。
論文 参考訳（メタデータ） (2020-03-26T15:01:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。