論文の概要: To Theoretically Understand Transformer-Based In-Context Learning for Optimizing CSMA

• arxiv url: http://arxiv.org/abs/2508.09146v3
• Date: Tue, 19 Aug 2025 01:29:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 13:30:22.867945
• Title: To Theoretically Understand Transformer-Based In-Context Learning for Optimizing CSMA
• Title（参考訳）: CSMA最適化のための変圧器を用いたインコンテキスト学習の理論的理解
• Authors: Shugang Hao, Hongbo Li, Lingjie Duan,
• Abstract要約: バイナリ指数バックオフ方式はWiFi 7で広く使われているが、動的チャネル環境下ではスループットが低下している。 最近のモデルベースアプローチは、既知のノード密度と固定されたノード密度の下でのバックオフ戦略を単純に最適化する。 本稿では、チャネルアクセスを最適化するためのトランスフォーマーベースのインコンテキスト学習(ICL)理論を初めて提案する。
• 参考スコア（独自算出の注目度）: 16.004032609412445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The binary exponential backoff scheme is widely used in WiFi 7 and still incurs poor throughput performance under dynamic channel environments. Recent model-based approaches (e.g., non-persistent and $p$-persistent CSMA) simply optimize backoff strategies under a known and fixed node density, still leading to a large throughput loss due to inaccurate node density estimation. This paper is the first to propose LLM transformer-based in-context learning (ICL) theory for optimizing channel access. We design a transformer-based ICL optimizer to pre-collect collision-threshold data examples and a query collision case. They are constructed as a prompt as the input for the transformer to learn the pattern, which then generates a predicted contention window threshold (CWT). To train the transformer for effective ICL, we develop an efficient algorithm and guarantee a near-optimal CWT prediction within limited training steps. As it may be hard to gather perfect data examples for ICL in practice, we further extend to allow erroneous data input in the prompt. We prove that our optimizer maintains minimal prediction and throughput deviations from the optimal values. Experimental results on NS-3 further demonstrate our approach's fast convergence and near-optimal throughput over existing model-based and DRL-based approaches under unknown node densities.
• Abstract（参考訳）: バイナリ指数バックオフ方式はWiFi 7で広く使われているが、動的チャネル環境下ではスループットが低下している。 最近のモデルベースアプローチ(例えば、非永続化および$p$peristent CSMA)は、既知のノード密度と固定されたノード密度の下でのバックオフ戦略を最適化するだけで、不正確なノード密度推定による大きなスループット損失につながる。 本稿では,LLM変換器を用いたインコンテキスト学習(ICL)理論をチャネルアクセスの最適化のために初めて提案する。 我々は、衝突閾値データ例とクエリ衝突事例を事前に収集するトランスフォーマーベースのICLオプティマイザを設計する。 これらは、変換器がパターンを学習するための入力としてプロンプトとして構築され、予測競合ウィンドウ閾値(CWT)が生成される。 効率的なICLのためのトランスフォーマーのトレーニングを行うため、我々は効率的なアルゴリズムを開発し、限られたトレーニングステップ内で準最適CWT予測を保証する。 ICLの完全なデータサンプルを実際に収集することは難しいため、さらにプロンプトで誤ったデータを入力できるように拡張する。 我々は最適化器が最適値から最小限の予測とスループット逸脱を維持することを証明した。 NS-3の実験結果は、未知のノード密度下での既存のモデルベースおよびDRLベースのアプローチに対して、我々のアプローチの高速収束とほぼ最適スループットを示す。

関連論文リスト

• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。 我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。 LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• A Meta-Learning Based Precoder Optimization Framework for Rate-Splitting Multiple Access [53.191806757701215]
  本稿では,トランスミッタ(CSIT)における部分チャネル状態情報を持つRSMAプリコーダを直接最適化するために,メタラーニングに基づく事前コーダ最適化フレームワークを提案する。 コンパクトニューラルネットワークのオーバーフィッティングを利用して、ASR(Average Sum-Rate)表現を最大化することにより、実行時間を最小化しながら、他のトレーニングデータの必要性を効果的に回避する。 数値的な結果から,メタラーニングに基づく解は,中規模シナリオにおける従来のプリコーダ最適化に類似したASR性能を実現し,大規模シナリオにおける準最適低複雑性プリコーダアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2023-07-17T20:31:41Z)
• Sample-Efficient and Surrogate-Based Design Optimization of Underwater Vehicle Hulls [0.4543820534430522]
  本稿では,BO-LCBアルゴリズムが最もサンプリング効率のよい最適化フレームワークであり,最適収束挙動を有することを示す。 また, DNN に基づく代理モデルでは, CFD シミュレーションと密に一致し, 平均絶対パーセンテージ誤差 (MAPE) が 1.85% であることを示す。 本稿では,サロゲートモデルを用いた設計最適化の2次高速化について述べる。
  論文  参考訳（メタデータ） (2023-04-24T19:52:42Z)
• Feasible Low-thrust Trajectory Identification via a Deep Neural Network Classifier [1.5076964620370268]
  本研究は、最適化プロセスに先立って、実現可能な低推力移動を正確に識別するディープニューラルネットワーク(DNN)を提案する。 DNN分類器の全体的な精度は97.9%であり、テストアルゴリズムの中では最高の性能である。
  論文  参考訳（メタデータ） (2022-02-10T11:34:37Z)
• Latency Adjustable Transformer Encoder for Language Understanding [0.8287206589886879]
  本稿では,提案する推論遅延の高速化により,推論コストを適応的に調整する効率的なトランスフォーマーアーキテクチャを提案する。 提案手法は,重要でないシークエンス要素(ワードベクター)を検出し,Actent Context Contribution (ACC) メトリックを用いて,各エンコーダ層でそれらを除去する。 提案手法は,BERT_base と GPT-2 の推論遅延を最大4.8倍,3.72倍に改善し,0.75% の精度低下と平均パープレキシティが可能である。
  論文  参考訳（メタデータ） (2022-01-10T13:04:39Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Exact Optimization of Conformal Predictors via Incremental and Decremental Learning [46.9970555048259]
  Conformal Predictors (CP) はMLメソッドのラッパーであり、データ分散に対する弱い仮定の下でエラー保証を提供する。 分類や回帰から異常検出まで幅広い問題に適している。 本研究では,基礎となるML手法と組み合わせて学習し,漸進的・漸進的学習を活用することにより,CP分類器を著しく高速化できることを示す。
  論文  参考訳（メタデータ） (2021-02-05T15:31:37Z)
• BAMSProd: A Step towards Generalizing the Adaptive Optimization Methods to Deep Binary Model [34.093978443640616]
  最近のBNN(Binary Neural Networks)の性能は大幅に低下している。 BNNの効果的かつ効率的なトレーニングを保証することは未解決の問題である。 そこで本研究では,BAMSProdアルゴリズムを用いて,深部二元モデルの収束特性が量子化誤差と強く関連していることを示す。
  論文  参考訳（メタデータ） (2020-09-29T06:12:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。