論文の概要: DiSC-AMC: Token- and Parameter-Efficient Discretized Statistics In-Context Automatic Modulation Classification

• arxiv url: http://arxiv.org/abs/2510.00316v1
• Date: Tue, 30 Sep 2025 22:20:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.273645
• Title: DiSC-AMC: Token- and Parameter-Efficient Discretized Statistics In-Context Automatic Modulation Classification
• Title（参考訳）: DiSC-AMC:Token- and Parameter-Efficient Discretized Statistics In-Context Automatic Modulation Classification
• Authors: Mohammad Rostami, Atik Faysal, Reihaneh Gh. Roshan, Huaxia Wang, Nikhil Muralidhar, Yu-Dong Yao,
• Abstract要約: 大規模言語モデル(LLM)は、微調整なしで、オープンセットで自動変調分類(AMC)を実行することができる。 文脈自動変調分類(DiSC-AMC)における離散統計量について述べる。 DiSC-AMCは、高次の統計と累積をコンパクトなシンボルトークンに識別するトークンおよびパラメータ効率の変種である。
• 参考スコア（独自算出の注目度）: 19.190236060870184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) can perform Automatic Modulation Classification (AMC) in an open-set manner without LLM fine-tuning when equipped with carefully designed in-context prompts~\cite{rostami2025plug}. Building on this prior work, we target the practical bottlenecks of long prompt contexts and large model sizes that impede in-the-loop deployment. We present Discretized Statistics in-Context Automatic Modulation Classification (DiSC-AMC), a token- and parameter-efficient variant that: (i) discretizes higher-order statistics and cumulants into compact symbolic tokens, (ii) prunes the exemplar list via a lightweight k-top neural prefilter and filters misleading/low-impact features using rationales extracted from prior LLM responses, and (iii) enforces label-only predictions through a calibrated prompt template. Together, these changes reduce both input/output tokens and the model parameter footprint by more than half while maintaining competitive accuracy. On synthetic AMC with ten modulation types under noise, a 7B \textit{DeepSeek-R1-Distill-Qwen} baseline achieves 5.2% accuracy, whereas our system, using an approximately 5B-parameter \textit{Gemini-2.5-Flash}~\cite{comanici2025gemini} model, attains 45.5% accuracy. These results demonstrate that careful discretization and context selection can cut inference cost by over 2x while preserving the advantages of prompt-based AMC and enabling practical in-the-loop use.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、慎重に設計されたインコンテキストプロンプト~\cite{rostami2025plug} を備えた場合、LLMを微調整することなく、オープンセットで自動変調分類 (AMC) を実行することができる。 この以前の作業に基づいて、ループ内デプロイメントを妨げる長いプロンプトコンテキストと大きなモデルサイズという、現実的なボトルネックを目標にしています。 トークンとパラメータ効率の異なるDiSC-AMC(Disretized Statistics in-Context Automatic Modulation Classification)を提案する。 (i)高次統計と累積をコンパクトな記号トークンに識別する。 二 軽量k-top Neural Prefilterを介して模範リストを作成し、先行LLM応答から抽出した有理性を用いて誤解を招く/低影響特徴をフィルタリングし、 (iii)キャリブレーションされたプロンプトテンプレートを通じてラベルのみの予測を実施する。 これらの変更により、入力/出力トークンとモデルパラメータのフットプリントの両方が半分以上削減され、競争精度が維持される。 ノイズ下で10種類の変調型を持つ合成AMCにおいて、7B \textit{DeepSeek-R1-Distill-Qwen} ベースラインは5.2%の精度を実現し、約5B-parameter \textit{Gemini-2.5-Flash}~\cite{comanici2025gemini}モデルを用いて45.5%の精度を実現した。 これらの結果から,アプロンプトベースのAMCの利点を保ちつつ,適切な離散化とコンテキスト選択により推論コストを2倍に削減できることを示す。

関連論文リスト

• Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
  サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。 Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
  論文  参考訳（メタデータ） (2025-09-28T13:27:38Z)
• Token-Efficient RL for LLM Reasoning [0.02488650627593658]
  本稿では,大規模言語モデル (LLM) において,厳密なメモリと計算限界下での推論に適した強化学習戦略を提案する。 ベースラインサブトラクションを用いた早期ポリシー勾配法に基づいて,出力トークンの小さな情報サブセット上で動作する批判のない手法を設計する。 提案手法は,SVAMPベンチマークの精度を46%から70%以上に向上し,マルチ桁乗算において高い性能を示した。
  論文  参考訳（メタデータ） (2025-04-29T14:58:43Z)
• Adaptive Rectification Sampling for Test-Time Compute Scaling [10.160759436445526]
  よりきめ細かいレベルでの誤りの修正を支援するために,適応整形サンプリング(AR-Sampling)を提案する。 提案手法により, よりきめ細かいレベルでの再考が可能となり, 解の精度が向上し, 合理的な数のトークンが生成される。
  論文  参考訳（メタデータ） (2025-04-02T02:57:52Z)
• HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
  LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。 本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。 テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• Towards Efficient Vision-Language Tuning: More Information Density, More Generalizability [73.34532767873785]
  本稿では,行列が特定の特徴空間に強く属しているかを示すために,情報密度(ID)の概念を提案する。 Dense Information Prompt (DIP)を導入し、情報密度を高め、一般化を改善する。 DIPは、調整可能なパラメータの数と必要なストレージスペースを大幅に減らし、リソース制約のある設定で特に有利になる。
  論文  参考訳（メタデータ） (2023-12-17T20:42:43Z)
• Squeezeformer: An Efficient Transformer for Automatic Speech Recognition [99.349598600887]
  Conformerは、そのハイブリッドアテンション・コンボリューションアーキテクチャに基づいて、様々な下流音声タスクの事実上のバックボーンモデルである。 Squeezeformerモデルを提案する。これは、同じトレーニングスキームの下で、最先端のASRモデルよりも一貫して優れている。
  論文  参考訳（メタデータ） (2022-06-02T06:06:29Z)
• Automatic Mixed-Precision Quantization Search of BERT [62.65905462141319]
  BERTのような事前訓練された言語モデルは、様々な自然言語処理タスクにおいて顕著な効果を示している。 これらのモデルは通常、数百万のパラメータを含んでおり、リソースに制約のあるデバイスへの実践的なデプロイを妨げている。 本稿では,サブグループレベルでの量子化とプルーニングを同時に行うことができるBERT用に設計された混合精密量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-30T06:32:47Z)
• Automatically Differentiable Random Coefficient Logistic Demand Estimation [0.0]
  本稿では, ランダム係数ロジスティック・デマンド(BLP)モデルを, 自動微分可能なモーメント関数として表現する方法を示す。 これにより、CUE(Continuously Updating Estimator)を用いた勾配に基づく周期性および準ベイズ推定が可能となる。 予備的な結果は、LTEと頻繁な最適化を用いて推定したCUEは、従来の2段階のGMM(2S-GMM)アプローチと比較して、より低いバイアスを持つが、MAEが高いことを示唆している。
  論文  参考訳（メタデータ） (2021-06-08T18:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。