論文の概要: Long-Context Demonstration Selection Using State Space Models

• arxiv url: http://arxiv.org/abs/2609.17888v1
• Date: Tue, 15 Sep 2026 22:29:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.555598
• Title: Long-Context Demonstration Selection Using State Space Models
• Title（参考訳）: 状態空間モデルを用いた長期デモンストレーション選択
• Abstract要約: 本稿では,言語モデルに対するクエリに先行するサンプルのサブセットを選択することを含む,実演選択の問題について検討する。 入力に対して線形推論時間のみを必要とする状態空間モデル(SSM)を構築している。 提案手法はFLOPを14.2times$に削減し、ベースラインのデモ選択法と比較して6.48%の精度を向上する。
• 参考スコア（独自算出の注目度）: 13.301227883393748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of demonstration selection, which involves selecting a subset of examples for prepending to a query to a language model. This problem is closely related to in-context learning and language model inference. Since the inference cost of a transformer model scales quadratically with sequence length, the selection problem becomes especially challenging in a long-context scenario. In this paper, we tackle this problem by building on state space models (SSMs), which require only linear inference time given the input. Our approach involves two algorithms. The first learns a small set of SSMs through distillation of a (trained) transformer model. We partition all the layers into consecutive groups. Then for each group, we estimate a separate state space model to replicate the input-output behavior within the adjacent layers. Second, we map the distilled model outputs to a small set of tokens, and apply these embeddings for demonstration selection in downstream applications. We perform extensive experiments in both synthetic and real-world datasets to validate our approach. We demonstrate that the distilled SSMs only incur an approximation error of less than $0.7\%$ relative to the true output. In downstream evaluation, we show that on several text classification and reasoning tasks, our approach reduces FLOPs by $14.2\times$ and improves accuracy by $6.48\%$ relative to baseline demonstration selection methods.
• Abstract（参考訳）: 本稿では,言語モデルに対するクエリに先行するサンプルのサブセットを選択することを含む,実演選択の問題について検討する。 この問題は、文脈内学習と言語モデル推論と密接に関連している。 変換器モデルの推論コストは、シーケンス長と2次的にスケールするため、長文シナリオでは、選択問題は特に困難になる。 本稿では,入力に対して線形推論時間のみを必要とする状態空間モデル(SSM)を用いてこの問題に対処する。 私たちのアプローチには2つのアルゴリズムがあります。 1つ目は、(訓練された)トランスモデルの蒸留を通して、小さなSSMの集合を学習する。 すべてのレイヤを連続したグループに分割します。 そして、各グループに対して、隣接層内の入出力挙動を再現するために、別の状態空間モデルを推定する。 第二に、蒸留されたモデル出力を小さなトークン集合にマッピングし、これらの埋め込みを下流アプリケーションにおける実演選択に適用する。 我々は、我々のアプローチを検証するために、合成データセットと実世界のデータセットの両方で広範な実験を行う。 蒸留したSSMは真の出力に対して0.7\%以下の近似誤差しか生じないことを示した。 ダウンストリーム評価では、いくつかのテキスト分類と推論タスクにおいて、FLOPを14.2\times$に削減し、ベースラインのデモ選択法と比較して6.48\%の精度向上を実現している。

関連論文リスト

• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• MPRU: Modular Projection-Redistribution Unlearning as Output Filter for Classification Pipelines [23.370444162993707]
  本稿では,機械アンラーニング(MU)へのインセンティブ的アプローチを提案する。 学習は、最後のトレーニングシーケンスを逆転させることで行うことができる。これは、モデルの最後にプロジェクション-再配布層を追加することで実装される。 実験結果から,計算コストの低減を図った完全再学習モデルと一貫した出力が得られた。
  論文  参考訳（メタデータ） (2025-10-30T08:09:37Z)
• DISCO: Diversifying Sample Condensation for Efficient Model Evaluation [59.01400190971061]
  コスト評価は傾向を低下させ、イノベーションのサイクルを遅くし、環境への影響を悪化させる。 モデル応答の多様性を最大化するサンプルを選択することが重要となる。 我々のメソッドである$textbfDiversifying Sample Condensation (DISCO)$は、最も大きなモデル不一致を持つトップkサンプルを選択します。
  論文  参考訳（メタデータ） (2025-10-09T08:53:59Z)
• Linear-Time Demonstration Selection for In-Context Learning via Gradient Estimation [19.158395403281734]
  例えば$n$の例があれば、$n$から$k$を選択して、下流推論の条件付けとして最適に機能するか? この問題は、迅速なチューニングとチェーン・オブ・ソート推論に幅広い応用がある。 勾配推定法は,6つのデータセットに対して誤差が1%未満の完全推論の近似を導出することを示す。
  論文  参考訳（メタデータ） (2025-08-27T15:59:47Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• Testable Learning with Distribution Shift [9.036777309376697]
  分散シフトを伴うテスト可能学習と呼ばれる新しいモデルを定義する。 テスト分布上の分類器の性能を証明可能なアルゴリズムを得る。 ハーフスペースやハーフスペースの交点,決定木といった概念クラスを学ぶ上で,いくつかの肯定的な結果が得られる。
  論文  参考訳（メタデータ） (2023-11-25T23:57:45Z)
• Exploring Demonstration Ensembling for In-context Learning [75.35436025709049]
  In-context Learning (ICL) は、与えられたタスクに対する入出力ペアの言語モデル(LM)の例を示す。 ICLの標準的なアプローチは、LMdのデモとテスト入力の促進である。 本研究は,単純な結合の代替として,DENSE(Demonstration Ensembling)を探索する。
  論文  参考訳（メタデータ） (2023-08-17T04:45:19Z)
• Single-Stage Visual Relationship Learning using Conditional Queries [60.90880759475021]
  TraCQは、マルチタスク学習問題とエンティティペアの分布を回避する、シーングラフ生成の新しい定式化である。 我々は,DETRをベースとしたエンコーダ-デコーダ条件付きクエリを用いて,エンティティラベル空間を大幅に削減する。 実験結果から、TraCQは既存のシングルステージシーングラフ生成法よりも優れており、Visual Genomeデータセットの最先端の2段階メソッドを多く上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T06:02:01Z)
• A Lagrangian Duality Approach to Active Learning [119.36233726867992]
  トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。 制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。 数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
  論文  参考訳（メタデータ） (2022-02-08T19:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。