論文の概要: When to Assist and What to Suggest: Joint Gating and Memory-Grounded Hint Generation in One Compact Decoder
- arxiv url: http://arxiv.org/abs/2610.40611v1
- Date: Thu, 29 Oct 2026 17:54:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.13255
- Title: When to Assist and What to Suggest: Joint Gating and Memory-Grounded Hint Generation in One Compact Decoder
- Title（参考訳）: 一つのコンパクトデコーダにおけるジョイントゲーティングとメモリ囲みヒント生成の補助と提案
- Abstract要約: プロアクティブアシスタントは会話中に短い記憶のヒントを提供し、いつアシストするか、何を提案するかを決める。
現在のシステムではこれをゲートとより大きなジェネレータに分割し,28,058の判定点で評価する。
ゲートは精度と計算によって支払い、貯蓄は8Bジェネレータの4.39倍から1Bジェネレータの1.38倍に低下する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Proactive assistants offer short, memory-grounded hints during a conversation, deciding when to assist and what to suggest. Current systems split this between a gate and a larger generator; we evaluate both together on 28,058 decision points. Stage-wise generation scores are oracle-gate ceilings: behind a real gate, end-to-end exact match is 0.2619 against a ceiling of 0.2971, and end-to-end precision is 0.2387, leaving substantial headroom. A gate pays off through precision and compute, whose saving falls from 4.39x with an 8B generator to 1.38x with a 1B one. The memory profile drives hint quality: removing it costs 24.7 exact-match points (rescaled BERTScore 0.57 to 0.35), while retrieval and a larger generator add nothing on exact match. One 1B decoder can do both, gating from an intermediate layer and generating in the same pass. At its final checkpoint it matches or exceeds the two-model pipelines on automatic end-to-end measures with 1.31-1.76x less wall-clock time than the matched 1B pipeline; across three seeds, its deeper exit ties the separate gate. A human evaluation (1,144 ratings over 32 dialogues) supports the memory effect and rates the single model level with the matched 1B pipeline and below the 8B one. Graded metrics and LlamaPIE's native judge track human ratings more closely than exact match, which we report as a strict lower bound.
- Abstract（参考訳）: プロアクティブアシスタントは会話中に短い記憶のヒントを提供し、いつアシストするか、何を提案するかを決める。
現在のシステムではこれをゲートとより大きなジェネレータに分割し,28,058の判定点で評価する。
ステージワイズ生成スコアは、実際のゲートの後ろにあるオラクルゲートの天井であり、エンドツーエンドの正確なマッチは0.2619で天井は0.2971で、エンドツーエンドの精度は0.2387で、実質的なヘッドルームを残している。
ゲートは精度と計算によって支払い、貯蓄は8Bジェネレータの4.39倍から1Bジェネレータの1.38倍に低下する。
メモリプロファイルはヒントの品質を駆動する:24.7の正確なマッチ点(BERTScore 0.57 から 0.35 に再スケール)を除去する。
1つの1Bデコーダは、中間層からゲーティングし、同じパスで生成する。
最終チェックポイントでは、自動的なエンドツーエンド対策で2モデルパイプラインをマッチまたはオーバーし、マッチした1Bパイプラインよりも壁時計時間を1.31-1.76倍小さくする。
人間の評価(1,144回以上の対話)はメモリ効果をサポートし、一致した1Bパイプラインと一致した8Bパイプラインの下の単一のモデルレベルを評価する。
グレードメトリクスとLlamaPIEのネイティブジャッジは、厳密な下限として報告されている正確なマッチングよりも、人間のレーティングをより正確に追跡する。
関連論文リスト
- Semantically Rich, Metrically Affect-Blind: A Geometric Blind Spot in Modern Text Embedders [0.0]
Sentiment-Injected Sentence Embeddings (SISE) は、CPU上の数秒間、凍結エンコーダ上に小さな(0.13M-0.69M-パラメータ)教師付きヘッドをトレーニングする。
我々はCPU再生可能なパイプラインと再利用可能な診断ツールであるAttribute Alignment Gapをリリースする。
論文 参考訳（メタデータ） (2026-10-23T03:50:48Z) - Joint or Per-Option? Compact Encoders for Closed-Set Decisions from 17 Million to 1 Billion Parameters [0.0]
32万のパラメーターを3つ並べた調査では、37ベンチマークの判定スイートのホールドアウトサンプルで、オプション毎のスコアがジョイントスコアを上回りました。
初期化によるクロスリーダーの利点は、クエリ候補のペア入力がオプション毎の読み取りと一致している、再ランカの初期化が必要であることを示している。
論文 参考訳（メタデータ） (2026-10-22T09:14:44Z) - Suggested Is Not Superseded: A Pre-Registered Evaluation of a System-One Model as a Memory-Retirement Gate [0.1492038223487864]
ゲートは、新しい発話が古い記憶されたクレームをリタイアした時を決定する。
このステップのラベルは、変更の有無のペアをマークします。
私たちは2つを分けるタスク契約を書いています。
論文 参考訳（メタデータ） (2026-10-11T15:48:16Z) - UltraMatch: Transport Path Routing for Ultra-Fast and Memory-Efficient Image Matching [76.1295726577623]
UltraMatchは、超効率的でスケーラブルなセミセンスマッチングフレームワークである。
これは、候補マッチングパスのごく一部だけをルーティングすることで、高密度トークンレベルのマッチングの二次計算とメモリコストをバイパスする。
論文 参考訳（メタデータ） (2026-09-29T08:15:55Z) - Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models [67.72077328700088]
本稿では,2次元の異なるデコーダのみの高密度変圧器モデルについて検討した。
Token-1B モデルは低FLOP 方式ではバイトモデル (End-Of-Token-1B と Bytes-1B) より優れていたが、最終的には高原となる。
100Kトークンの順序ではなく256バイトの小さな語彙で操作することで、ログダンピング時にトップクランケーションの必要性を回避することができる。
論文 参考訳（メタデータ） (2026-09-11T00:17:22Z) - BF1: A Causal Dyadic Sparse-Attention Retrofit for Efficient Long-Context Transformers [0.0]
本研究では,小面積の局所的近傍,大域的な第1ブロック,および対数的に空間化された歴史的ブロックを結合したブロックアライン・ダイアルド・スパース・アテンション経路について検討する。
最適化されたBF16の実装は、2Kトークンと4Kトークンの間で高い注意を払い、32Kで1層あたり10.91倍のプリフィルスピードアップに達する。
本稿では,数値的正当性,選択相互作用スケーリング,カーネル性能,部分モデル言語モデリング,および一致した次世代言語モデリングについて検討する。
論文 参考訳（メタデータ） (2026-08-19T18:35:12Z) - Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。
一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
論文 参考訳（メタデータ） (2026-07-30T16:41:40Z) - Memory Decoder at Scale: A Pretrained, Parametric Long-Term Memory [39.928280043928325]
メモリデコーダはパラメトリックな長期記憶モジュールを導入するが、比較的小さなスケールでしか研究しない。
メモリデコーダをスケールし、メモリモデルを6.9Bパラメータまで拡張し、300Bトークンで事前トレーニングします。
メモリにより多くのパラメータを割り当てると、ベースモデルのみをスケーリングするよりも、パラメータ性能のトレードオフの方が優れていることが分かりました。
論文 参考訳（メタデータ） (2026-07-30T09:30:03Z) - Memoir: Should a Model Write to Its Memory While It Thinks? [0.0]
Memoirは、サンプル毎の高速メモリ、共有スローパラメータ、変数深度潜時再発、および将来の遅延エネルギー目標を組み合わせたものだ。
組み合わせた腕と、それ以外は同じ読み取り専用の機雷アームを比較します。
メモリの書き直しがエネルギーシグナルを損なうという予測された失敗は起こらなかった。
論文 参考訳（メタデータ） (2026-07-22T23:34:56Z) - Representation Distribution Matching for One-Step Visual Generation [107.84208192304455]
表現分布マッチング(Representation Distribution Matching, RDM)の設計空間の解明
2つの設計軸、分布がどのように比較され、それらの表現が比較されるかを特定し、それに沿って制御された研究によって3つの結果が得られた。
同じレシピは4ステップのFLUX.2[klein]を1ステップのジェネレータに後付けし、GenEvalの4ステップバージョンである0.826から0.794、PickScoreの22.76から22.58を90 H200 GPU時間で上回った。
論文 参考訳（メタデータ） (2026-07-02T16:15:38Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。