論文の概要: Rate-Distortion Analysis of Compressed Query Delegation with Low-Rank Riemannian Updates
- arxiv url: http://arxiv.org/abs/2601.00938v1
- Date: Fri, 02 Jan 2026 14:04:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-06 16:25:21.871528
- Title: Rate-Distortion Analysis of Compressed Query Delegation with Low-Rank Riemannian Updates
- Title(参考訳): 低ランクリーマン更新による圧縮クエリデリゲーションの速度歪み解析
- Authors: Faruk Alpay, Bugra Kilictas,
- Abstract要約: 圧縮クエリデリゲート(CQD)について検討する。
CQDは、クエリ予算関数とノイズの多い演算子としてモデル化されたオラクルを備えた制約付きプログラムである。
- 参考スコア(独自算出の注目度): 0.5729426778193398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bounded-context agents fail when intermediate reasoning exceeds an effective working-memory budget. We study compressed query delegation (CQD): (i) compress a high-dimensional latent reasoning state into a low-rank tensor query, (ii) delegate the minimal query to an external oracle, and (iii) update the latent state via Riemannian optimization on fixed-rank manifolds. We give a math-first formulation: CQD is a constrained stochastic program with a query-budget functional and an oracle modeled as a noisy operator. We connect CQD to classical rate-distortion and information bottleneck principles, showing that spectral hard-thresholding is optimal for a natural constrained quadratic distortion problem, and we derive convergence guarantees for Riemannian stochastic approximation under bounded oracle noise and smoothness assumptions. Empirically, we report (A) a 2,500-item bounded-context reasoning suite (BBH-derived tasks plus curated paradox instances) comparing CQD against chain-of-thought baselines under fixed compute and context; and (B) a human "cognitive mirror" benchmark (N=200) measuring epistemic gain and semantic drift across modern oracles.
- Abstract(参考訳): 境界コンテキストエージェントは、中間的推論が効果的なワーキングメモリ予算を超えると失敗する。
圧縮クエリデリゲート(CQD)について検討する。
(i)高次元潜在推論状態を低ランクテンソルクエリに圧縮する。
(ii)最小限のクエリを外部のオラクルに委譲し、
(iii) 固定ランク多様体上のリーマン最適化による潜在状態の更新。
CQDは、クエリ予算関数とノイズの多い演算子としてモデル化されたオラクルを備えた制約付き確率プログラムである。
我々は、CQDを古典的な速度歪みと情報ボトルネックの原理に結びつけ、スペクトルのハードスレッディングが自然な2次歪み問題に最適であることを示し、有界オラクル雑音と滑らか性仮定の下でのリーマン確率近似の収束保証を導出する。
実験的に, (A) CQDとチェーン・オブ・シント・ベースラインを比較した2500項目のコンテキスト推論スイート(BBH由来タスクとキュレートパラドックスインスタンス)と, (B)ヒトの「認知ミラー」ベンチマーク(N=200)を報告した。
関連論文リスト
- RI-Loss: A Learnable Residual-Informed Loss for Time Series Forecasting [13.117430904377905]
時系列予測は、過去のデータから将来の値を予測することに依存する。
MSEには2つの根本的な弱点がある:そのポイントワイドエラーは時間的関係を捉えるのに失敗し、データに固有のノイズを考慮しない。
我々は,Hilbert-Schmidt Independence Criterion(HSIC)に基づく新たな目的関数であるResidual-Informed Loss(RI-Loss)を紹介する。
論文 参考訳(メタデータ) (2025-11-13T09:36:00Z) - Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。
広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。
本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
論文 参考訳(メタデータ) (2025-04-10T07:50:03Z) - Semiparametric Double Reinforcement Learning with Applications to Long-Term Causal Inference [33.14076284663493]
短期的なデータから長期的な因果効果を推定しなければならない。
MDPはこのような長期的ダイナミクスを捉えるための自然なフレームワークを提供する。
非パラメトリックな実装は時間間重なりの強い仮定を必要とする。
アイソトニックベルマンキャリブレーションに基づく新しいプラグイン推定器を提案する。
論文 参考訳(メタデータ) (2025-01-12T20:35:28Z) - Non-Convex Robust Hypothesis Testing using Sinkhorn Uncertainty Sets [18.46110328123008]
非破壊仮説テスト問題に対処する新しい枠組みを提案する。
目標は、最大数値リスクを最小限に抑える最適な検出器を探すことである。
論文 参考訳(メタデータ) (2024-03-21T20:29:43Z) - Optimal Multi-Distribution Learning [88.3008613028333]
マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。
本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-12-08T16:06:29Z) - Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。
我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。
全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
論文 参考訳(メタデータ) (2023-06-29T01:20:44Z) - Large deviations rates for stochastic gradient descent with strongly
convex functions [11.247580943940916]
勾配降下を伴う一般高確率境界の研究のための公式な枠組みを提供する。
強い凸関数を持つSGDの上限となる大きな偏差が見つかる。
論文 参考訳(メタデータ) (2022-11-02T09:15:26Z) - Accelerated and instance-optimal policy evaluation with linear function
approximation [17.995515643150657]
既存のアルゴリズムはこれらの下界の少なくとも1つと一致しない。
我々は,両下界を同時に一致させる高速時間差分アルゴリズムを開発し,インスタンス最適性という強い概念を実現する。
論文 参考訳(メタデータ) (2021-12-24T17:21:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。