論文の概要: An Information Theoretic Perspective on Agentic System Design

• arxiv url: http://arxiv.org/abs/2512.21720v1
• Date: Thu, 25 Dec 2025 15:45:31 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-29 11:53:23.565365
• Title: An Information Theoretic Perspective on Agentic System Design
• Title（参考訳）: エージェントシステム設計における情報理論の視点
• Authors: Shizhe He, Avanika Narayan, Ishan S. Khare, Scott W. Linderman, Christopher Ré, Dan Biderman,
• Abstract要約: 小さな「圧縮器」LMは生のコンテキストをコンパクトテキストに蒸留し、より大きな「予測器」LMによって消費される。 その人気にもかかわらず、圧縮機・予測装置の設計はいまだ大半がアドホックである。 我々は、特定のタスクによらず、相互情報が下流のパフォーマンスを強く予測することを示す。
• 参考スコア（独自算出の注目度）: 40.402567029445045
• License:
• Abstract: Agentic language model (LM) systems power modern applications like "Deep Research" and "Claude Code," and leverage multi-LM architectures to overcome context limitations. Beneath their apparent diversity lies a recurring pattern: smaller "compressor" LMs (that can even run locally) distill raw context into compact text that is then consumed by larger "predictor" LMs. Despite their popularity, the design of compressor-predictor systems remains largely ad hoc, with little guidance on how compressor and predictor choices shape downstream performance. In practice, attributing gains to compression versus prediction requires costly, task-specific pairwise sweeps. We argue that these agentic system design questions are, at root, information-theoretic. Viewing the compressor LM as a noisy channel, we introduce a simple estimator of mutual information between the context and its compression to quantify compression quality in a task-independent way. We show that mutual information strongly predicts downstream performance, independent of any specific task. Through an information-theoretic framework, we perform a comprehensive empirical analysis across five datasets and three model families. Results reveal that larger compressors not only are more accurate, but also more token-efficient, conveying more bits of information per token. A 7B Qwen-2.5 compressor, for instance, is $1.6\times$ more accurate, $4.6\times$ more concise, and conveys $5.5\times$ more bits of mutual information per token than its 1.5B sibling. Across datasets, scaling compressors is substantially more effective than scaling predictors, enabling larger on-device compressors to pair with smaller cloud predictors. Applied to a Deep Research system, these principles enable local compressors as small as 3B parameters to recover $99\%$ of frontier-LM accuracy at $26\%$ of API costs.
• Abstract（参考訳）: エージェント言語モデル(LM)システムは、"Deep Research"や"Claude Code"のようなモダンなアプリケーションに電力を供給し、コンテキスト制限を克服するためにマルチLMアーキテクチャを活用する。 より小さな「圧縮器」LM(ローカルでも実行できる)は生のコンテキストをコンパクトなテキストに蒸留し、より大きな「予測器」LMが消費する。 その人気にもかかわらず、圧縮機と予測器の選択が下流の性能をどのように形成するかについてのガイダンスは乏しいが、圧縮機と予測器の設計はいまだに大半が苦手である。 実際には、圧縮と予測に利益をもたらすには、コストがかかるタスク固有のペアワイズが必要です。 エージェントシステム設計の疑問は、根本から情報理論である、と我々は主張する。 圧縮機LMをノイズのあるチャネルと見なして、コンテキストと圧縮の間の相互情報の簡易な推定器を導入し、タスクに依存しない方法で圧縮品質を定量化する。 我々は、特定のタスクによらず、相互情報が下流のパフォーマンスを強く予測することを示す。 情報理論の枠組みにより、5つのデータセットと3つのモデルファミリーにわたる包括的経験分析を行う。 その結果、より大きな圧縮機はより正確であるだけでなく、トークン効率も向上し、トークンごとにより多くの情報を運ぶことがわかった。 例えば、7B Qwen-2.5圧縮機は1.6\times$より正確で4.6\times$より簡潔で、5.5\times$トークン当たりの相互情報を1.5B兄弟より多く伝達する。 データセット全体にわたって、圧縮機のスケーリングは予測器のスケーリングよりも実質的に効果的であり、より大きなデバイス上の圧縮機がより小さなクラウド予測器と組み合わせることができる。 Deep Researchシステムに適用されたこれらの原則により、ローカル圧縮機を3Bパラメータまで小さくして、フロンティア・LMの精度を26セントのAPIコストで回収することができる。

関連論文リスト

• Cmprsr: Abstractive Token-Level Question-Agnostic Prompt Compressor [36.57824786347272]
  LLM-as-a-compressorベンチマークは25のオープンソースモデルとクローズドソースモデルにまたがる。 我々は,テキストグラデーションに基づく圧縮メタプロンプト最適化により,最高のバニラ圧縮器の性能を向上させる。 得られたモデルをCmprsrと呼び、抽出圧縮とバニラ抽象圧縮の両方よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-11-15T16:28:03Z)
• Compressing Many-Shots in In-Context Learning [61.231471139896506]
  マルチショットプロンプトを圧縮することにより,ICL推論のメモリと計算効率を向上させる手法を提案する。 まず,既存のプロンプト圧縮手法がマルチショット圧縮には有効でないことを示す。 本稿では,レイヤワイド圧縮手法であるMemComを提案する。
  論文  参考訳（メタデータ） (2025-10-17T16:57:42Z)
• PMKLC: Parallel Multi-Knowledge Learning-based Lossless Compression for Large-Scale Genomics Database [9.687284031748792]
  提案するアンダーライン型アンダーラインKnowledgeアンダーラインラーニングベースアンダーライン圧縮機 (PMKLC) は4つの重要な設計である。 PMKLC-S/Mと14のベースラインを、異なる種とデータサイズを持つ15の現実世界データセットでベンチマークする。 PMKLC-S/Mは平均圧縮比を73.609%、73.480%に改善し、平均スループットを3.036に改善した。
  論文  参考訳（メタデータ） (2025-07-17T05:46:08Z)
• Exploring Microstructural Dynamics in Cryptocurrency Limit Order Books: Better Inputs Matter More Than Stacking Another Hidden Layer [9.2463347238923]
  ニューラルネットワークに余分な隠蔽層やパラメータを追加することで、短期的な価格予測が真に向上するかどうかを検討することを目的としている。 我々は,BTC/USDT LOBスナップショットを100ミリ秒から複数秒間隔で公開して,解釈可能なベースライン,ロジスティック回帰,XGBoostからディープアーキテクチャ(DeepLOB,Conv1D+LSTM)まで,モデルをベンチマークする。
  論文  参考訳（メタデータ） (2025-06-06T05:43:30Z)
• Efficient Token Compression for Vision Transformer with Spatial Information Preserved [59.79302182800274]
  トーケン圧縮は、トランスモデルの計算およびメモリ要求の低減に不可欠である。 本稿では,Prune と Merge という,効率的なハードウェア互換のトークン圧縮手法を提案する。
  論文  参考訳（メタデータ） (2025-03-30T14:23:18Z)
• L3TC: Leveraging RWKV for Learned Lossless Low-Complexity Text Compression [23.179381396167084]
  我々はLearned Lossless Low-complexity Text Compression Method (L3TC)を紹介する。 RWKVモデルは、適度な圧縮比で高速な復号速度を達成する。 本稿では,頻繁なトークンをカバーするために,限定語彙を用いた外部認識トークン化手法を提案する。
  論文  参考訳（メタデータ） (2024-12-21T14:24:32Z)
• Compression via Pre-trained Transformers: A Study on Byte-Level Multimodal Data [8.475091996107741]
  我々は、事前学習したトランスフォーマーが競合圧縮比を達成できるスイートスポットを見つけるために、大規模な研究を行う。 比較的小さなパラメータは、標準的な汎用圧縮アルゴリズムより優れていることが判明した。 たとえ小さなモデルであっても、複数のモダリティでうまく機能するように訓練できるが、大規模な基礎モデルとは異なり、目に見えないモダリティへの移動は一般的に弱い。
  論文  参考訳（メタデータ） (2024-10-07T14:32:03Z)
• A Survey on Transformer Compression [84.18094368700379]
  自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たす モデル圧縮法は、Transformerのメモリと計算コストを削減する。 この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:16:28Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。