論文の概要: Submodular Context Partitioning and Compression for In-Context Learning

• arxiv url: http://arxiv.org/abs/2510.05130v2
• Date: Thu, 09 Oct 2025 00:17:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 12:56:53.557156
• Title: Submodular Context Partitioning and Compression for In-Context Learning
• Title（参考訳）: インテクスト学習のための部分モジュラ・コンテキスト分割と圧縮
• Authors: Shaoyi Zheng, Canyu Zhang, Tianyi Zhou, Shengjie Wang,
• Abstract要約: Sub-CPは、大規模言語モデルのためのブロック対応コンテキスト選択フレームワークである。 選択戦略のフレキシブルなスペクトルをサポートしており、各ブロックは世界規模で多様なものから局所的なコヒーレントまで様々である。 実験の結果、Sub-CPはモデルスケールで継続的に性能を改善している。
• 参考スコア（独自算出の注目度）: 23.18825768870575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) enables efficient few-shot learning in large language models (LLMs) without training, but suffers from the quadratic input complexity of transformers, limiting the maximum number of exemplars. While various efficient ICL approaches partition the context into blocks to process (e.g., ensembling, compression, cross-attention), they often ignore the information redundancy or under-representation caused by different partition strategies, leading to suboptimal performance. To tackle this problem, we propose Sub-CP, a block-aware context selection framework that leverages submodular objectives to control block diversity. Sub-CP supports a flexible spectrum of selection strategies, allowing each block to range from globally diverse to locally coherent. This allows fine-grained control over semantic structure while enabling precomputation. Extensive experiments across diverse tasks on multiple datasets show that Sub-CP consistently improves performance across model scales.
• Abstract（参考訳）: In-context Learning (ICL) は、大規模な言語モデル(LLM)の学習を訓練せずに効率的に行うことができるが、変換器の2次入力の複雑さに悩まされ、例の最大数が制限される。 様々な効率的なICLアプローチは、コンテキストを処理対象のブロックに分割するが(例えば、エンハンブル、圧縮、クロスアテンション)、異なるパーティション戦略によって引き起こされる情報の冗長性や表現不足を無視し、最適以下のパフォーマンスをもたらす。 この問題に対処するために,サブモジュールの目的を利用してブロックの多様性を制御するブロック対応コンテキスト選択フレームワークであるSub-CPを提案する。 Sub-CPはフレキシブルな選択戦略をサポートしており、各ブロックは世界規模で多様なものから局所的なコヒーレントまで様々である。 これにより、事前計算を有効にしながらセマンティック構造をきめ細かな制御が可能となる。 複数のデータセット上の多様なタスクにわたる大規模な実験は、Sub-CPがモデルスケール全体のパフォーマンスを一貫して改善していることを示している。

関連論文リスト

• ContextNav: Towards Agentic Multimodal In-Context Learning [85.05420047017513]
  ContextNavは、自動検索のスケーラビリティと人間のようなキュレーションの品質と適応性を統合するエージェントフレームワークである。 リソースを意識したマルチモーダル埋め込みパイプラインを構築し、検索可能なベクトルデータベースを維持し、エージェント検索と構造アライメントを適用して、ノイズ耐性のあるコンテキストを構築する。 実験の結果、ContextNavはさまざまなデータセットで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-10-06T07:49:52Z)
• STARE at the Structure: Steering ICL Exemplar Selection with Structural Alignment [24.80531387685099]
  本稿では,効率,一般化性,性能のバランスを保った2段階の模範選択戦略を提案する。 まず、BERTベースのレトリバーを構造意識の監視を用いて微調整し、意味論的に関連性があり構造的に整合した模範を選定する。 次に,隠れ表現において構文的に意味のある情報を増幅するプラグインモジュールを用いて,検索機能を強化した。
  論文  参考訳（メタデータ） (2025-08-28T16:04:39Z)
• Training-Free Class Purification for Open-Vocabulary Semantic Segmentation [72.87707878910896]
  FreeCPは、セマンティックセグメンテーションのためのトレーニング不要のクラス浄化フレームワークである。 我々は,FreeCPの有効性を検証するため,8つのベンチマークで実験を行った。 その結果、プラグイン・アンド・プレイモジュールであるFreeCPは、他のOVSSメソッドと組み合わせることでセグメンテーション性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2025-08-01T11:55:12Z)
• Words Matter: Leveraging Individual Text Embeddings for Code Generation in CLIP Test-Time Adaptation [21.20806568508201]
  テスト時推論において視覚言語モデル(VLM)が遭遇する分布ドリフトを軽減するために,クラステキスト情報を活用する方法を示す。 本稿では,ラベル割り当て問題の固定セントロイドとしてジェネリッククラステキスト埋め込みを利用して,テスト時間サンプルの擬似ラベルを生成することを提案する。 多様な複雑性を示す複数の人気のあるテスト時間適応ベンチマークの実験は、CLIP-OTの優位性を実証的に示している。
  論文  参考訳（メタデータ） (2024-11-26T00:15:37Z)
• Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
  大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。 近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。 完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
  論文  参考訳（メタデータ） (2024-11-21T04:23:17Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• Revisiting Offline Compression: Going Beyond Factorization-based Methods for Transformer Language Models [7.542276054279341]
  トランスフォーマー言語モデルは、多くの自然言語処理(NLP)タスクにおいて卓越した結果を達成する。 その巨大なサイズは、しばしばメモリ制限されたデバイスを非現実的にし、実践者はそれをより小さなネットワークに圧縮する必要がある。 本稿では,圧縮モデルをさらに微調整する必要のないオフライン圧縮手法について検討する。
  論文  参考訳（メタデータ） (2023-02-08T13:36:06Z)
• Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
  本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。 BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
  論文  参考訳（メタデータ） (2022-08-22T09:07:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。