論文の概要: Entropic Context Shaping: Information-Theoretic Filtering for Context-Aware LLM Agents

• arxiv url: http://arxiv.org/abs/2601.11585v1
• Date: Thu, 01 Jan 2026 19:43:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-25 16:54:51.774495
• Title: Entropic Context Shaping: Information-Theoretic Filtering for Context-Aware LLM Agents
• Title（参考訳）: エントロピックコンテキスト整形:文脈対応LLMエージェントのための情報理論フィルタリング
• Authors: Hyunjun Kim,
• Abstract要約: 本稿では,コンテキストユーティリティを測定する情報理論フレームワークであるEntropic Context Shaping (ECS)を紹介する。 ECSは実用的なユーティリティーをキャプチャします。 我々はLongMemEvalとLoCoMoベンチマークを用いて,マルチターンコンテキスト選択タスクの評価を行った。
• 参考スコア（独自算出の注目度）: 12.969042037563971
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Context engineering for large language model (LLM) agents requires distinguishing pragmatically useful information from misleading distractors. We introduce Entropic Context Shaping (ECS), an information-theoretic framework that measures context utility via the shift in the model's answer distribution toward the correct answer. Unlike lexical similarity methods that rely on word overlap, ECS captures pragmatic utility -- whether a passage actually helps answer the question. We formalize utility as the signed change in answer probability and provide theoretical analysis showing that task-irrelevant updates yield near-zero distribution shift. We evaluate on multi-turn context selection tasks using LongMemEval (session-level) and LoCoMo (turn-level) benchmarks. On fine-grained turn selection, ECS with Llama-3.1-8B achieves F1=0.265, a 71.83% relative improvement over TF-IDF (F1=0.154), demonstrating that pragmatic utility outperforms lexical similarity when precise context selection matters. Code and data are available in the supplementary materials.
• Abstract（参考訳）: 大規模言語モデル (LLM) エージェントのコンテキストエンジニアリングには、現実的に有用な情報を誤解を招く要因から区別する必要がある。 本稿では,モデル解答分布の正解へのシフトを通じてコンテキストユーティリティを測定する情報理論フレームワークであるEntropic Context Shaping (ECS)を紹介する。 単語重複に依存する語彙的類似性メソッドとは異なり、ECSは実用的なユーティリティーをキャプチャする。 解答確率の符号付き変化としてユーティリティを定式化し、タスク非関連更新がほぼゼロの分布シフトをもたらすことを示す理論的解析を提供する。 我々は,LongMemEval(セッションレベル)とLoCoMo(ターンレベル)のベンチマークを用いて,マルチターンコンテキスト選択タスクを評価する。 Llama-3.1-8BのECSは、TF-IDF(F1=0.154)よりも71.83%向上したF1=0.265を達成する。 コードとデータは補足資料で利用可能である。

関連論文リスト

• Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation [52.3707788779464]
  我々は、コンテキストに対する属性応答(ARC-JSD)のための新しいJensen-Shannon Divergence駆動方式を提案する。 ARC-JSDは、追加の微調整、勾配計算、サロゲートモデリングなしで、重要な文脈文の効率的かつ正確な識別を可能にする。 TyDi QA, Hotpot QA, Musique など,様々なスケールの命令調整 LLM を用いたRAG ベンチマークの評価により,精度が向上し,計算効率が向上した。
  論文  参考訳（メタデータ） (2025-05-22T09:04:03Z)
• Exploring the Role of Diversity in Example Selection for In-Context Learning [15.124618479338686]
  In-Context Learning (ICL) は、広範囲なトレーニングデータを必要とすることなくタスクを実行する能力と、ノイズの多いラベルに対する堅牢性によって、注目を集めている。 類似性に基づいた選択にのみ依存すると、検索されたコンテキストにトピックのバイアスが発生する可能性がある。 トピックの多様性を高めるために検索したコンテキストを再配置することは、ダウンストリームタスクのパフォーマンスを向上させることができると仮定する。
  論文  参考訳（メタデータ） (2025-05-03T15:13:58Z)
• Learning Task Representations from In-Context Learning [67.66042137487287]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な習熟性を示した。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法は,テキスト中の実演からタスク固有の情報を抽出し,テキストと回帰タスクの両方で優れる。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Context-DPO: Aligning Language Models for Context-Faithfulness [80.62221491884353]
  本研究では,大規模言語モデルの文脈信頼度を高めるためのアライメント手法を提案する。 ConFiQAから提供されたコンテキストの質問に対する忠実で頑健な応答を活用することで、Context-DPOは直接の選好最適化を通じてLLMを調整します。 大規模な実験により、私たちのContext-DPOは、一般的なオープンソースモデルで35%から280%の改善を達成し、コンテキスト忠実性を大幅に改善します。
  論文  参考訳（メタデータ） (2024-12-18T04:08:18Z)
• Vocabulary-Defined Semantics: Latent Space Clustering for Improving In-Context Learning [32.178931149612644]
  コンテキスト内学習により、言語モデルは下流のデータに適応したり、プロンプト内のデモとして少数のサンプルでタスクを組み込むことができる。 しかし、文脈内学習のパフォーマンスは、実演の質、形式、順序によって不安定である可能性がある。 語彙定義意味論(vocabulary-defined semantics)を提案する。
  論文  参考訳（メタデータ） (2024-01-29T14:29:48Z)
• Learning to Filter Context for Retrieval-Augmented Generation [75.18946584853316]
  生成モデルは、部分的にまたは完全に無関係な経路が与えられた出力を生成するために要求される。 FILCOは、語彙と情報理論のアプローチに基づいて有用なコンテキストを特定する。 テスト時に検索したコンテキストをフィルタリングできるコンテキストフィルタリングモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-14T18:41:54Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。