論文の概要: A Reality Check of Inference-Time Context Augmentation Methods

• arxiv url: http://arxiv.org/abs/2610.30983v1
• Date: Thu, 22 Oct 2026 09:31:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.303297
• Title: A Reality Check of Inference-Time Context Augmentation Methods
• Title（参考訳）: 推論時間拡張手法の現実的検証
• Abstract要約: 方法は入力を変更することでモデル性能を改善することを目的としている。 挿入された内容がどの程度情報的であるかが異なる5つの手法にまたがる評価フレームワークを提案する。 精度の向上は必ずしも真の改善ではなく、間接的な摂動であることがわかった。
• 参考スコア（独自算出の注目度）: 37.10395187939799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often fail to utilise the context given in the input, resulting in hallucinations or a fallback to parametric knowledge. Context augmentation methods aim to improve model performance by modifying the input, from inserting filler tokens that add computational time to adding relevant content such as elaboration of a context during inference. However, these methods have been evaluated in isolation and only by their performance gains, leaving it unclear how they compare and whether they reliably improve performance. In this paper, we present an evaluation framework spanning five methods that differ in how informative the inserted content is and apply them at the sentence level across seven models spanning multiple sizes on three datasets. We find that accuracy gains are not always genuine improvements but undirected perturbations: the methods correct some predictions while breaking others, particularly when the inserted text allows only for more computational time. Our analysis reveals that methods that bring no additional content primarily change model predictions near the decision boundary. Our findings highlight the need to evaluate the reliability of the accuracy gains before adopting them in practice.
• Abstract（参考訳）: 大型言語モデル(LLM)は、しばしば入力で与えられたコンテキストを利用できないため、幻覚やパラメトリック知識へのフォールバックをもたらす。 コンテキスト拡張手法は、入力を変更することで、計算時間を追加するフィラートークンを挿入することから、推論中にコンテキストのエラボレーションのような関連するコンテンツを追加することまで、モデルパフォーマンスを改善することを目的としている。 しかし、これらの手法は単独で評価され、性能向上によってのみ評価されており、どのように比較され、性能が確実に改善されるかは明らかでない。 本稿では,挿入された内容がいかに情報的であるかが異なる5つの手法にまたがる評価フレームワークを提案し,これらを3つのデータセット上で複数のサイズにまたがる7つのモデルにまたがる文レベルで適用する。 精度向上は必ずしも真の改善ではなく、間接的な摂動であり、特に挿入されたテキストがより多くの計算時間しか許さない場合、メソッドが他のテキストを破りながら予測を補正する。 分析の結果,追加コンテンツを持ち込まない手法は決定境界付近で主にモデル予測を変化させることがわかった。 以上の結果から,実際に採用する前に精度向上の信頼性を評価する必要性が示唆された。

関連論文リスト

• LLM Microscope: What Model Internals Reveal About Answer Correctness and Context Utilization [9.410181019585822]
  我々は、モデル出力の正しさを予測できるかどうかを確認するために、解釈可能性法を運用する。 私たちは正しい、間違った、無関係なコンテキストを考え、それらを区別するためのメトリクスを導入します。 モデル内部のメトリクスは、正しいコンテキストと不正確なコンテキストを区別する基準線を著しく上回る。
  論文  参考訳（メタデータ） (2025-10-05T03:14:05Z)
• When Does Metadata Conditioning (NOT) Work for Language Model Pre-Training? A Study with Context-Free Grammars [34.80529788630565]
  潜在意味論は、言語モデルのパフォーマンスを決定する重要な特性の1つです。 この機能を呼び出すための便利なアプローチの1つは、事前トレーニングデータのテキストの開始時にメタデータをプリペンドすることである。 メタデータを用いたトレーニングは、与えられたコンテキストが遅延セマンティクスを推測するのに十分な時間である場合に、モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-04-24T13:56:43Z)
• Revisiting text decomposition methods for NLI-based factuality scoring of summaries [9.044665059626958]
  細粒度分解が必ずしも事実性スコアの勝利戦略であるとは限らないことを示す。 また,従来提案されていたエンテーメントに基づくスコアリング手法の小さな変更により,性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-11-30T09:54:37Z)
• FineDiving: A Fine-grained Dataset for Procedure-aware Action Quality Assessment [93.09267863425492]
  競争力のあるスポーツビデオにおける行動の高レベル意味論と内部時間構造の両方を理解することが、予測を正確かつ解釈可能なものにする鍵である、と我々は主張する。 本研究では,多様なダイビングイベントに対して,アクションプロシージャに関する詳細なアノテーションを付加した,ファインディビングと呼ばれる詳細なデータセットを構築した。
  論文  参考訳（メタデータ） (2022-04-07T17:59:32Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)
• How Context Affects Language Models' Factual Predictions [134.29166998377187]
  検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。 この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
  論文  参考訳（メタデータ） (2020-05-10T09:28:12Z)
• Selecting Informative Contexts Improves Language Model Finetuning [66.26521454263343]
  本稿では,情報ゲインフィルタと呼ぶ汎用的な微調整手法を提案する。 微調整中、二次学習者は情報的例を選択し、非情報的例をスキップする。 提案手法は,データセット,微調整タスク,言語モデルアーキテクチャ間で一貫した改善がなされていることを示す。
  論文  参考訳（メタデータ） (2020-05-01T02:01:18Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)
• On the consistency of supervised learning with missing values [15.666860186278782]
  多くのアプリケーション設定において、データは分析を難しくするエントリを欠いている。 ここでは、教師あり学習の設定について考察する。トレーニングデータとテストデータの両方に、欠落した値が現れるときにターゲットを予測する。 本研究では,学習前の平均値など,一定値が得られない場合に一定であることを示す。
  論文  参考訳（メタデータ） (2019-02-19T07:27:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。