論文の概要: Emergence of Context Characteristics Sensitivity in Large Language Models

• arxiv url: http://arxiv.org/abs/2606.09525v1
• Date: Mon, 08 Jun 2026 14:11:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:07.179427
• Title: Emergence of Context Characteristics Sensitivity in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける文脈特性感の出現
• Authors: Nadya Yuki Wangsajaya, Haeun Yu, Isabelle Augenstein,
• Abstract要約: 本研究では、連続的な命令微調整段階において、モデルが文脈特性に対する感度がどのように変化するかを検討する。 実験により、SFTはモデルに理解しやすいコンテキストをより使いやすくすることを示している。 以上の結果から,IFTの各段階において文脈使用法が積極的に再形成されていることが明らかとなった。
• 参考スコア（独自算出の注目度）: 34.75303234486382
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: During instruction fine-tuning (IFT), large language models (LLMs) learn to follow instructions by using the provided context to answer a query. While prior work has studied how context characteristics correlate with context usage by the LLM, this analysis has been limited to inference time, leaving open how these relationships are acquired in the first place. Here, we measure how models' sensitivity to such characteristics shifts across successive IFT stages: supervised fine-tuning (SFT), direct preference optimization (DPO), and reinforcement learning with verifiable rewards (RLVR). Experiments across four models and three datasets show that SFT makes models more likely to use contexts that are easy to understand, such as containing high length, context-query similarity, and fluency. Post-SFT dynamics may either reinforce or resolve these preferences depending on the training dataset. Our findings reveal that context usage is actively reshaped at each IFT stage, and designing a balanced IFT dataset is important in ensuring robust context utilization of instruction-tuned models.
• Abstract（参考訳）: 命令微調整(IFT)の間、大きな言語モデル(LLM)は、与えられたコンテキストを使用してクエリに応答することで命令に従うことを学習する。 従来の研究は、文脈特性とLLMの文脈利用との関連性について研究してきたが、この分析は推論時間に限られており、これらの関係がそもそもどのように獲得されるかは明らかにされていない。 本稿では,これらの特徴に対するモデルの感度が,教師付き微調整(SFT),直接選好最適化(DPO),検証可能な報奨(RLVR)による強化学習(RLVR)の各段階にわたってどのように変化するかを測定する。 4つのモデルと3つのデータセットにわたる実験により、SFTは、高い長さ、コンテキスト-クエリの類似性、流布など、理解しやすいコンテキストをモデルがより使いやすくすることを示している。 SFT後のダイナミクスは、トレーニングデータセットに応じて、これらの好みを強化または解決する可能性がある。 この結果から,IFTの各段階でコンテキスト利用は積極的に再形成され,バランスの取れたIFTデータセットを設計することは,命令調整モデルにおけるコンテキスト利用の堅牢性を確保する上で重要であることがわかった。

関連論文リスト

• VIP-COP: Context Optimization for Tabular Foundation Models [23.854424850102273]
  VIP-COPは、トレーニング例の予測における重要度の価値と、TFMのハードコンテキスト最適化の特徴を推定する。 その明示的な選択メカニズムはノイズを抑制し、影響力のあるデータを分離する。 VIP-COP は (i) 高速で、最適化の数分以内に性能を向上する; (ii) 予算に気付き、いつでも、追加のテスト時間計算で改善する; (iii) モデルに気付き、完全にブラックボックスで、モデル内部へのアクセスを必要としない; (iv) 解釈可能で、離散的な重要な予測者の(サンプル)を識別する。
  論文  参考訳（メタデータ） (2026-05-13T02:28:31Z)
• Context-level Language Modeling by Learning Predictive Context Embeddings [79.00607069677393]
  textbfContextLMは、固有のtextbfnext-context予測目標で標準事前学習を強化するフレームワークである。 このメカニズムは、将来のトークンチャンクから派生したエラー信号を利用して、マルチトークンコンテキストの予測表現を学ぶようモデルを訓練する。 GPT2およびPythiaモデルファミリーの実験では、1.5ドルBのパラメータまでスケールし、ContextLMがパープレキシティとダウンストリームのタスクパフォーマンスの両方で一貫した改善を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-23T07:09:45Z)
• Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
  時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。 微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。 モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T07:07:13Z)
• Preference-Oriented Supervised Fine-Tuning: Favoring Target Model Over Aligned Large Language Models [12.500777267361102]
  我々は,新しいtextbfpreference-textbforiented 教師付き textbffine-textbftuning アプローチ,すなわち PoFT を導入する。 直感的には、SFTを特定の嗜好を与えることによって強化することであり、同じSFTデータ上で、整列 LLM 上でターゲットモデルをテキストフォバリングする。 PoFTは、さまざまなトレーニングデータセットとベースモデルにわたるSFTベースラインに対して、安定的で一貫した改善を実現している。
  論文  参考訳（メタデータ） (2024-12-17T12:49:14Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• SFTMix: Elevating Language Model Instruction Tuning with Mixup Recipe [36.74756622715754]
  大型言語モデル (LLM) は命令追従能力を得るために命令チューニングを行う。 命令チューニングを改善する努力は、しばしば高品質な教師付き微調整データセットに焦点を当てる。 SFTMixは、よく計算されたデータセットに頼らずにLLM命令のチューニングを向上する新しいMixベースのレシピである。
  論文  参考訳（メタデータ） (2024-10-07T17:52:21Z)
• Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
  我々は、教師付き微調整(SFT)の一般的な方法論を含む、文献の体系的なレビューを行う。 また、既存の戦略の欠陥を指摘しながら、SFTの潜在的な落とし穴についても、それに対する批判とともに検討する。
  論文  参考訳（メタデータ） (2023-08-21T15:35:16Z)
• Temporal Knowledge Graph Forecasting Without Knowledge Using In-Context Learning [23.971206470486468]
  本稿では,関連する歴史的事実をプロンプトに変換し,トークン確率を用いてランキング予測を生成する枠組みを提案する。 驚いたことに、LLMは最先端のTKGモデルと同等に動作している。 また,エンティティ/リレーション名の代わりに数値指標を用いると,性能に悪影響を及ぼさないことも判明した。
  論文  参考訳（メタデータ） (2023-05-17T23:50:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。