Fugu-MT 論文翻訳(概要): Query-Conditioned Test-Time Self-Training for Large Language Models

論文の概要: Query-Conditioned Test-Time Self-Training for Large Language Models

arxiv url: http://arxiv.org/abs/2605.13369v2
Date: Thu, 14 May 2026 02:40:02 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-15 15:19:49.922208
Title: Query-Conditioned Test-Time Self-Training for Large Language Models
Title（参考訳）: 大規模言語モデルに対する問合せ型テスト時間自己学習
Authors: Chaehee Song, Minseok Seo, Yeeun Seong, Doyi Kim, Changick Kim,
Abstract要約: 本稿では,入力クエリから直接のインスペクションを用いて,モデルパラメータを推論中に適応するフレームワークを提案する。 QueSTは、強いテスト時間最適化ベースラインを一貫して上回る。
参考スコア（独自算出の注目度）: 29.54233025095615
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) are typically deployed with fixed parameters, and their performance is often improved by allocating more computation at inference time. While such test-time scaling can be effective, it cannot correct model misconceptions or adapt the model to the specific structure of an individual query. Test-time optimization addresses this limitation by enabling parameter updates during inference, but existing approaches either rely on external data or optimize generic self-supervised objectives that lack query-specific alignment. In this work, we propose Query-Conditioned Test-Time Self-Training (QueST), a framework that adapts model parameters during inference using supervision derived directly from the input query. Our key insight is that the input query itself encodes latent signals sufficient for constructing structurally related problem--solution pairs. Based on this, QueST generates such query-conditioned pairs and uses them as supervision for parameter-efficient fine-tuning at test time. The adapted model is then used to produce the final answer, enabling query-specific adaptation without any external data. Across seven mathematical reasoning benchmarks and the GPQA-Diamond scientific reasoning benchmark, QueST consistently outperforms strong test-time optimization baselines. These results demonstrate that query-conditioned self-training is an effective and practical paradigm for test-time adaptation in LLMs. Code is available at https://chssong.github.io/Query-Conditioned-TTST/.
Abstract（参考訳）: 大規模言語モデル(LLM)は通常、固定パラメータでデプロイされる。このようなテスト時間のスケーリングは効果的だが、モデルの誤解を訂正したり、個々のクエリの特定の構造にモデルを適応することはできない。テスト時の最適化は、推論中にパラメータ更新を有効にすることでこの制限に対処するが、既存のアプローチは外部データに依存するか、クエリ固有のアライメントを欠く汎用的な自己管理目的を最適化する。本研究では,入力クエリから直接のインスペクションを用いて,推論中にモデルパラメータを適応させるフレームワークQueSTを提案する。我々の重要な洞察は、入力クエリ自体が構造的に関連する問題ペアを構築するのに十分な潜時信号を符号化していることである。これに基づいて、QueSTはそのようなクエリ条件付きペアを生成し、テスト時にパラメータ効率の良い微調整の監督として使用する。その後、適応モデルを使用して最終回答を生成し、外部データなしでクエリ固有の適応を可能にする。 7つの数学的推論ベンチマークとGPQA-ダイアモンド科学推論ベンチマークで、QueSTは強いテスト時間最適化ベースラインを一貫して上回っている。これらの結果から,クエリ条件付き自己学習はLLMにおけるテスト時間適応に有効かつ実用的なパラダイムであることが示唆された。コードはhttps://chsong.github.io/Query-Conditioned-TTST/で入手できる。

関連論文リスト

Query-efficient model evaluation using cached responses [0.2994962964425238]
データカーネル・パースペクティブ・スペース(DKPS)に基づくキャッシュモデル応答を利用したベンチマーク性能の予測手法を提案する。 DKPSに基づく手法は,クエリ予算を大幅に削減したベースラインと同じ平均絶対誤差を達成できることを実証する。提案手法は,参照モデルにおける適合度を最大化するクエリ群を選択するためのオフライン手法である。
論文参考訳（メタデータ） (2026-05-08T01:24:06Z)
Rewiring Experts on the Fly:Continuous Rerouting for Better Online Adaptation in Mixture-of-Expert models [52.502867924372275]
Mixture-of-Experts (MoE)モデルは、スパース専門家のアクティベーションを通じて効率的なスケーリングを実現するが、デプロイメントの分散シフトによる最適以下のルーティング決定に悩まされることが多い。我々は、外部の監視やデータなしで、テキスト生成中にMoEルーティング決定を継続的に適用するテキストタデータフリーオンラインテストタイムフレームワークを提案する。
論文参考訳（メタデータ） (2025-10-16T16:24:36Z)
Efficient Test-Time Scaling for Small Vision-Language Models [14.654047034885288]
小型ビジョンランゲージモデル (Small Vision-Language Models, VLM) は、より大きなモデルに対する計算的に効率的な代替手段を提供する。既存の手法は典型的には計算的に要求され、小さなモデルの資源効率の高い設計目標と矛盾する。外部監視よりもモデル内部の特徴を活用する新しい,効率的な2つのテストタイムスケーリング戦略を提案する。
論文参考訳（メタデータ） (2025-10-03T23:49:06Z)
TAPS : Frustratingly Simple Test Time Active Learning for VLMs [0.0]
テスト時間最適化により、モデルはパラメータをオンザフライで更新することで、推論中に新しいデータに適応できる。本研究では,不確実なサンプルを適応的にクエリし,動的に更新するテスト時アクティブラーニングフレームワークを提案する。我々のフレームワークは、自律システムや医療診断などの安全クリティカルなアプリケーションに現実世界を配置するための実用的で効果的なソリューションを提供する。
論文参考訳（メタデータ） (2025-07-26T18:04:49Z)
LLM-Symbolic Integration for Robust Temporal Tabular Reasoning [69.27153114778748]
本研究では,システムおよび制御された評価のための合成データセットであるTempTabQA-Cを紹介する。この構造化アプローチにより、LLM(Large Language Models)はsqlクエリの生成と実行を可能にし、一般化とバイアス軽減の強化を行う。
論文参考訳（メタデータ） (2025-06-06T05:14:04Z)
Sample, Don't Search: Rethinking Test-Time Alignment for Language Models [55.2480439325792]
新しいテストタイムアライメントアプローチであるQAlignを紹介します。テスト時間計算をスケールする際、QAlignは各プロンプトの最適配向分布からのサンプリングに収束する。マルコフ連鎖モンテカルロのテキスト生成における最近の進歩を取り入れることで、基礎となるモデルを変更したり、ロジットアクセスを必要とせずに、より良い整合出力を可能にする。
論文参考訳（メタデータ） (2025-04-04T00:41:40Z)
Effective Instruction Parsing Plugin for Complex Logical Query Answering on Knowledge Graphs [51.33342412699939]
知識グラフクエリ埋め込み(KGQE)は、不完全なKGに対する複雑な推論のために、低次元KG空間に一階論理(FOL)クエリを埋め込むことを目的としている。近年の研究では、FOLクエリの論理的セマンティクスをよりよく捉えるために、さまざまな外部情報(エンティティタイプや関係コンテキストなど)を統合している。コードのようなクエリ命令から遅延クエリパターンをキャプチャする効果的なクエリ命令解析(QIPP)を提案する。
論文参考訳（メタデータ） (2024-10-27T03:18:52Z)
Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
論文参考訳（メタデータ） (2024-05-25T08:23:05Z)
Kepler: Robust Learning for Faster Parametric Query Optimization [5.6119420695093245]
パラメトリッククエリ最適化のためのエンドツーエンドの学習ベースアプローチを提案する。 Keplerは、複数のデータセット上でのクエリランタイムの大幅な改善を実現している。
論文参考訳（メタデータ） (2023-06-11T22:39:28Z)
HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文参考訳（メタデータ） (2022-06-15T19:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。