論文の概要: Harness Learning Enables Generalizable Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2609.35738v1
• Date: Mon, 28 Sep 2026 17:52:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 19:18:25.38706
• Title: Harness Learning Enables Generalizable Test-Time Adaptation
• Title（参考訳）: Harness Learningは、一般的なテスト時間適応を可能にする
• Abstract要約: 本稿では,提案手法を学習し,提案手法を学習し,提案手法を改良するハーネス学習を提案する。 我々は、改良されたハーネスのタスクパフォーマンスを報奨として、強化学習で提案者を訓練する。 推論とマルチホップ質問応答の実験は、学習の活用によってリビジョン品質が向上し、テストタイムで適応する能力が見当たらないタスクに適応することを示した。
• 参考スコア（独自算出の注目度）: 75.12882372844764
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A language-model agent is jointly defined by its model and its harness, the executable program that organizes model calls, tool use, and information flow. Because different tasks call for different ways of organizing these operations, the harness needs to be adapted using feedback from the task at hand. We introduce harness learning, which trains a proposer model to revise a solver's harness using execution feedback. We formulate this process as meta-learning over executable programs, with harness revisions playing the role of weight updates in gradient-based adaptation. We train the proposer with reinforcement learning, using the task performance of revised harnesses as the reward. At test time, the proposer uses feedback from successive executions on a new task to refine the harness, without performing any parameter-space update. Experiments on reasoning and multi-hop question answering show that harness learning improves revision quality and that the ability to adapt at test time transfers to unseen tasks. Policies trained on individual revisions can continue improving harnesses over multiple rounds, while the benefits of training on revision sequences vary across settings. These findings suggest a path towards continually learning agents that turn accumulated experience into generalizable improvements.
• Abstract（参考訳）: 言語モデルエージェントは、モデル呼び出し、ツールの使用、情報フローを整理する実行可能なプログラムである、そのモデルとハーネスによって共同で定義される。 異なるタスクは、これらの操作を組織するさまざまな方法を要求するので、ハーネスは、手元にあるタスクからのフィードバックを使って適応する必要があります。 本稿では,提案手法を学習し,提案手法を学習し,提案手法を改良するハーネス学習を提案する。 我々は,この過程をプログラムのメタラーニングとして定式化し,勾配適応における重み更新の役割を生かした。 我々は、改良されたハーネスのタスクパフォーマンスを報奨として、強化学習で提案者を訓練する。 テスト時に提案者は、パラメータ空間更新を実行せずに、新しいタスクで連続した実行からのフィードバックを使用してハーネスを洗練する。 推論とマルチホップ質問応答の実験は、学習の活用によってリビジョン品質が向上し、テストタイムで適応する能力が見当たらないタスクに適応することを示した。 個々のリビジョンでトレーニングされたポリシーは、複数のラウンドでハーネスを改善し続けることができるが、リビジョンシーケンスでのトレーニングの利点は設定によって異なる。 これらの知見は、蓄積した経験を一般化可能な改善に転換する継続的学習エージェントへの道のりを示唆している。

関連論文リスト

• Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
  本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。 $textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
  論文  参考訳（メタデータ） (2026-08-20T15:24:54Z)
• Harness Continual Learning: Continual Adaptation Beyond Model Parameters [9.54786133734043]
  我々は、凍結基盤モデルを中心にハーネスが進化する新しい連続学習パラダイムを定式化する。 候補者は、現在の改善、履歴保持、有効性を確認した後にのみハーネスをコミットする。 実験では、複数の設定で対応するベースラインに対して、相対的なゲインが10%を超える能力の蓄積と障害回復が示されている。
  論文  参考訳（メタデータ） (2026-08-19T15:12:31Z)
• Towards Adapting Reinforcement Learning Agents to New Tasks: Insights from Q-Values [8.694989771294013]
  ポリシー勾配メソッドは、サンプル効率のよい方法でそれらを活用する方法に悩まされる限り、多くのドメインで有用です。 我々は、強化学習におけるDQNのカオス的な性質を探求し、トレーニング時に保持する情報を、異なるタスクにモデルを適用するためにどのように再利用するかを理解した。
  論文  参考訳（メタデータ） (2024-07-14T21:28:27Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• Learning to Modulate pre-trained Models in RL [22.812215561012874]
  訓練済みモデルの微調整は、しばしば破滅的な忘れ込みに悩まされる。 本研究は、ほとんどの微調整アプローチにおいて、事前学習タスクのパフォーマンスが著しく低下していることを示す。 凍結事前学習モデルの情報フローを変調することにより,学習スキルの劣化を回避する新しい手法L2Mを提案する。
  論文  参考訳（メタデータ） (2023-06-26T17:53:05Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• TAG: Task-based Accumulated Gradients for Lifelong learning [21.779858050277475]
  タスク間の関連性に基づいて学習率を適応させるタスク認識システムを提案する。 提案する適応学習率は, 破滅的な記憶の喪失だけでなく, 正の後方移動にも寄与することを示した。
  論文  参考訳（メタデータ） (2021-05-11T16:10:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。