論文の概要: Representation-Aligned Auxiliary Supervision for Language Model Adaptation

• arxiv url: http://arxiv.org/abs/2610.04098v1
• Date: Fri, 02 Oct 2026 22:04:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 20:12:18.835957
• Title: Representation-Aligned Auxiliary Supervision for Language Model Adaptation
• Title（参考訳）: 言語モデル適応のための表現対応補助的スーパービジョン
• Abstract要約: チェスにおいて、モデルが構造化されたタスクの表現を処理する程度である表現の互換性について検討する。 本稿では,環境依存型タスクを適合表現で表現し,構造ドメインへの適応性を向上させるための,表現整合型補助監視手法を提案する。
• 参考スコア（独自算出の注目度）: 91.62292288058904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models exhibit strong reasoning capabilities, yet adapting them to structured domains remains challenging and can yield inconsistent outcomes. We identify representation compatibility, the extent to which a model effectively processes a representation for a structured task, as a key factor in adaptation. We study this in chess, which provides a controlled testbed with precise semantics, computable optimal actions, and multiple state representations, including a symbolic encoding (FEN) and a spatial format (ASCII). We find that models often process semantically equivalent inputs substantially differently, affecting both learning and generalization. Building on this observation, we propose representation-aligned auxiliary supervision, which uses environment-derived tasks expressed in compatible representations to improve adaptation to structured domains. Across models and representations, auxiliary supervision consistently improves optimal-move prediction relative to target-only training under identical target data. Tasks that expose environment dynamics provide larger and most consistent gains than surface-level or static supervision, while remaining competitive with substantially increasing the amount of target-task data. Moreover, ASCII-trained models transfer more effectively to FEN than FEN-trained models do to ASCII, even surpassing the FEN target-only baseline on FEN evaluation. The gains also extend beyond optimal-move prediction to open-ended, factually grounded commentary generation. Overall, our results show that auxiliary supervision in model-compatible representations can enable effective adaptation in structured domains.
• Abstract（参考訳）: 言語モデルは強力な推論能力を示すが、構造化されたドメインに適応することは依然として困難であり、一貫性のない結果をもたらす可能性がある。 我々は、モデルが構造的タスクの表現を効果的に処理する範囲である表現互換性を、適応の重要な要素として識別する。 我々はこれをチェスで研究し、精密な意味論、計算可能な最適動作、および記号符号化(FEN)や空間形式(ASCII)を含む複数の状態表現を含む制御されたテストベッドを提供する。 モデルはしばしば意味論的に等価な入力を処理し、学習と一般化の両方に影響を及ぼす。 本研究は, 環境依存型タスクを適合表現で表現し, 構造ドメインへの適応性を向上させることを目的とした, 表現整合型補助監視手法を提案する。 モデルと表現全体にわたって、補助的監督は、同一の目標データの下での目標のみのトレーニングに対する最適移動予測を一貫して改善する。 環境ダイナミクスを公開するタスクは、表面レベルや静的監視よりも大きく、最も一貫した利得を提供すると同時に、ターゲットタスクデータの量を大幅に増加させる競争力を維持します。 さらに、ASCIIのトレーニングされたモデルは、FENのトレーニングされたモデルよりもFENに効果的に移行し、FENの評価においてFENのターゲットのみのベースラインを超えている。 利益は、最適移動予測を超えて、オープンエンドで事実上根拠のあるコメント生成にも及んでいる。 以上の結果から,モデル互換表現における補助的監督は,構造領域における効果的な適応を可能にすることが示唆された。

関連論文リスト

• Scaling Representation Diversity: Modulated Attention and Reconstructive Regularization for Visual Grounding [13.310120232835722]
  Referring Expression (REC) はデータセット固有の微調整の下で一般的に研究されている。 本稿では,オープン語彙の統一的基礎化の観点から,RECを再考する。 表現の多様性を維持するために,包括的データモデル協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-13T02:57:21Z)
• Joint-Embedding Predictive Architecture for Sensor-based Activity Recognition [3.775283002059578]
  本稿では,センサを用いたヒューマンアクティビティ認識(HAR)に適した統合埋め込み予測アーキテクチャを提案する。 提案するフレームワークは,個々のウィンドウ内の局所時間表現の微粒化と,隣接するウィンドウの長期時間シーケンスの両方を明示的にモデル化するエンコーダを特徴とする。 その結果,提案手法によって高品質な表現が学べることが示唆された。
  論文  参考訳（メタデータ） (2026-07-17T05:28:22Z)
• Advancing Text Classification with Large Language Models and Neural Attention Mechanisms [11.31737492247233]
  このフレームワークには、テキストエンコーディング、コンテキスト表現モデリング、注意に基づく拡張、分類予測が含まれる。 その結果,提案手法はすべての指標において既存モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-12-10T09:18:41Z)
• Enhancing Spatial Reasoning in Vision-Language Models via Chain-of-Thought Prompting and Reinforcement Learning [0.42855555838080844]
  本研究では,視覚言語モデル(VLM)の空間的推論能力について,Chain-of-Thoughtプロンプトと強化学習を通して検討した。 モデルが解答の前に推論ステップを生成する単純なCoT形式は、モデルの本来の性能を損なう可能性がある。 対照的に、シーングラフ(SceneGraph CoT)に基づく構造化マルチステージプロンプトは空間推論の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-07-06T10:51:12Z)
• Enhancing Interpretability Through Loss-Defined Classification Objective in Structured Latent Spaces [5.2542280870644715]
  本稿では,高度な距離メトリック学習を教師付き分類タスクに統合する新しいアプローチであるLatent Boostを紹介する。 Latent Boostは、より高いシルエットスコアで示されるように、分類解釈性を改善し、トレーニング収束を加速する。
  論文  参考訳（メタデータ） (2024-12-11T16:25:17Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• On the Limits of Evaluating Embodied Agent Model Generalization Using Validation Sets [101.28658250723804]
  本稿では,より広い視野を効果的に活用し,次のステップでナビゲーションや操作を行うかを選択するモジュールによるトランスフォーマーモデルの拡張実験を行う。 提案したモジュールは改良され,実際に,一般的なベンチマークデータセットであるALFREDの未確認検証セット上での最先端のパフォーマンスが向上した。 この結果は、機械学習タスクではより広い現象かもしれないが、主にテストスプリットの評価を制限するベンチマークでのみ顕著である、と我々は考えているので強調する。
  論文  参考訳（メタデータ） (2022-05-18T23:52:21Z)
• Self-Guided Adaptation: Progressive Representation Alignment for Domain Adaptive Object Detection [86.69077525494106]
  非教師なしドメイン適応(UDA)は、オブジェクト検出モデルのドメイン間ロバスト性を改善するために前例のない成功を収めた。 既存のUDA手法は、モデル学習中の瞬間的なデータ分布を無視しており、大きなドメインシフトによって特徴表現が劣化する可能性がある。 本稿では、特徴表現の整合とドメイン間のオブジェクト検出モデルの転送を目標とする自己ガイド適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-03-19T13:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。