論文の概要: Uncovering the Turing Test's Latent Signal: Indistinguishability as a Reward

• arxiv url: http://arxiv.org/abs/2610.34781v1
• Date: Mon, 26 Oct 2026 03:27:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.719165
• Title: Uncovering the Turing Test's Latent Signal: Indistinguishability as a Reward
• Title（参考訳）: チューリング試験における潜時信号の発見 : 逆境としての識別不可能性
• Abstract要約: ドメインベースの教師識別テストを導入する。 より強力な教師モデルは模倣と差別化の両方の標的として機能する。 より弱い学生モデルは、教師の属性を自分自身に応答させるように訓練される。
• 参考スコア（独自算出の注目度）: 0.9579645248339
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can a model learn by trying to fool another model? We show that it can. Inspired by the Turing Test and its recent generalization to arbitrary distinguishers, we introduce a domain-based teacher-Turing-Test, in which a stronger teacher model serves as both the target of imitation and the distinguisher, and a weaker student model is trained to make the teacher attribute responses to itself. We use this self-attribution (or fooling) probability as a reinforcement learning reward, without ever providing the student ground-truth answers, nor requiring the teacher to generate responses. We test our approach independently in four domains with verifiable answers: CommonsenseQA (reasoning), GSM8K (mathematics), KodCode (programming), and Spider (SQL), training a Qwen2.5-1.5B student/imitator model using DeepSeek V4 Flash as teacher/distinguisher. Beyond improving at passing the Turing Test, the student improves on independent, held-out evaluations in all domains and runs. To probe why being mistaken for the teacher can improve capability, our analyses reveal that self-attribution is associated with correctness -- substantially more than formatting changes -- and that it rewards partial correctness. Our results demonstrate a new, simple teacher-student training paradigm with a private and/or high-cost teacher. They also suggest that indistinguishability need not merely measure behavior -- it can also be a mechanism for learning.
• Abstract（参考訳）: モデルは別のモデルを騙そうとすることで学べますか? 私たちはそれが可能であることを示す。 チューリングテストとその最近の任意の微分器への一般化に触発されて、より強力な教師モデルが模倣と区別器の両方の標的として機能し、より弱い学生モデルが教師の属性をそれ自身に応答させるように訓練される、ドメインベースのTuring-Testを導入する。 我々は,この自己帰属(あるいは愚かな)確率を強化学習報酬として利用し,学生に真実の答えを与えることなく,教師に応答を要求しない。 我々は,本手法を4つの領域で独立に検証し,検証可能な回答を得た。CommonsenseQA(推論),GSM8K(数学),KodCode(プログラミング),Spider(SQL)で,DeepSeek V4 Flashを教師/差別化ツールとして使用したQwen2.5-1.5Bの学生/イミテータモデルをトレーニングする。 チューリングテストに合格する際の改善に加えて、学生はすべてのドメインで独立した、ホールドアウトされた評価を改善し、実行します。 教師に間違えられて能力が向上する理由を探るため、分析の結果、自己帰属は、変化の形式化よりも、ほぼ正しさに結びついており、部分的正しさに報いることが明らかとなった。 本研究は,私立・高学費の教員を対象とする,簡易な教員教育パラダイムを実証するものである。 彼らはまた、区別不可能さは単に振る舞いを測定するだけでなく、学習のメカニズムでもあることを示唆している。

関連論文リスト

• Bridged Self-Distillation for On-Policy Learning [49.988786243314564]
  ブリッジド・セルフ蒸留(Bridged Self-Distillation、BSD)は、推論トレースを提供する教師から蒸留するためのフレームワークである。 BSDは、結果として生じるトークンレベルのガイダンスを使用して、失敗したロールアウトの更新を調整する。
  論文  参考訳（メタデータ） (2026-10-19T13:40:50Z)
• Self-Distillation for Supervised Fine-Tuning [90.029570179446]
  監督された微調整は、専門家のデモンストレーションや金の反応を1ホットターゲットとして扱う。 我々は、専門家によるデモンストレーションをモデルネイティブな監視に変換する手法であるGold-Conditioned Distillation (GCD)を提案する。
  論文  参考訳（メタデータ） (2026-10-18T19:35:08Z)
• LoOPSD: On-Policy Self-Distillation with Looped Teachers [74.28216878502211]
  モデルの層実行順序を探索して,より強力な教師を構築し,その利点を学生に浸透させるLoOPSDを提案する。 具体的には, モデルの重みを重み付けしながら繰り返し探索し, 生徒が生成した接頭辞に対する教師の予測を用いて学習を指導する。
  論文  参考訳（メタデータ） (2026-10-13T11:07:04Z)
• Synchronizing Beliefs with Second-Order Theory-of-Mind in Human-Autonomy Teams (Extended Version) [3.248039323542496]
  嗜好に基づく報奨学習は、学習者が生成したクエリに応答する受動的オラクルとして、人間の教師を形容する。 ターゲットを知っている教師は、学習者主導の獲得戦略よりも効率的にトレーニング例を構築することができる。 選好学習は、人間と自律のチームが2つの行動モデルを結合する問題であると再認識する。
  論文  参考訳（メタデータ） (2026-07-29T18:44:01Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Improved Scaling Laws via Weak-to-Strong Generalization in Random Feature Ridge Regression [27.0471650610245]
  スケーリング法則に影響を及ぼし,その後にテストエラーが発生するという意味で,潜在的な改善は極めて重要であることを示す。 厳密には、生徒は教師のスケーリング法則によらず、最小限の最適率を達成することができる。
  論文  参考訳（メタデータ） (2026-03-05T21:32:59Z)
• UCO: A Multi-Turn Interactive Reinforcement Learning Method for Adaptive Teaching with Large Language Models [59.693733170193944]
  大規模言語モデル(LLM)は、教育環境において、回答提供者からインテリジェントな家庭教師へとシフトしている。 最近の強化学習アプローチはこの制限に対処するが、2つの重要な課題に直面している。 これらの課題に対処するために一方向認知最適化法(UCO)を提案する。
  論文  参考訳（メタデータ） (2025-11-12T01:27:02Z)
• Distilling Realizable Students from Unrealizable Teachers [9.968083244726941]
  特権情報に基づく政策蒸留について検討し, 一部観察のみの学生政策は, フルステートアクセスの教師から学ぶ必要がある。 既存のアプローチでは、教師が実現可能ではあるが準最適のデモを作成するように変更するか、または学生に頼って、欠落した情報を独立して調査する。 i) 学生が教師に補正を問い合わせるべき時期を適応的に決定する模倣学習手法と, (ii) 効率的な探索のためにトレーニングを初期化する場所を選択する強化学習手法を導入する。
  論文  参考訳（メタデータ） (2025-05-14T16:45:51Z)
• Self-Training with Differentiable Teacher [80.62757989797095]
  自己学習は、様々な半教師付きおよび弱教師付き学習タスクで大きな成功を収める。 この手法は、教師が擬似ラベルを生成し、生徒が予測を行う教師学生の枠組みとして解釈できる。 そこで我々は,教師学生をStackelbergゲームとして扱う,差別化可能な自己学習法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T02:06:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。