論文の概要: Characterize Then Distill: Mechanistic Reasoning in Large Output Spaces

• arxiv url: http://arxiv.org/abs/2606.06840v1
• Date: Fri, 05 Jun 2026 02:32:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.526561
• Title: Characterize Then Distill: Mechanistic Reasoning in Large Output Spaces
• Title（参考訳）: キャラクタリゼーションと蒸留:大出力空間におけるメカニスティック推論
• Authors: Debjyoti Saha Roy, Byron C. Wallace, Javed A. Aslam,
• Abstract要約: 現代の推論モデルは、挑戦的なマルチラベルタスクに対して驚くほど強力なゼロショットパフォーマンスを提供する。 我々は、推論を2段階のプロセスとして特徴づける: 候補者の広範な「ショートリスト」と、その結果の集合に対するきめ細かい推論である。
• 参考スコア（独自算出の注目度）: 13.036827996908896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern reasoning models offer surprisingly strong zero-shot performance on challenging multi-label tasks that require selecting a small set of relevant options from hundreds of thousands to millions of candidate labels. We investigate how they achieve this mechanistically. We characterize reasoning as a two-phase process: A broad "shortlisting" of candidates followed by fine-grained reasoning over the resulting set. We provide evidence across a range of datasets that these steps can be isolated and are complementary. Using this characterization, we develop a mechanistic distillation strategy that consistently outperforms standard distillation.
• Abstract（参考訳）: 現代の推論モデルは、数十万から数百万の候補ラベルの小さな選択肢を選択する必要のある、挑戦的なマルチラベルタスクに対して驚くほど強力なゼロショットパフォーマンスを提供する。 我々は、どのようにしてこれを機械的に達成するかを調査する。 我々は、推論を2段階のプロセスとして特徴づける: 候補者の広範な「ショートリスト」と、その結果の集合に対するきめ細かい推論である。 さまざまなデータセットにまたがって,これらのステップが分離され,補完的なものになる,という証拠を提供します。 この特徴を生かして, 標準蒸留よりも一貫して優れたメカニスティック蒸留法を開発した。

関連論文リスト

• SERM: Self-Evolving Relevance Model with Agent-Driven Learning from Massive Query Streams [53.78257200138774]
  本稿では,2つの相補的マルチエージェントモジュールからなる自己進化関連モデル(SERM)を提案する。 我々はSERMを大規模産業環境で評価し、毎日数十億のユーザリクエストを処理している。
  論文  参考訳（メタデータ） (2026-01-14T14:31:16Z)
• Greedy Selection under Independent Increments: A Toy Model Analysis [0.0]
  独立増分を伴うN-d-離散時間過程に対する反復選択問題について検討する。 最終値プロセスを選択するための最適戦略は,各段階で最大グリーディ選択を適用することである。
  論文  参考訳（メタデータ） (2025-06-22T08:21:23Z)
• Diversified Batch Selection for Training Acceleration [68.67164304377732]
  オンラインバッチ選択として知られる一般的な研究ラインでは、トレーニングプロセス中の情報サブセットの選択について検討している。 バニラ参照モデルフリーメソッドは、独立してデータをサンプリング的にスコア付けし、選択する。 DivBS(Diversified Batch Selection)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:12:20Z)
• Boundary Matters: A Bi-Level Active Finetuning Framework [100.45000039215495]
  アクティブファインタニングの概念は、限られた予算内でモデルファインタニングに最も適したサンプルを選択することを目的としている。 従来のアクティブな学習手法は、バッチ選択に固有のバイアスがあるため、この設定で苦労することが多い。 そこで本研究では,アノテーションのサンプルを1ショットで選択するバイレベルアクティブファインタニングフレームワークを提案し,その2段階として,多様性のためのコアサンプル選択と不確実性のための境界サンプル選択を提案する。
  論文  参考訳（メタデータ） (2024-03-15T07:19:15Z)
• Impossible Distillation: from Low-Quality Model to High-Quality Dataset & Model for Summarization and Paraphrasing [59.58984194238254]
  本稿では,パラフレーズと文要約のための新しい枠組みであるImpossible Distillationを提案する。 極端に大規模な教師モデルに依存した先行研究とは異なり、パラフラスティックな近在性と事前学習されたLMを仮説化し、検証する。 これらの部分空間から世代を同定して蒸留することにより、インポッシブル蒸留は、GPT2スケールのLMでも高品質なデータセットとモデルを生成する。
  論文  参考訳（メタデータ） (2023-05-26T05:19:24Z)
• Distillation of encoder-decoder transformers for sequence labelling [14.556303844376425]
  本稿では,特に蒸留に適したシーケンスタグ付けのための幻覚フリーフレームワークを提案する。 複数のシーケンスラベリングデータセットにまたがる新しい最先端性能の実証結果を示す。
  論文  参考訳（メタデータ） (2023-02-10T19:00:00Z)
• Self-training with Few-shot Rationalization: Teacher Explanations Aid Student in Few-shot NLU [88.8401599172922]
  タスク固有のラベルと合理的性に制限された自己学習言語モデルに基づくフレームワークを開発する。 ニューラルネットワークの性能は,その合理的な予測を意識することで,大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2021-09-17T00:36:46Z)
• A New Approach to Overgenerating and Scoring Abstractive Summaries [9.060597430218378]
  ステージ1ではソーステキストから多様な候補要約を生成し,ステージ2では許容候補をスコア付けして選択する2段階戦略を提案する。 私達の発電機はスペースが限られているとき特に適している要約の長さの精密な制御を与えます。 我々のセレクタは、最適な要約長を予測し、元のテキストに忠実さを特に強調するように設計されている。
  論文  参考訳（メタデータ） (2021-04-05T00:29:45Z)
• Online Active Model Selection for Pre-trained Classifiers [72.84853880948894]
  我々は,任意のラウンドにおいて高い確率で最良のモデルをラベル付けし,出力する情報的サンプルを積極的に選択するオンライン選択的サンプリング手法を設計する。 我々のアルゴリズムは、敵とストリームの両方のオンライン予測タスクに利用できる。
  論文  参考訳（メタデータ） (2020-10-19T19:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。