論文の概要: The Steering Budget: Examples beat Knobs

• arxiv url: http://arxiv.org/abs/2607.14246v1
• Date: Wed, 15 Jul 2026 18:04:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:32.88087
• Title: The Steering Budget: Examples beat Knobs
• Title（参考訳）: ステアリング予算:例がノブを破る
• Abstract要約: 生成モデルは、プロンプト、ガイダンススケール、プロパティタグなど、ノブで操縦される。 好きなだけ強く回して、ある時点では、気に入ったプロパティを動かすのをやめます。 モデルがトレーニングされる前にトレーニングデータによって設定された予算である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative models are steered with knobs -- prompts, guidance scales, property tags. Turn one as hard as you like and, past a point, it stops moving the property you care about. We find that ceiling is not a shortcoming of the model but a budget, set by the training data before the model is trained: a property's movable range splits in two -- the part a knob can reach, and a second, significant part that only examples -- concrete instances of what you want more of -- can reach. That second part is usually much larger, but not always, and the same budget says so in advance. Reaching that second part takes a different move: instead of turning a knob, you show the model examples, composed from what it already learned rather than added to its training. A cheap audit of the training data measures the budget; we give a recipe for building the example set that reaches all of it. This buys two things a knob can't. Reach: it moves a property across the whole budget, not just the part a knob reaches. Expressiveness: it steers toward targets you can only specify by example -- including ones you can't put into words. We turn these into a handful of falsifiable claims and verify them in two unrelated domains, image and crystal-structure generation -- marking where a knob is enough, and where only examples will do.
• Abstract（参考訳）: 生成モデルは、ノブ -- プロンプト、ガイダンススケール、プロパティタグ -- で操縦されます。ひとつは、好みのプロパティを動かすのをやめます。私たちは、天井はモデルの欠点ではなく、モデルがトレーニングされる前にトレーニングデータによって設定された予算です。 第二部は通常ずっと大きいが、常にではなく、同じ予算が前もってそう言っている。 ノブを回す代わりに、トレーニングに追加するのではなく、すでに学んだことをモデル例で示します。 トレーニングデータの安価な監査が予算を計測し、そのすべてに到達するサンプルセットを構築するためのレシピを提供します。 これはノブができない2つのものを買います。 Reach: ノブが到達した部分だけでなく、予算全体にわたって資産を動かします。 表現性(Expressiveness): 例によってのみ指定できるターゲットに向かって操縦する。 私たちはこれらをいくつかの偽造可能なクレームに変換し、画像と結晶構造の生成という2つの無関係な領域で検証します。

関連論文リスト

• GEB-Bench: Abstract Structures Told in Many Voices [15.628659207220077]
  我々は、GEB-Benchという、ユニットが抽象的な構造的モチーフであるベンチマーク、-自己参照、奇妙なループ、Mobiusのツイスト、---ゴデル、エッシャー、バッハの精神を例に紹介する。 それぞれのモチーフはいくつかの声で語られる: 構成が構造である自然のシーン、語られる民話は機械的にチェック可能な形状の装置、数学的定理、プログラムの骨格である。
  論文  参考訳（メタデータ） (2026-08-04T18:05:41Z)
• Bipartite Bound Information Exists [0.509780930114934]
  25年前、GisinとWolfは古典的な暗号が同じ現象を認めるかどうかを尋ねた。 2つの関係者と盗聴者によって共有される相関関係は存在するか? このような有界情報の存在を示し、明示的な例、二つのビットの分布と三重項を与える。
  論文  参考訳（メタデータ） (2026-07-28T15:16:34Z)
• Hard Examples Are All You Need: Maximizing GRPO Post-Training Under Annotation Budgets [0.09558392439655013]
  最も難しい例(ベースモデルが最も失敗する部分)の10%をトレーニングすると、劇的なパフォーマンスが最大47%向上する。 ハードサンプルは、AIME2025ベンチマークで有意義な利得を達成しているのは、ハードトレーニングされたモデルのみである。
  論文  参考訳（メタデータ） (2025-08-15T01:14:06Z)
• Understanding In-context Learning of Addition via Activation Subspaces [73.8295576941241]
  そこで本研究では,入力に整数$k$を追加するという真の予測規則を,数ショット学習タスクの構造化されたファミリについて検討する。 次に、次元の減少と分解を通じて、個々の頭部の詳細な分析を行う。 この結果から,前進パスを横断する局所化頭部の低次元部分空間の追跡が,言語モデルにおける微粒化計算構造に対する洞察を与えることを示す。
  論文  参考訳（メタデータ） (2025-05-08T11:32:46Z)
• Can Neural Network Memorization Be Localized? [102.68044087952913]
  記憶化は、モデルの様々な層において、小さなニューロンの集合に限られる現象であることを示す。 我々は、サンプルの記憶をai決定されたニューロンに直接記憶できる新しい形式のドロップアウト -- $textitexample-tied dropout$を提案する。
  論文  参考訳（メタデータ） (2023-07-18T18:36:29Z)
• Symbolic Chain-of-Thought Distillation: Small Models Can Also "Think" Step-by-Step [133.60124577507727]
  思考の連鎖は、素数大言語モデルに彼らの予測の合理化を口頭で示すよう促す。 オーダーオブマグニチュードの小さなモデルでも、チェーンオブ思想のプロンプトの恩恵を受けられることを示す。 そこで我々は,より大規模な教師モデルから抽出した合理化に基づいて,より小さな学生モデルを訓練する方法であるChain-of-Thought Distillation (SCoTD)を紹介した。
  論文  参考訳（メタデータ） (2023-06-24T20:15:07Z)
• Characterizing Datapoints via Second-Split Forgetting [93.99363547536392]
  我々は、オリジナルのトレーニング例が忘れられた後(もしあれば)のエポックを追跡する補足的メトリックである$$-second-$split$$forgetting$$$time$ (SSFT)を提案する。 例えば$mislabeled$の例はすぐに忘れられ、$rare$の例は比較的ゆっくりと忘れられています。 SSFTは、(i)間違ったラベル付きサンプルを識別し、その除去により一般化が向上し、(ii)障害モードに関する洞察を提供する。
  論文  参考訳（メタデータ） (2022-10-26T21:03:46Z)
• Measuring Forgetting of Memorized Training Examples [80.9188503645436]
  機械学習モデルは、トレーニングデータ記憶と様々な形態記憶の2つの矛盾する現象を示す。 特定の例では、モデルは特定のトレーニングに過度に適合し、最終的にはプライバシー攻撃の影響を受けやすい。 我々は、決定論的に忘れる例を潜在的な説明として識別し、モデルが時間とともに訓練された例を経験的に忘れないことを示す。
  論文  参考訳（メタデータ） (2022-06-30T20:48:26Z)
• Revisiting Model Stitching to Compare Neural Representations [8.331711958610347]
  我々は、$A$のボトム層と$B$のトップ層とを、それらの間に単純なトレーニング可能な層で接続することによって形成される「スティッチドモデル」を考える。 同じアーキテクチャの優れたネットワークは、非常に異なる方法で訓練されているが、性能を低下させることなく互いに縫合できることが示されています。 また,(1) 以上のデータ,(2) より大きな幅,(3) 以上のトレーニング時間で学習した表現が,より弱いモデルに"プラグイン"して性能を向上させることができることを示すことによって,「もっとよい」という直感の証拠を与える。
  論文  参考訳（メタデータ） (2021-06-14T18:05:10Z)
• UFO$^2$: A Unified Framework towards Omni-supervised Object Detection [175.9693271392461]
  UFO$2$は、異なる形式の監視を同時に処理できる統一オブジェクト検出フレームワークである。 具体的には、UFO$2$は、強力な監督(箱など)、様々な形式の部分的な監督(例えば、クラスタグ、ポイント、スクリブル)、ラベルなしのデータを含んでいる。
  論文  参考訳（メタデータ） (2020-10-21T07:46:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。