論文の概要: 3, 7, 14, 17, 42: Instruction Tuning Installs and Sharpens Number-Choice Heuristics in Language Models

• arxiv url: http://arxiv.org/abs/2610.36178v1
• Date: Mon, 26 Oct 2026 19:12:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.408189
• Title: 3, 7, 14, 17, 42: Instruction Tuning Installs and Sharpens Number-Choice Heuristics in Language Models
• Title（参考訳）: 3, 7, 14 17, 42: 言語モデルにおけるインストラクションチューニングインスタレーションとシャーペンス数選択ヒューリスティックス
• Abstract要約: サンプル誤差を伴わずに、ランダム数を求めると、言語モデルが各整数に 1 から N に割り当てる確率を計測する。 固定プロンプトに対して、モデルは1つの確率ベクトルを定義し、サンプリングによって推定されるのではなく、各整数のスコア付きスペルを和って計算する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We measure, without sampling error, the probability a language model assigns to each integer from 1 to N when asked for a random number. For a fixed prompt the model defines one probability vector, which we compute by summing over each integer's scored spellings rather than estimate by sampling, removing the noise that limits earlier studies [1, 4]. We evaluate 18 open-weight model lines at five ranges up to N = 100, under 29 decoding configurations, on two inference stacks; 15 of them have matched base and instruction-tuned checkpoints that both give usable answers. Instruction tuning makes the distribution less uniform in all 15 pairs. It installs one heuristic, round-number avoidance, and sharpens another, endpoint avoidance. Base checkpoints do not avoid round numbers once the endpoints are removed from those sets; tuned checkpoints avoid them, multiples of 10 almost completely. Base checkpoints return the endpoints 1 and N at 0.30 to 0.60 of the interior rate; tuned checkpoints almost never return them. A preference for odd numbers is consistent across tuned checkpoints only at N = 100, where base checkpoints also show it weakly. Endpoint avoidance and the odd preference fit the account Kubovy and Psotka [6] proposed for human number choice; round-number avoidance is not part of that account, and the midpoint avoidance it predicts is essentially absent, with one slight exception at N = 100. Tuning does not install a new favourite integer shared across models: above N = 10 no modal integer is shared by more than 42 percent of tuned conditions, and P (17) rises in 10 of 15 pairs and falls in 5. The concentration is present in the model's own distribution: at temperature 1.0, nucleus truncation at top-p 0.95 adds a median of 0.035 to the total variation distance.
• Abstract（参考訳）: サンプル誤差を伴わずに、ランダム数を求めると、言語モデルが各整数に 1 から N に割り当てる確率を計測する。 固定プロンプトに対しては、モデルが1つの確率ベクトルを定義し、各整数のスコア付きスペルをサンプリングによって推定するよりもまとめて計算し、先行研究を制限するノイズを取り除く[1, 4]。 我々は,2つの推論スタック上で,N = 100までの5範囲で18のオープンウェイトモデルラインを評価した。 命令チューニングにより、全15対の分布が均一になる。 1つのヒューリスティックなラウンドナンバー回避をインストールし、もう1つのエンドポイント回避をシャープする。 ベースチェックポイントは、エンドポイントがこれらのセットから取り除かれるとラウンド番号を回避しない。 ベースチェックポイントはエンドポイント1とNをインテリアレートの0.30から0.60で返す。 奇数の選好は、N = 100でのみ調律されたチェックポイント間で一致しており、基底チェックポイントも弱い。 エンドポイント回避と奇数選好は、人間数選択のために提案されたKubovy と Psotka [6] のアカウントに適合する; ラウンドナンバー回避は、そのアカウントの一部ではなく、予測するミッドポイント回避は本質的に欠落している。 チューニングは、モデル間で共有される新しい好ましくない整数をインストールしていない: 上述の N = 10 以上のモーダル整数は、チューニングされた条件の42%以上で共有されず、P (17) は 15 対のうち 10 で上昇し、5 に落ちる。 この濃度はモデル自身の分布に存在し、温度1.0では、トップp 0.95の核の切り離しが全変動距離に0.035の中央値を与える。

関連論文リスト

• Chinese Decision: A Family of Language Models for Single-Pass Probabilistic Decision-Making [1.8430422880689117]
  中国語決定モデルのファミリーである中国語決定について述べる。 各質問は、共有された命令と候補のプロンプトにコンパイルされる。 単一のフォワードパスは、候補文字の最終配置ログを読み出し、有効なオプションでそれらを正規化する。
  論文  参考訳（メタデータ） (2026-10-16T09:08:32Z)
• Building Navigable Graphs Without Search in Three Composable Stages [0.0]
  ナビゲーション可能なグラフは、隣人を探すことなく構築できる。 中間者が品質を決定することを示す。 GIST上に構築されたすべてのプールは、正確なkNN天井の4%以内に着陸する。
  論文  参考訳（メタデータ） (2026-10-06T19:42:36Z)
• What Will Post-Training Fix? Per-Problem Gains Are Shared Across Independent RL Runs, and Existing Checkpoints Predict Them Better Than A Priori Signals [0.0]
  我々は,最大1532の競合問題に対して18回のポストトレーニングを実行し,各問題に多くのサンプルを投入した。 インディペンデント・ランニング(Independent run)は、ほとんど解決されない問題を改善し、ノイズ・天井は約0.9である。 既存のチェックポイントはより良い予測器であり、単一のチェックポイントのプロブレム当たりのゲインは、すべてのプリオリ信号よりも新しい実行を予測します。
  論文  参考訳（メタデータ） (2026-10-04T05:45:45Z)
• Reliability-Aware Checkpoint Selection for Domain Generalization [40.17114894052837]
  精度制約付き信頼性選択(AC)について検討する。 ACは、最適なソースバリデーション精度の許容範囲内にチェックポイントを保持し、ソース信頼性でランク付けする。 ACは目標データを使用しず、追加のトレーニングも重量平均化も必要としない。
  論文  参考訳（メタデータ） (2026-09-30T15:17:32Z)
• QAM: Quadratic-Accurate Checkpoint Merging via Sequential Consistency [44.9106079497003]
  保存されたチェックポイントはトレーニングの軌道に沿って状態を記録しますが、通常、異なるスケジュールで訪問される状態の更新を判断しません。 これらのチェックポイントが、所定の更新強度でシーケンシャル参照のエンドポイントをいかに正確に再構築できるかを検討する。
  論文  参考訳（メタデータ） (2026-09-28T13:39:41Z)
• Scored vs. Generated Readouts in Behavioral Language Models: An Empirical Study of Elicitation Format [0.0]
  回答トークンのスコアリングによって得られる確率と、文章の合理化後に生成された予測とを比較した。 13個のモデルドメイン細胞が4つの小売業務を網羅し、13個の細胞のうち12個で結果がより正確にランク付けされた。
  論文  参考訳（メタデータ） (2026-09-09T08:37:46Z)
• PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
  PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。 各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。 我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
  論文  参考訳（メタデータ） (2026-08-24T17:13:25Z)
• FlavourBench: Executable Culinary Reward Maps for Language Model Evaluation and Post-Training [0.0]
  オープンエンド言語モデル評価は、欠落した応答キーに対して、他のモデルや小さな選好パネルの代わりに行われることが多い。 FlavourBenchを導入し、バージョン付き料理環境から高密度な回答マップをコンパイルする。 同じ534の置換、ペアリング、制約タスク上で27のフロンティアエンドポイントを評価し、14,418の完全なモデルタスク観測結果を得た。
  論文  参考訳（メタデータ） (2026-08-20T21:14:52Z)
• Conformal changepoint localization [36.191356601153146]
  配電系統におけるオフライン変更点の局所化問題について検討する。 我々は、他の仮定をせずに変化が起こる指数に対して有限サンプルの信頼セットを生成する。 実験によると、CONCHは画像やテキストを含む困難な設定であっても、正確な信頼セットを提供する。
  論文  参考訳（メタデータ） (2026-02-05T23:50:53Z)
• Social Distancing is Good for Points too! [91.3755431537592]
  点が近すぎるとFCNNの動作が悪くなることを示す。 そして、そのようなケースを避けるためにアルゴリズムの修正に成功した。 この修正はアルゴリズムの近似保証とともに有用な上界を証明するのに十分である。
  論文  参考訳（メタデータ） (2020-06-28T16:49:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。