論文の概要: Instruction Capacity: Behavior and Degradation of Language Models under Controlled Load
- arxiv url: http://arxiv.org/abs/2610.36095v1
- Date: Mon, 26 Oct 2026 18:15:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.39819
- Title: Instruction Capacity: Behavior and Degradation of Language Models under Controlled Load
- Title（参考訳）: 指導能力:制御負荷下における言語モデルの振る舞いと劣化
- Abstract要約: そこで本研究では,テキスト中の単一単語を意味なく置き換えるルールを負荷として構成する手法を提案する。
置換される単語のすべての発生は、答えに既知の位置と既知の規則番号を持つベルヌーイ試行となる。
モデルは命令能力 – 適切な置換の所定のシェアで保持されるルールの数 – を不確実性を持って生成する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The quality with which language models follow instructions falls as the load grows, yet there is still no quantity that expresses the limit of a model in units of load with an uncertainty. We propose an instrument in which the load consists of rules that replace single-token words in a text without meaning: such an instruction is atomic, the rules are independent by the construction of the task, and the outcome of every application of a rule is determined by a computable reference answer. Every occurrence of a word to be replaced becomes a Bernoulli trial with a known position in the answer and a known rule number. The statistical model first measures the shape of the dependence of the probability of a right replacement on the text length, the word position, the replacement density, the number of rules and the rule number, then describes it by smooth laws and restores a reference level that does not depend on the choice of the coding. The model yields the instruction capacity - the number of rules held at a given share of right replacements - with an uncertainty. A measurement of GPT-4o mini (2958 requests, 642,430 trials) gave regular laws for every load factor and for the collapse of the answer; the instruction capacity was about 37-38 rules at a share of right replacements of 0.95, and about 18-19 rules at the full replacement density. The code of the instrument, the measurement data and the passport are open, and every number of the passport is recomputed from the published points. The passport of a model serves as the calibration of a future meter of the instruction load of prompts.
- Abstract（参考訳）: 言語モデルが命令に従う品質は、負荷の増加に伴って低下するが、不確実性のある負荷単位におけるモデルの限界を表す量はまだ存在しない。
このような命令はアトミックであり、その命令はタスクの構成によって独立しており、ルールのすべての適用結果は計算可能な参照応答によって決定される。
置換される単語のすべての発生は、答えに既知の位置と既知の規則番号を持つベルヌーイ試行となる。
統計モデルは、まず、テキストの長さ、単語の位置、置換密度、規則の数、ルール番号に対する正しい置換の確率の依存性の形状を測定し、スムーズな法則で記述し、コーディングの選択に依存しない参照レベルを復元する。
モデルは命令能力 – 適切な置換の所定のシェアで保持されるルールの数 – を不確実性を持って生成する。
GPT-4o mini(2958の要求、642,430の試行)の測定では、すべての負荷係数と解答の崩壊に関する規則が与えられ、命令能力は0.95の正しい置換で約37-38の規則と、完全な置換密度で約18-19の規則が与えられた。
機器のコード、測定データ、パスポートはオープンであり、その公開されたポイントからパスポートの各数を再計算する。
モデルのパスポートは、プロンプトの命令負荷の将来のメーターのキャリブレーションとして機能する。
関連論文リスト
- Which Differences Matter? Controlled Tests of Rule Transfer, Joint Reliability, and Information Use in Decision Models [4.633828400918886]
決定モデルは、記述されたルールと観察された状態を個別の回答にマッピングする。
我々は、制御された入力変更を、演算規則を通じて、転送、共同信頼性、および指示情報の使用に接続する。
論文 参考訳（メタデータ） (2026-10-21T17:04:02Z) - Watermarking: from Impossibility to Auditable Compliance [78.87513208320995]
EU人工知能法第50条(2)は、合成出力を機械可読かつ検出可能にするために、生成システムの提供者を要求する。
自由形式のテキストにとって、重要な実装の1つは、生成的な透かし処理の実装である。
本稿は、強い透かしに代わる聴覚的な代替品を開発する。
論文 参考訳（メタデータ） (2026-10-05T13:32:41Z) - BARQ: Balanced Codebook Refinement for Low-Bit LLM Quantization [46.64897508613697]
本稿では,既存のコードブックの平衡フィッティングによる量子化品質の向上を目的とした,量子化のための平衡割当てリファインメントを提案する。
代入重み付けされたバリセントリックな更新によってコードワードを洗練し、固定された代入に適合する目的を最小化することを証明する。
複数の言語モデル全体で、BARQは評価されたベースラインよりも低いパープレキシティと平均ゼロショット精度を達成する。
論文 参考訳（メタデータ） (2026-10-03T12:45:15Z) - In-Context Binding Capacity in Language Models [0.0]
我々は、どの値がどのエンティティに属しているかを追跡する前に、言語モデルがリコールできる割り当て数を計測する。
負荷依存リコールプロファイルが変更されていない場合でも、単一結合リコールを減らすことで、干渉が測定能力を低減することができる理由を導出する。
論文 参考訳（メタデータ） (2026-09-24T23:41:03Z) - What Do Compliance Detectors Read? An Audit of Activation Probes and Guard Models [3.3598755777055374]
ICS(Internal Compliance Score)は、10組のラベル付きペアからのトレーニング不要のアクティベーション読み出しであり、単一のプロジェクションで得点される。
この状態は、現在のコンプライアンス・ディテクターのクラスにまたがって失敗することを示し、これはルール・ブラインドネスと呼ばれる失敗である。
対策プロトコルとクロスルールベンチマークを公開し、将来の調査でルールの盲点をテストし、クレームを保護します。
論文 参考訳（メタデータ） (2026-08-17T17:37:07Z) - NL-PAC: Specification Ambiguity and Certified Minimax Risk Floors in LLM-Mediated Supervision [0.9475982252982437]
固定モデルのしきい値付き復号法を用いて許容ラベルと候補ターゲットを定義するフレームワークであるNatural Language PACを紹介する。
凍結したQwen2.5--3B監査では、事前に特定されたプロンプトが正のモデル相対証明を出力し、パラフレーズと正確なルール制御がゼロになる。
論文 参考訳（メタデータ） (2026-07-09T21:53:00Z) - Value of Information under Imprecise Probabilities: Decision-Rule-Specific Values and Fixed-Measure Envelopes on a Credal Set [0.0]
一組の確率測度の下では、VOIは異なる定式化を必要とする。
まず、インプレクションの下で行動するための決定ルールを修正するルール固有のVOIをエクスプリケートする。
第2に,古典的VOI関数を許容可能なすべての正確な測定値に対して評価する固定測度エンベロープを導出する。
論文 参考訳（メタデータ） (2026-06-26T11:20:38Z) - Quantum-Like Correlations from Local Hidden-Variable Theories Under Conservation Law [45.88028371034407]
ベルの不等式に反する局所隠れ変数モデルを構築する方法を示す。
このモデルはまた、実験的にテストできる量子力学に微妙に異なる予測を与える。
論文 参考訳（メタデータ） (2025-11-08T15:32:13Z) - Conformal Linguistic Calibration: Trading-off between Factuality and Specificity [41.45862052156885]
本稿では,言語プラグマティクスのレンズを通して,抑止と言語キャリブレーションを結合する枠組みを提案する。
以上の結果から,本手法は実精度に適合した精度で校正出力を生成する。
論文 参考訳（メタデータ） (2025-02-26T13:01:49Z) - Learning Rules from KGs Guided by Language Models [48.858741745144044]
ルール学習手法は、潜在的に欠落する事実を予測するために適用することができる。
規則のランク付けは、高度に不完全あるいは偏りのあるKGよりも特に難しい。
近年のLanguage Models (LM) の台頭により、いくつかの研究が、LMがKG補完の代替手段として利用できると主張している。
論文 参考訳（メタデータ） (2024-09-12T09:27:36Z) - Dimensionless Policies based on the Buckingham $\pi$ Theorem: Is This a
Good Way to Generalize Numerical Results? [66.52698983694613]
本稿では,バッキンガムの$pi$定理を,物理系の制御ポリシを汎用的な知識形式にエンコードするツールとして活用する。
本研究では,(1) パラメータの削減,(2) 特定のシステムに対して数値的に生成された制御ポリシを,入力変数と出力変数を適切にスケーリングすることにより,次元的に類似したシステムのサブセットに正確に転送可能であることを示す。
より複雑な高次元問題に対するポリシーを一般化するために、このアプローチがいかに実用的であるかは、まだわからないが、初期の結果は、それがaであることを示している。
論文 参考訳（メタデータ） (2023-07-29T00:51:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。