論文の概要: Do Language Models Know Which Constraints Belong Together?
- arxiv url: http://arxiv.org/abs/2611.05726v1
- Date: Tue, 03 Nov 2026 22:55:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.897402
- Title: Do Language Models Know Which Constraints Belong Together?
- Title(参考訳): 言語モデルはどの制約が一緒にあるか知っていますか?
- Abstract要約: ダンツィヒ=ウルフの改革は、選択された制約族を凸化することによって混合整数プログラムの線形緩和を強化する。
各評価値が少なくとも$k$ファミリーの$s$を凸すると、境界のみを観測するメソッドには、カバーする多くの評価が必要であることを証明します。
e$メンバーを逃す予測は、$(ke)$までコストを下げ、$e$を知る必要のない1つのステージド検索を通じて。
- 参考スコア(独自算出の注目度): 9.436596221681077
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Dantzig-Wolfe reformulation strengthens the linear relaxation of a mixed-integer program by convexifying a chosen set of constraint families, and every candidate costs a column generation run. The choice is hard when families strengthen the bound only together, because a search that adds one family at a time then stops at the linear relaxation. The classical inequalities of lot sizing, network design and facility location rest on such zero-marginal groups. We prove that when each evaluation convexifies at most $s$ of $k$ families, any method that observes only bounds needs a covering number of evaluations, of order $k^w$, to find a hidden group of $w$ families, also on actual Dantzig-Wolfe relaxations. A prediction that misses $e$ members reduces the cost to $Θ(k^e)$, through one staged search that does not need to know $e$, so the evaluations a prediction saves measure what the predictor knows. We study two sources of predictions. A one-pass lookahead at an optimal LP dual is provably blind to groups whose families share no variable, and a language model reads the names and text of the model. JointDW verifies the prediction of the language model with the staged search and interleaves it with the lookahead at a bounded loss. Groups that strengthen the bound only jointly appear in a quarter of the MIPLIB-NL models whose bound can be improved. There the strongest language models identify them about as often as the lookahead, their predictions rest on the names for textbook models, and reasoning about doubles the accuracy of the same model. On larger models with distracting families, the lookahead finds the group in one evaluation of three families. Language models given only the text seldom name it, while one reasoning model given every coefficient names it in all but one answer and then needs fewer evaluations than the lookahead for pairs of families.
- Abstract(参考訳): ダンツィヒ=ウルフの改革は、選択された制約族を凸化することにより混合整数プログラムの線形緩和を強化し、全ての候補が列生成の実行に費やされる。
なぜなら、一度に1つの族を追加する探索が線形緩和で停止するためである。
ロットサイズ、ネットワーク設計、施設配置の古典的不等式は、そのようなゼロ・マルジナル群に委ねられている。
各評価が少なくとも$k$ファミリーの$s$を凸化するとき、実際のダンツィヒ=ウルフ緩和にも、$k^w$という有界な値のみを観測するメソッドは、実際の$w$ファミリーの隠れたグループを見つけるために、カバーする多くの評価を必要とすることを証明している。
e$のメンバを逃す予測は、$e$を知る必要のない1段階の検索を通じて、$(k^e)$にコストを削減し、予測器が知っていることを計測する。
予測の源は2つある。
最適なLP双対のワンパスルックアヘッドは、家族が変数を共有しないグループに対して確実に盲目であり、言語モデルはモデルの名前とテキストを読み取る。
JointDWは、言語モデルの予測をステージ付き検索で検証し、バウンドドロス時にルックアヘッドでインターリーブする。
境界を強化する群は、境界を改善することができるMIPLIB-NLモデルの4分の1に共同で現れる。
最強の言語モデルは、ルックアヘッドと同じくらい頻度でそれらを識別し、それらの予測は教科書モデルの名前に依存し、同じモデルの精度を2倍にする。
気を散らす家族を持つ大きなモデルでは、3つの家族の1つの評価でグループを見出す。
言語モデルはテキストのみに名前をつけることは滅多にないが、ある推論モデルはすべての係数に1つの答えだけに名前をつけ、その後、家族のペアのルックアヘッドよりも少ない評価を必要とする。
関連論文リスト
- The Geometry of Ignorance: LLMs Know When to Temper Bayesian Priors [11.541745717034667]
言語モデルでは,埋め込み行列の1つの方向を用いて,手掛かりがほとんどない場合を予測する。
最終的な予測状態をこの方向に投影すると、トーケン1つ当たりの負荷係数が$$である。
最終予測状態で$を引き上げたり下げたりすることで、KLの発散前のユニグラムから遠ざかる予測を導いたりする。
論文 参考訳(メタデータ) (2026-09-02T05:05:50Z) - CogArena: A Multimethod Evaluation of Cognitive Ability Structure in Large Language Models [3.991518853474585]
我々は,認知タスクが保証次元ラベルをいつ得点するかを決定するためのベンチマークであるCogArenaを紹介する。
55のオープンウェイトモデル全体において、ほぼすべてのパラダイム相関は正であり、共通の軸が約半分の分散を説明する。
グループ内のアドバンテージは小さく、スコアリングに敏感で、モデルファミリ全体にわたって不確実である。
論文 参考訳(メタデータ) (2026-07-27T18:56:13Z) - Post-Training Recipe, More Than Model Family, Shapes Multi-Agent LLM Conversational Behavior [16.249731576262167]
我々は,対話型マルチLLMシステムにおいて,同じファミリラベルが振舞いを予測するかどうかを検討する。
推理蒸留したLlamaチェックポイントのヘッジは、どのベースパートナーが返信するかによって18%シフトすることがわかった。
その結果,ポストトレーニングレシピをマルチLLMパネル合成のための第1級軸として同定した。
論文 参考訳(メタデータ) (2026-05-30T07:26:26Z) - Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。
潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。
これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
論文 参考訳(メタデータ) (2026-05-26T22:16:42Z) - CoKe: Customizable Fine-Grained Story Evaluation via Chain-of-Keyword Rationalization [90.15027447565427]
思考の連鎖(CoT)は、モデルの予測を導くのに役立つ自由テキストの説明を生成する。
自己一貫性(SC: Self-Consistency)は、複数の生成された説明に対する予測を疎外する。
我々は、$textbfC$hain-$textbfo$f-$textbfKe$ywords (CoKe)を提案する。
論文 参考訳(メタデータ) (2025-03-21T13:37:46Z) - CALM : A Multi-task Benchmark for Comprehensive Assessment of Language Model Bias [7.28980829208179]
言語モデル(CALM)の包括的評価は、普遍的に関連する2種類の社会デマログラフバイアス、性別、人種の頑健な測定である。
実験により,CALMのバイアススコアは,テンプレートの摂動に対する従来のバイアス測定よりも頑健で,はるかに感度が低いことが示された。
論文 参考訳(メタデータ) (2023-08-24T03:53:55Z) - Conformal Nucleus Sampling [67.5232384936661]
最上位のp$集合が、様々な言語文脈における確率的意味と実際に一致しているかを評価する。
OPTモデルは過信であり、キャリブレーションはモデルサイズで適度な逆スケーリングを示す。
論文 参考訳(メタデータ) (2023-05-04T08:11:57Z) - Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。
本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。
未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
論文 参考訳(メタデータ) (2022-05-26T21:11:51Z) - Second-Order Unsupervised Neural Dependency Parsing [52.331561380948564]
ほとんどの教師なし依存は、親子情報のみを考慮した一階確率的生成モデルに基づいている。
親子や兄弟姉妹の情報を組み込んだ教師なし神経依存モデルの2階拡張を提案する。
我々のジョイントモデルは、完全なWSJテストセットにおける前の最先端技術よりも10%改善します。
論文 参考訳(メタデータ) (2020-10-28T03:01:33Z) - Can x2vec Save Lives? Integrating Graph and Language Embeddings for
Automatic Mental Health Classification [91.3755431537592]
グラフと言語の埋め込みモデル(metapath2vec と doc2vec)がリソース制限を回避する方法を示します。
統合されると、両データは高度に正確な予測を生成する(90%、偽陽性10%、偽陰性12%)。
これらの結果は、大規模ネットワークにおける行動と言語を同時に分析することの重要性の研究を拡大する。
論文 参考訳(メタデータ) (2020-01-04T20:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。