論文の概要: Playing log(N)-Questions over Wikipedia Abstracts: Communication Efficiency Between Paired Frontier Models
- arxiv url: http://arxiv.org/abs/2609.19113v1
- Date: Wed, 16 Sep 2026 17:41:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.923915
- Title: Playing log(N)-Questions over Wikipedia Abstracts: Communication Efficiency Between Paired Frontier Models
- Title（参考訳）: log(N)-Questions over Wikipedia Abstracts: Communication efficiency between Paired Frontier Models
- Abstract要約: 我々は2エージェントの$log(N)$-Questionsゲーム上で6つのフロンティア言語モデルを評価する。
質問者は$N$のリードパラグラフを見て、正確に$log N$ yes/noの質問を使って秘密に選択されたターゲットを特定する必要がある。
答え者は、ターゲットと質問のみを見て、1つの単語で返信する。
- 参考スコア（独自算出の注目度）: 0.08460698440162888
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We evaluate six frontier language models on the two-agent $\log(N)$-Questions game. A questioner sees $N$ Wikipedia lead paragraphs and must identify a secretly chosen target using exactly $\log_2 N$ yes/no questions. An answerer sees only the target and the question, and replies with one word. Both roles run on the same provider, so the game measures how well a model communicates with itself across an information asymmetry. We run 408 games over document sets of 4 to 1024 paragraphs at a total API cost of \$363. One model finishes well behind the others: Claude Opus 5 wins 28 of 68 games, against 45 to 56 for GLM-5.3, GPT-5.6 Sol, Grok 4.6, Gemini 3.8 Flash and Kimi K3. The leading five are only marginally separable. Pooling those five, win rate declines with set size at $r=-0.973$ and is fit by a single per-round reliability parameter. The form is $\text{win}=p^{\log_2 N}$ with $p=0.928$. Losses divide into answer errors and discrimination failures in roughly equal measure, and models almost never name a document their own evidence excludes. Every unanimous answer error from the weakest model was inspected: 32 of 34 are ``No'' answers, on properties stated in the document's first sentence, under an instruction that explicitly warns against defaulting to ``No''. Information per question, estimated from answer balance, correlates with win rate at $r=+0.88$. The only two models to extract a full bit per question are the only two that partition on document titles, a strategy absent below $N{=}32$ and used in a quarter of questions above it. Reasoning-token expenditure varies $4.5\times$ across models with little relation to success, and the trace grows as the candidate set shrinks without a matching gain in reliability.
- Abstract（参考訳）: 我々は2エージェントの$\log(N)$-Questionsゲーム上で6つのフロンティア言語モデルを評価する。
質問者はウィキペディアのリードパラグラフを$N$と見なし、正確に$\log_2 N$ yes/noの質問を使って秘密に選択されたターゲットを特定する必要がある。
答え者は、ターゲットと質問のみを見て、1つの単語で返信する。
両方のロールは同じプロバイダ上で実行されるので、ゲームはモデルが情報非対称性を越えていかにうまく通信するかを測定する。
4～1024段落のドキュメントセット上で408のゲームを実行し、総APIコストは363ドルです。
クロード・オプス5が68試合中28勝、GLM-5.3で45勝56敗、GPT-5.6ソル、Grok 4.6、Gemini 3.8フラッシュ、Kim K3が勝利した。
上位5個は極端に分離可能である。
これらの5つをプールすると、勝利率はセットサイズが$r=-0.973$で減少し、ラウンド毎の信頼性パラメータに適合する。
形式は$\text{win}=p^{\log_2 N}$で、$p=0.928$である。
損失は回答の誤りと差別の失敗に大まかに等しい尺度で分けられる。
32のうち34は ``No'' の回答で、文書の最初の文に記載されているプロパティは ``No'' のデフォルトを明示的に警告する命令に従っている。
回答バランスから推定される質問毎の情報は、r=+0.88$の勝利率と相関する。
疑問に満ちたビットを抽出する2つのモデルだけが、ドキュメントタイトルを分割する唯一の2つであり、その戦略は$N{=}32$以下で、上の4分の1の質問で使用される。
Reasoning-tokenの支出は、成功とはほとんど関係のないモデル間で$4.5\times$で変化し、候補セットが信頼性に見合う利得を伴わずに縮小するにつれて、トレースは増大する。
関連論文リスト
- Zero-Shot Self-Orchestration with Ledger-Based Control for Improved LLM Coding Performance [2.8543100656957883]
共有作業空間に対する管理作業者の足場の影響について検討する。
監督のオプス5は1回のパスで91%の得点を記録した。
マネジャーの実行はトークンの請求書を3倍にしますが、より大きなモデルに移行するよりも、より安価で精度が得られます。
論文 参考訳（メタデータ） (2026-08-27T00:11:41Z) - Learning When to Think: Adaptive Reasoning for Test-Time Compute Allocation [5.154153910688557]
モデルが3つのモードのうちの1つを選択することで、独自の推論作業の割り当てを学べるかどうかを検討する。
この選択は、別のルータなしで、グループ相対ポリシー最適化の中で学習される。
私たちは、各問題に対してどの程度の推論を行うかを適応的に選択する推論モデルを構築します。
論文 参考訳（メタデータ） (2026-08-20T16:54:08Z) - Watermark Forensics for Generative Models: An Information-Theoretic Perspective [21.787038393697056]
生成モデルの出力の透かしは通常、テキストが機械化されているかどうかのみ尋ねられる。
同じマークは、作成したユーザに属性付けしたり、隠されたペイロードを抽出したり、編集を生き残る部分をローカライズしたりできる。
S$ をマークが持つ秘密(ユーザのIDまたはペイロード)とし、情報プロファイル $(t)=I(S;X_tmid X_t)$レコードに、以前のものからすると、$t$-thトークンが約$S$を示すかを記録する。
論文 参考訳（メタデータ） (2026-07-14T17:49:52Z) - Scaffolding the Strategist: Architecture-Dependent Reasoning Interventions in Hotelling Spatial Markets [0.01269104766024433]
構造化推論の介入が大規模言語モデルの戦略的経済的推論を改善するかどうかを検討する。
GPT-4.1-mini(標準命令追従モデル)とGPT-5-mini(推論最適化モデル)を5条件で評価した。
足場型とモデルアーキテクチャ間の統計的に有意な相互作用を見出した。
論文 参考訳（メタデータ） (2026-07-03T10:23:31Z) - CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression [77.41779716950387]
本稿では,2チャンネル評価プロトコルであるCavewomanについて述べる。
我々は5つのデータセットの8つのモデルを5つの還元レベルで評価し、両方のチャネルは同じ項目で測定した。
論文 参考訳（メタデータ） (2026-06-23T02:56:48Z) - Human vs Machine Mathematical Difficulty on Project Euler: An Experimental Analysis [0.3070424190973324]
我々は,フロンティアAIシステムの取り組みと成功確率が,プロジェクト・オイラーの問題に対する人間の困難さとどのようにスケールするかを検討する。
MathArenaのベンチマークから得られたデータセットは、50の課題にまたがる3840の試行と26のモデル構成で構成されています。
論文 参考訳（メタデータ） (2026-06-20T10:01:18Z) - Stateful Reasoning via Insight Replay [51.85629502016196]
CoT(Chain-of-Thought)推論は,大規模言語モデルにおける多段階推論の基盤となっている。
この現象の主な原因は、CoTが成長するにつれて、トレースの早期に生成された重要な洞察に対するモデルの注意が徐々に弱まることである。
提案手法は、モデルがその推論トレースから定期的に重要な洞察を抽出し、アクティブな世代フロンティア付近で再生するステートフル推論手法である。
論文 参考訳（メタデータ） (2026-05-14T06:52:59Z) - What Do EEG Foundation Models Capture from Human Brain Signals? [64.48249643001402]
現代の脳波基礎モデルは、自己教師付き事前訓練を通じて生信号から直接学習する。
我々は3つのサブクエストに分解する: モデルが何を学習するか、モデルを何に使用するのか、そしてどのように説明できるのか。
3つの基礎モデル(CSBrain, CBraMod, LaBraM),5つの臨床タスク(MDD, Stress, ISRUC-Sleep, TUSL, Siena)と6ファミリー63機能レキシコンを含む。
論文 参考訳（メタデータ） (2026-05-12T01:57:53Z) - A$^2$Search: Ambiguity-Aware Question Answering with Reinforcement Learning [46.81869577197105]
A$2$Searchはアノテーションのないエンドツーエンドのトレーニングフレームワークで、曖昧さを認識し、扱います。
8つのオープンドメインQAベンチマークの実験では、A$2$Searchが新しい最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-10-09T08:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。