論文の概要: The Communication Bottleneck: A Round-Trip Study of Tree-Structured Expression Serialization in Language Models

• arxiv url: http://arxiv.org/abs/2609.21509v2
• Date: Mon, 21 Sep 2026 07:59:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.223556
• Title: The Communication Bottleneck: A Round-Trip Study of Tree-Structured Expression Serialization in Language Models
• Title（参考訳）: コミュニケーション・ボトルネック:言語モデルにおける木構造表現のシリアライズに関するラウンドトリップ研究
• Abstract要約: 本稿では,木構造表現を実証的に解答するラウンドトリッププロトコルを提案する。 抽出品質から生成品質を分離した通信行列を評価する。 その結果,木構造表現のシリアライゼーションを,モデルが自然言語を介して階層構造を伝達する場合の一次制限因子として同定した。
• 参考スコア（独自算出の注目度）: 13.324696639958786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When language models reason in chain-of-thought or exchange free-text intermediates, they serialize structured information into natural language. How much tree-structured compositional content survives this bottleneck? We propose a round-trip protocol that answers this question empirically for tree-structured expressions. A generator converts a procedurally generated arithmetic expression into a word problem, a separate extractor recovers the expression from the word problem alone, and symbolic equivalence provides an exact oracle. Evaluating all pairwise combinations of sixteen models yields a communication matrix whose marginals separate generation quality from extraction quality. Three main findings emerge. First, the channel is lossy and asymmetric: swapping which model generates and which extracts shifts accuracy by up to 60.4 points, and the best pair reaches 92.9% by combining different models on each end rather than the same model on both. Second, at least 73.6% of round-trip failures originate at generation, and difficulty is driven by tree structure (operator count, depth, right-branching) rather than model family. Third, the channel is trainable: ~3600 fine-tuning examples that share the evaluation's operators and tree shapes lift every open-weight model above untrained Gemini-3.1-Pro, an upper bound under matched semantics. A disjoint-domain regime with new operators and vocabulary also raises every open-weight model, confirming the gain is not an artifact of matched semantics, though a gap to the frontier remains. Together these results identify tree-structured expression serialization as a primary limiting factor when models communicate hierarchical structure through natural language.
• Abstract（参考訳）: 言語モデルがチェーン・オブ・シンクで理にかなったり、自由テキスト中間体を交換する場合、構造化された情報を自然言語にシリアライズする。 木構造による構成的コンテンツはこのボトルネックをどれだけ生き残るのか? 本稿では,木構造表現に対して経験的にこの問題に答えるラウンドトリッププロトコルを提案する。 生成器は、手続き的に生成された算術式を単語問題に変換し、分離抽出器は単語問題のみから表現を回収し、記号等価性は正確なオラクルを提供する。 16モデルの任意のペアの組合せを評価すると、出力品質と抽出品質を区別した通信行列が得られる。 主な発見は3つある。 まず、チャネルは損失が多く非対称であり、どのモデルが生成し、どのモデルが60.4ポイントまで精度をシフトするかを交換し、最良のペアは同じモデルではなく、両端で異なるモデルを組み合わせることで92.9%に達する。 第2に、ラウンドトリップ障害の少なくとも73.6%は世代によって発生し、困難はモデルファミリーではなくツリー構造(演算数、深さ、右ブランチ)によって引き起こされる。 評価の演算子と木の形状を共有する3600個の微調整例は、トレーニングされていないジェミニ-3.1-Proの上にすべてのオープンウェイトモデルを持ち上げる。 新たな演算子と語彙を持つ非結合領域体制は、全てのオープンウェイトモデルも上昇し、利得が一致した意味論の成果ではないことを確認したが、フロンティアとのギャップは残る。 これらの結果は、モデルが自然言語を介して階層構造を伝達する際、木構造式シリアライゼーションを一次制限因子として同定する。

関連論文リスト

• Learning Auditable Classifier Models: Source-Disjoint Tree Ensembles [0.0]
  臨床および規制された設定における予測モデルは正確で、完全に監査可能である必要がある。 本稿では,3段階学習手法であるResidual Pattern Tree Ensemble(RPTE)を紹介する。 RPTEは、有界特徴予算(bounded feature budget)、ソースの不整合(source disjointness)、別個の係数推定という3つの重要な原則に基づいている。
  論文  参考訳（メタデータ） (2026-08-16T12:56:49Z)
• Mapping and Measuring the Behavioral Evolution of Large Language Models [28.603443859513153]
  ベンチマークのリーダーボードは、言語モデルのパフォーマンスを概説するが、その振る舞いが他のモデルとどのように関係しているか、世代によって異なる。 1万のプロンプトの共有バンクに対する応答を用いて、6つのファミリーから32モデルの出力挙動を特徴付ける。
  論文  参考訳（メタデータ） (2026-08-11T15:07:28Z)
• Compositional Generalization without Trees using Multiset Tagging and Latent Permutations [121.37328648951993]
  まず、各入力トークンに複数の出力トークンをタグ付けします。 次に、新しいパラメータ化法と置換予測法を用いて、トークンを出力シーケンスに配置する。 我々のモデルは、事前訓練されたセq2seqモデルと、現実的なセマンティック解析タスクに関する先行研究より優れている。
  論文  参考訳（メタデータ） (2023-05-26T14:09:35Z)
• Characterizing Intrinsic Compositionality in Transformers with Tree Projections [72.45375959893218]
  トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。 3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。 これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
  論文  参考訳（メタデータ） (2022-11-02T17:10:07Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Latent Tree Learning with Ordered Neurons: What Parses Does It Produce? [2.025491206574996]
  潜在木学習モデルは、人間に注釈を付けた木構造に触れることなく、選挙区解析を学習することができる。 ON-LSTMは言語モデリングのトレーニングを受けており、教師なし構文解析の最先端性能を持つ。 私たちは、異なる再起動でモデルを複製し、それらのパースを調べます。
  論文  参考訳（メタデータ） (2020-10-10T07:12:48Z)
• Span-based Semantic Parsing for Compositional Generalization [53.24255235340056]
  SpanBasedSPは入力発話上のスパンツリーを予測し、部分的なプログラムが入力内のスパンをどのように構成するかを明示的に符号化する。 GeoQuery、SCAN、CLOSUREでは、SpanBasedSPはランダムスプリットの強いseq2seqベースラインと似ているが、構成一般化を必要とするスプリットのベースラインに比べて劇的に性能が向上する。
  論文  参考訳（メタデータ） (2020-09-13T16:42:18Z)
• Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach [78.77265671634454]
  我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。 Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
  論文  参考訳（メタデータ） (2020-05-12T15:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。