論文の概要: Scaling Properties of Text Conditioning in Visual Generation

• arxiv url: http://arxiv.org/abs/2607.29679v1
• Date: Fri, 31 Jul 2026 17:56:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.840155
• Title: Scaling Properties of Text Conditioning in Visual Generation
• Title（参考訳）: ビジュアル・ジェネレーションにおけるテキスト・コンディショニングのスケーリング特性
• Abstract要約: 視覚生成におけるテキストコンディショニングのスケーリング特性について検討する。 収束拡散損失は、プロンプト内の構造化言語量とともにスケールする。
• 参考スコア（独自算出の注目度）: 24.193043028806283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study empirical scaling properties for text conditioning in visual generation. Such properties have rarely been measured because diffusion loss does not scale with the number of tokens in natural-language prompts. Surprisingly, we find that the converged diffusion loss scales with the amount of structured language in the prompt. To quantify structured language, we adapt two complementary measures: a white-box likelihood metric (GPG) and a black-box attribute metric (ED). Across controlled training runs, the converged diffusion loss decreases approximately linearly with GPG and follows a power law with ED. Guided by these scaling properties, we improve \emph{diffusability} by constructing structured prompts with semantic and geometric annotations derived from images, and improve \emph{promptability} by training a prompter through supervised fine-tuning, cold-start, and verifier-gated on-policy distillation. The resulting system outperforms all evaluated open-weight models on nearly every compositional, reasoning, and world-knowledge benchmark, while matching or surpassing the strongest closed-weight models on most evaluations.
• Abstract（参考訳）: 視覚生成におけるテキストコンディショニングのための経験的スケーリング特性について検討する。 このような性質は、拡散損失が自然言語のプロンプトのトークン数と一致しないため、ほとんど測定されていない。 意外なことに、収束拡散損失は、プロンプト内の構造化言語量とともにスケールする。 構造化言語を定量的に評価するために,ホワイトボックス度量(GPG)とブラックボックス属性量(ED)の2つの相補的尺度を適用した。 制御されたトレーニング全体を通して、収束拡散損失はGPGとほぼ直線的に減少し、EDの電力法則に従う。 これらのスケーリング特性によって、画像から派生した意味的および幾何学的アノテーションで構造化されたプロンプトを構築することにより、emph{diffusability}を改善し、教師付き微調整、コールドスタート、バリデーション付きオンポリケート蒸留を通じてプロンプトを訓練することで、emph{promptability}を改善する。 結果のシステムは、ほぼすべての構成、推論、世界知識のベンチマークで評価されたオープンウェイトモデルよりも優れており、ほとんどの評価において最強のクローズトウェイトモデルに適合または超越している。

関連論文リスト

• Tensor Methods for Language Models: From Token Representation to Training, Adaptation, Inference, Compression, and Interpretability [7.0990426651132]
  大規模言語モデル(LLM)はトークン表現、重み付け、適応更新、キャッシュ、アクティベーションなどの構造化された高次元オブジェクトから構築される。 トークン化、埋め込み、事前学習、適応、圧縮、推論、解釈可能性をカバーする7段階のライフサイクル分類を提供する。 また,理論記憶量削減とシステムレベル高速化の圧縮実現ギャップの尺度である$_rm gap$を導入する。
  論文  参考訳（メタデータ） (2026-08-31T09:38:37Z)
• GRAIN: Bridging Name and Narrative Shifts in Real-World Graph Reasoning through Invariance-Rewarded Agentic RL [34.35715901787783]
  強化学習により最適化された単一エージェントフレームワークであるGRAINを提案する。 GRAINはセマンティック解析とツール実行パイプラインとして推論をモデル化する。 マルチエージェントベースラインの精度は16.45%向上し、レイテンシは約24%低下した。
  論文  参考訳（メタデータ） (2026-08-27T13:53:52Z)
• TERGAD: Structure-Aware Text-Enhanced Representations for Graph Anomaly Detection [15.051477921035264]
  Graph Anomaly Detection (GAD) は、ノード、エッジ、サブ構造などの非定型的なグラフエンティティを、多数派から大きく逸脱することを目的としている。 既存のテキストリッチアプローチは通常、生のテキスト機能を使って構造的コンテキストをデータ表現パイプラインに統合する。 本稿では,大規模言語モデルの意味論的推論機能を通じてGADの構造的意味論を充実させる新しいデータ拡張フレームワークであるTERGADを提案する。
  論文  参考訳（メタデータ） (2026-05-19T12:09:36Z)
• Monitoring Neural Training with Topology: A Footprint-Predictable Collapse Index [51.56484100374058]
  我々は,MHM(Modular Morse Homology maintenance)とCI(Composite Collapse Index)を併用したオンライントポロジ対応型神経表現モニタを提案する。 コンプレックスを再構築する代わりに、スパース編集を一定のスケールで適用し、離散的なモースマッチングを維持し、高速でインクリメンタルな更新をもたらす。
  論文  参考訳（メタデータ） (2026-04-28T19:21:21Z)
• Compensating Visual Insufficiency with Stratified Language Guidance for Long-Tail Class Incremental Learning [50.795452298625996]
  ロングテールクラスのインクリメンタルラーニング(LT CIL)は、テールクラスのサンプルの不足が学習を妨げているため、依然として非常に困難である。 これらの問題に対処するために、言語知識の情報性とスケーラビリティを活用します。 階層化適応型言語指導を導入し、学習可能な重みを利用してマルチスケールの意味表現をマージする。
  論文  参考訳（メタデータ） (2026-03-23T08:50:00Z)
• Sparse Semantic Dimension as a Generalization Certificate for LLMs [53.681678236115836]
  Sparse Semantic Dimension (SSD)は,モデル層上で訓練されたSparse Autoencoder (SAE)のアクティブな特徴語彙から導かれる複雑性尺度である。 我々はGPT-2 Small と Gemma-2B でこの枠組みを検証し、実際のサンプルサイズで非空き証明書を提供することを実証した。
  論文  参考訳（メタデータ） (2026-02-11T21:45:18Z)
• Mixture-of-Experts Models in Vision: Routing, Optimization, and Generalization [0.0]
  画像分類設定におけるMoEの挙動について検討し、予測性能、専門家の活用、一般化に着目した。 我々は、CIFAR10データセット上の密度、SoftMoE、SparseMoE分類器を、同等のモデルキャパシティで比較する。 どちらのMoE変種も、正規化によるバランスの取れた専門家の利用を維持しながら、密度の高いベースラインよりもわずかに高い検証精度を達成する。 DenseとSparseMoEは、全てのモデルが同等の一般化性能を達成しているにもかかわらず、同様の曲率状態にあるのに対して、SoftMoEはこれらの指標によってよりシャープさを示す。
  論文  参考訳（メタデータ） (2026-01-21T14:22:25Z)
• Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
  大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。 グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。 グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
  論文  参考訳（メタデータ） (2026-01-13T03:35:18Z)
• Spectral Archaeology: The Causal Topology of Model Evolution [0.0]
  振る舞いベンチマークは、モデルが何をするかをTextithowに教えてくれますが、textithowではありません。 本研究では,アテンショングラフスペクトルを用いた無トレーニングメカニスティックプローブを提案する。 12のモデルと10の言語にまたがって、標準評価で欠落した不連続を露呈する「安定な指紋」が得られる。
  論文  参考訳（メタデータ） (2026-01-06T21:26:54Z)
• Generating Generalised Ground-State Ansatzes from Few-Body Examples [0.0]
  量子多体系のための基底状態アンサーゼを生成する手法を提案する。 相関関係をエンコードし、有限サイズの効果を捉え、基底状態のエネルギーを正確に予測し、臨界現象のよい記述を提供する。
  論文  参考訳（メタデータ） (2025-03-01T13:52:57Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Categorizing Semantic Representations for Neural Machine Translation [53.88794787958174]
  ソースの文脈化表現に分類を導入する。 主な考え方は、スパーシリティとオーバーフィッティングを減らして一般化を強化することである。 MTデータセットを用いた実験により,提案手法は構成一般化誤差率を24%削減することを示した。
  論文  参考訳（メタデータ） (2022-10-13T04:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。