論文の概要: TinyTim: A Family of Language Models for Divergent Generation
- arxiv url: http://arxiv.org/abs/2508.11607v2
- Date: Thu, 30 Oct 2025 17:57:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-31 16:05:09.400554
- Title: TinyTim: A Family of Language Models for Divergent Generation
- Title（参考訳）: TinyTim: ダイバージェントジェネレーションのための言語モデルファミリー
- Authors: Christopher J. Agostino,
- Abstract要約: 言語モデルであるTinyTimを導入し,より広範なシステム内での分岐生成の源泉として機能する。
教師なし微調整モデル(TinyTim-V1)と新しい命令微調整モデル(TinyTim-V2)の定量的解析は、語彙的発明にとって重要な能力を示す。
この研究は、収束したシステムと組み合わせることで、問題を再編成し、統計的最適化の限界を超えるブレークスルーを強制することができる工学的分岐モデルのための方法論を確立する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the search for artificial general intelligence, model development and training has focused primarily on vast datasets of known problems and their accepted solutions. This process necessarily produces convergent systems which are fundamentally incapable of the conceptual reframing that is required for genuine creative breakthroughs. Inspired by the divergent cognitive processes that allow humans to make such creative leaps, our work introduces a family of language models, TinyTim, to serve as sources of divergent generation within broader systems. These models have been created by fine-tuning on the anti-parsimonious text of James Joyce's `Finnegans Wake'. Quantitative analysis of both an unsupervised fine-tuned model (TinyTim-V1) and a new instruction-tuned variant (TinyTim-V2) demonstrates a profound capacity for lexical invention; the foundational V1 model exhibits a Yule's K score for lexical richness over twenty times greater than that of convergent baselines. This trait is a stable property of the family, as the instruction-tuned V2 maintains a statistically distinct profile and resists factual convergence, sacrificing benchmark performance to preserve its core generative style. This work establishes a methodology for engineering specialized divergent models that, when paired with convergent systems, can reframe problems and force breakthroughs beyond the reach of statistical optimization alone.
- Abstract（参考訳）: 人工知能の探索において、モデル開発とトレーニングは主に既知の問題とその受け入れられた解決策の膨大なデータセットに焦点を当ててきた。
このプロセスは、真に創造的なブレークスルーに必要な概念的リフレーミングが根本的に不可能な収束システムを生成する必要がある。
私たちの研究は、人間の創造的な飛躍を可能にする多様な認知プロセスにインスパイアされ、より広いシステム内での分岐生成の源となる言語モデルであるTinyTimのファミリーを導入しました。
これらのモデルはジェームズ・ジョイスの『Finnegans Wake』の反散文を微調整して作られた。
教師なし微調整モデル (TinyTim-V1) と新しい命令調整モデル (TinyTim-V2) の定量的解析は、語彙的発明にとって重要な能力を示す。
この特性は、命令チューニングされたV2が統計的に異なるプロファイルを保持し、実際の収束に抵抗し、コア生成スタイルを維持するためにベンチマーク性能を犠牲にするため、ファミリーの安定した特性である。
この研究は、収束したシステムと組み合わせることで、問題を再編成し、統計的最適化の限界を超えるブレークスルーを強制することができる工学的分岐モデルのための方法論を確立する。
関連論文リスト
- UniG2U-Bench: Do Unified Models Advance Multimodal Understanding? [50.92401586025528]
統一マルチモーダルモデルは、最近強力な生成能力を示したが、生成が理解を改善したかどうかはまだ不明である。
提案するUniG2U-Benchは,G2U(Generation-to-understanding)評価を7つのシステマと30のサブタスクに分類する総合ベンチマークである。
論文 参考訳（メタデータ） (2026-03-03T18:36:16Z) - Understanding vs. Generation: Navigating Optimization Dilemma in Multimodal Models [21.9391057771634]
マルチモーダルモデルにおける生成と理解の潜在的な対立に対処する枠組みを提案する。
生成中のモデルの理解能力を明示的に活用することにより、最適化ジレンマを緩和することに成功した。
これは、次世代の統一マルチモーダルモデルを設計するための貴重な洞察を提供する。
論文 参考訳（メタデータ） (2026-02-17T18:04:13Z) - Endogenous Reprompting: Self-Evolving Cognitive Alignment for Unified Multimodal Models [23.128973540926552]
内因性再増殖は、モデルの理解を明確な生成的推論ステップに変換する。
評価精度,再現効率,生成品質において,SEERは一貫して最先端のベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2026-01-28T06:54:36Z) - Envision: Benchmarking Unified Understanding & Generation for Causal World Process Insights [41.385614383367205]
現在のモデルは、理解と生成を統一することで、単一モダリティ表現の限界を超越することを目的としている。
トレーニングと評価における静的な単一イメージ生成への依存は、静的パターンマッチングとセマンティックフュージョンに過度に適合する。
本稿では,連鎖型テキスト・マルチ画像生成のための因果事象進行ベンチマークEnvisionを提案する。
論文 参考訳（メタデータ） (2025-12-01T15:52:31Z) - RealUnify: Do Unified Models Truly Benefit from Unification? A Comprehensive Benchmark [71.3555284685426]
本稿では,双方向機能相乗効果を評価するためのベンチマークであるRealUnifyを紹介する。
RealUnifyは、10のカテゴリと32のサブタスクにまたがる、細心の注意を払ってアノテートされた1000のインスタンスで構成されている。
現在の統一モデルは、効果的な相乗効果を達成するのに依然として苦労しており、アーキテクチャの統一だけでは不十分であることを示している。
論文 参考訳（メタデータ） (2025-09-29T15:07:28Z) - Improving Constrained Generation in Language Models via Self-Distilled Twisted Sequential Monte Carlo [15.169258833686413]
制約付き生成設定では、スパース信号と非形式的な報酬信号によって学習が困難になる。
自己蒸留によってベースモデルを反復的に精錬することにより、モデルとターゲットとの整合性を徐々に高めることにより、この問題を軽減できることが示される。
論文 参考訳（メタデータ） (2025-07-03T05:00:21Z) - Continual Learning for Generative AI: From LLMs to MLLMs and Beyond [56.29231194002407]
本稿では,主流生成型AIモデルに対する連続学習手法の総合的な調査を行う。
これらのアプローチをアーキテクチャベース、正規化ベース、リプレイベースという3つのパラダイムに分類する。
我々は、トレーニング目標、ベンチマーク、コアバックボーンを含む、異なる生成モデルに対する連続的な学習設定を分析する。
論文 参考訳（メタデータ） (2025-06-16T02:27:25Z) - DDAE++: Enhancing Diffusion Models Towards Unified Generative and Discriminative Learning [53.27049077100897]
生成前訓練は差別的な表現をもたらし、統一された視覚生成と理解への道を開くことが示されている。
この研究は自己条件付けを導入し、ネットワークに固有のリッチなセマンティクスを内部的に活用し、独自のデコード層をガイドする。
提案手法は、FIDの生成と認識の精度を1%の計算オーバーヘッドで向上させ、多様な拡散アーキテクチャで一般化する。
論文 参考訳（メタデータ） (2025-05-16T08:47:16Z) - Towards Enhanced Image Generation Via Multi-modal Chain of Thought in Unified Generative Models [52.84391764467939]
統一生成モデルは、テキストおよび画像生成において顕著な性能を示した。
複雑な画像生成の課題に対処するために、思考の連鎖(CoT)を統一生成モデルに導入する。
実験により、FoXは様々なT2Iベンチマークで既存の統一モデルよりも一貫して優れていることが示された。
論文 参考訳（メタデータ） (2025-03-03T08:36:16Z) - LOLA -- An Open-Source Massively Multilingual Large Language Model [1.5704590739448838]
LOLAは160以上の言語で訓練された多言語大言語モデルである。
私たちのアーキテクチャと実装の選択は、言語多様性を活用するという課題に対処します。
学習したエキスパート・ルーティング機構は、暗黙の系統パターンを利用して、多言語性の呪いを和らげる可能性があることを示す。
論文 参考訳（メタデータ） (2024-09-17T15:23:08Z) - Evaluating Large Language Models on Controlled Generation Tasks [92.64781370921486]
本稿では,異なる粒度を持つ文計画ベンチマークを含む,様々なベンチマークを広範囲に分析する。
大規模言語モデルと最先端の微調整された小型モデルを比較した後、大規模言語モデルが後方に落ちたり、比較されたり、より小型モデルの能力を超えたりしたスペクトルを示す。
論文 参考訳（メタデータ） (2023-10-23T03:48:24Z) - Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure [66.33623392497599]
テンプレート・コンテント構造(T-C構造)と呼ばれる構造は指数レベルから線形レベルへの可能な空間を減少させることができることを示す。
モデルがタスク構成を達成でき、線形から対数への学習に必要なスペースをさらに削減できることを実証する。
論文 参考訳（メタデータ） (2023-10-09T06:57:45Z) - UniDiff: Advancing Vision-Language Models with Generative and
Discriminative Learning [86.91893533388628]
本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。
UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
論文 参考訳（メタデータ） (2023-06-01T15:39:38Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳（メタデータ） (2023-01-27T18:59:01Z) - Model Criticism for Long-Form Text Generation [113.13900836015122]
我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。
我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。
トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
論文 参考訳（メタデータ） (2022-10-16T04:35:58Z) - Reverse Engineering Configurations of Neural Text Generation Models [86.9479386959155]
モデル選択の結果、機械が生成したテキストに現れるアーティファクトの研究は、新しい研究領域である。
我々は、モデリング選択が検出可能なアーティファクトを生成テキストに残すかどうかを確認するために、広範囲な診断テストを実行する。
我々の重要な発見は、厳密な実験によって裏付けられ、そのような成果物が存在することと、生成されたテキストのみを観察することで異なるモデリング選択を推測できることである。
論文 参考訳（メタデータ） (2020-04-13T21:02:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。