論文の概要: Learning Permutation from Structure Without Supervision

• arxiv url: http://arxiv.org/abs/2605.25551v1
• Date: Mon, 25 May 2026 08:08:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.457937
• Title: Learning Permutation from Structure Without Supervision
• Title（参考訳）: スーパービジョンのない構造から順応を学ぶ
• Authors: Ran Eisenberg, Ofir Lindenbaum,
• Abstract要約: 教師なしの構造から学ぶことは、一様でない不確実性を引き起こす。 既存の制御方法は、この過程を1つの大域温度で制御する。 本稿では,割り当ての不確実性に基づいて温度を局所的に変調するエントロピー適応型Gumbel-Sinkhornの定式化を導入する。
• 参考スコア（独自算出の注目度）: 16.16926085760151
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many learning problems require uncovering a hidden ordering that reveals structure in unordered data, such as monotonicity in sorting or spatial continuity in jigsaw reconstruction. In these settings, permutations can be learned as latent operators by optimizing objectives defined directly on the reordered output, often without access to ground-truth orderings. Differentiable relaxations such as Gumbel-Sinkhorn make this approach practical by approximating permutation matrices with doubly stochastic matrices. However, learning from structure without supervision induces a non-uniform uncertainty: some assignments become confident early, while others remain ambiguous. Existing methods control this process using a single global temperature, forcing all assignments to sharpen or diffuse simultaneously and leading to instability at scale. We introduce an entropy-adaptive formulation of Gumbel-Sinkhorn that locally modulates temperature based on assignment uncertainty. This allows confident assignments to discretize early while preserving exploration where uncertainty remains. Across sorting and jigsaw reconstruction tasks and in routing-style settings, adaptive entropy control improves training stability and final permutation quality relative to fixed-temperature baselines, particularly as problem size and assignment ambiguity increase.
• Abstract（参考訳）: 多くの学習問題は、ソートにおける単調性やジグソー再構成における空間連続性のような、順序のないデータの構造を明らかにする隠された順序を明らかにする必要がある。 これらの設定では、置換は、しばしば接地的順序付けにアクセスすることなく、順序付けされた出力に直接定義された目的を最適化することにより、潜在演算子として学習することができる。 Gumbel-Sinkhorn のような微分緩和は、置換行列を2つの確率行列で近似することで、このアプローチを実践する。 しかし、監督なしで構造から学ぶことは、一様でない不確実性を引き起こす。 既存の方法は、この過程を単一の大域温度で制御し、全ての割り当てを同時に研ぎ澄ませたり拡散させたりさせ、スケールの不安定を招いた。 本稿では,割り当ての不確実性に基づいて温度を局所的に変調するエントロピー適応型Gumbel-Sinkhornの定式化を導入する。 これにより、確実な課題が早期に識別され、不確実性が存在する場所を探索することが可能になる。 ソートやジグソー再構成タスク、ルーティングスタイルの設定において、アダプティブエントロピー制御は、特に問題サイズや割り当てあいまいさが増大するにつれて、固定温度ベースラインに対するトレーニング安定性と最終的な置換品質を改善する。

関連論文リスト

• Learning Unbiased Permutations via Flow Matching [22.51828421737954]
  PermFlowは、置換学習のための条件付きフローマッチングフレームワークである。 単一のモードに折り畳むのではなく、マルチモーダルな置換分布をキャプチャする。 あいまいな入力に対して高い精度を実現し、あいまいさの下で両方の有効な置換を復元する。
  論文  参考訳（メタデータ） (2026-05-16T02:10:35Z)
• Explicit Dropout: Deterministic Regularization for Transformer Architectures [55.09895958546215]
  ドロップアウトはディープラーニングにおいて広く使われている正規化手法であるが、その効果は一般的にマスキングによって実現される。 トレーニング損失に直接組み込まれた加算正則化器としてドロップアウトを表現する決定論的定式化を提案する。
  論文  参考訳（メタデータ） (2026-04-22T12:45:51Z)
• Task Switching Without Forgetting via Proximal Decoupling [43.88767637201092]
  継続的な学習において、最大の課題は、古い知識を忘れずに新しい情報を学ぶことである。 一般的な解決策は、このトレードオフを正規化を通じて解決し、以前のタスクに不可欠なパラメータの変更を罰する。 本稿では,作業者の分割によるタスク学習と安定性の強化を分離するアプローチを提案する。
  論文  参考訳（メタデータ） (2026-04-20T21:28:13Z)
• From Order to Distribution: A Spectral Characterization of Forgetting in Continual Learning [28.30104646642165]
  citetevron2022catastrophic analyzes forgeting under random orderings of a fixed task collection. 本研究では,タスク分布を$$でサンプリングし,生成する分布自体がいかにして忘れを抑えるのかを問う。
  論文  参考訳（メタデータ） (2026-04-15T04:29:00Z)
• Learn to Rank: Visual Attribution by Learning Importance Ranking [58.69028273772474]
  コンピュータビジョンモデルのための視覚属性マップを生成する新しい手法を提案する。 提案手法は, 任意の数段階の勾配補正を施した1つの前方通過において, 密度の高い画素レベルの属性を生成する。 我々の実験は、一貫した定量的改善と、よりシャープで境界に沿った説明を示す。
  論文  参考訳（メタデータ） (2026-04-07T12:53:22Z)
• Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
  継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。 既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。 本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2026-01-31T13:27:02Z)
• Generating Sequences by Learning to Self-Correct [64.0249217590888]
  自己補正(Self-Correction)は、不完全な世代を反復的に修正する独立した修正器から不完全なベースジェネレータを分離する。 本稿では,3つの多種多様なタスクにおいて,自己補正がベースジェネレータを改善することを示す。
  論文  参考訳（メタデータ） (2022-10-31T18:09:51Z)
• Leveraging Recursive Gumbel-Max Trick for Approximate Inference in Combinatorial Spaces [4.829821142951709]
  構造化潜在変数は、深層学習モデルに意味のある事前知識を組み込むことができる。 標準的な学習手法は、潜伏変数をアルゴリズム出力として定義し、訓練に微分可能な代理語を使用することである。 我々は、Gumbel-Maxトリックを拡張して、構造化領域上の分布を定義する。
  論文  参考訳（メタデータ） (2021-10-28T12:46:10Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• Self-Supervised Learning of Audio Representations from Permutations with Differentiable Ranking [35.644680012765356]
  我々は、音声信号のスペクトルのシャッフル部分の並べ替えをモデルに事前学習することで、置換から自己教師付き学習を進める。 逆順列は教師なしの方法で音声表現を学習するための有意義な前文課題であることを示す。
  論文  参考訳（メタデータ） (2021-03-17T19:36:04Z)
• Provably End-to-end Label-Noise Learning without Anchor Points [118.97592870124937]
  本稿では,アンカーポイントを使わずにラベルノイズ学習を実現するためのエンドツーエンドフレームワークを提案する。 提案フレームワークでは,クリーンなクラス後確率が十分に分散している場合,遷移行列を同定できる。
  論文  参考訳（メタデータ） (2021-02-04T03:59:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。