TimeMixer++是一个改进的时光序列领会模子,通过多标准和多区分率的手段正在多个职业上超越了现有模子,映现了时光序列领会的新视角,正在预测和分类等职业带来了更高简直切性和伶俐性。
正在数据驱动的时期,时光序列领会成为了很多规模中不行或缺的一个人,例如形势预测、医学症状分类、航天器的极度检测、以及传感器数据中缺失数据的填充等等,这些应工的确涉及到时光序列预测、分类、极度检测、缺失值填充等职业。
近些年来,蕴涵Transformer架构正在内的一系列职业,固然正在细分职业上表现优越的功能超越,但因为缺乏伶俐和通用的时序特性的提取本事,无法成为通用的模子架构。
为明了决这些题目,来自MIT、港科大、浙大以合格里菲斯大学的华人团队撮合推出了一种全新的深度模子架构TimeMixer++,正在长程时序预测、短程时序预测、时序分类、极度检测等8项时序职业上的出力总共超越了Transformer等模子,杀青了通用的时光序列修模和使用。
TimeMixer++的通用本事得益于其或许提取通用的时序特性,针对差异职业,模子自适宜地研习了差异的隐空间表征,表现出壮健的伶俐度和有用性。
论文提出了「时序特性呆板」(Time Series Pattern Machine, TSPM)的观点,举动一个能正在平凡时序职业中再现优越的模子,必需能提取各类各样的时序特性超越,以适宜职业的央求。
时光序列是从络续的实际寰宇中以差异标准举办采样获得的(如秒、分钟、幼时),而差异标准下表现的周期性是差异的。该多标准、多周期性的特色,指挥了模子架构的打算。
TimeMixer++基于时域(多标准)和频域(多频率/周期)的音信,将每一条时光序列转化为多区分率时序图(Multi-Resolution Time Images),并对每一个时序图正在深度空间中举办解耦和混淆,最终提取多标准、多周期的特性。
2. Time Image Decomposition (TID):TID通过横轴和纵轴两个轴向的预防力机造,从每一个时序图中解耦时令-趋向,获得时令图和趋向图。
3. Multi-Scale Mixing (MCM):MCM担任将差异标准上的时令图和趋向图分辩举办混淆,鉴于图的情势超越,论文采用了卷积和反卷积的操作。
MCM以时令和趋向混淆为动力,将时令图由细粒度到粗粒度渐渐鸠合,并应用较粗标准的先验常识深化发掘宏观趋向音信,最终杀青过去音信提取中的多标准混淆。对趋向图超越,则采用由粗粒度到细粒度的渐渐鸠合。
为了验证TimeMixer++的功能,作家正在蕴涵长程预测,短程预测,时序分类,极度检测,填充,少样本/零样本预测等8个时序主流职业进取行测试。实践结果标明,TimeMixer++正在多个目标上总共超越了目下最前辈的Transformer模子,的确再现如下:
正在长程时序预测中,TimeMixer++正在9/12的目标上超越了近几年的预测模子。
正在单变量和多变量的短程预测职业中,TimeMixer++全方位超越了近几年的其他模子。
正在缺失值填充职业中,TimeMixer++同样仍旧了当先上风,正在险些全豹目标和数据上超越了其他模子超越。
正在穷苦的分类职业和极度检测职业中,TimeMixer++依旧正在全豹模子中得到了最好的后果,击败了诸多专为该职业打算的时序模子。
正在零样本预测的创立下,TimeMixer++再现得到了第一,解释提取到通用的时序特性,而并非得益于过拟合。
通过可视化领会,标明TimeMixer++将时光序列瓦解为多组时令图和趋向图,能够从时域和频域两个角度,全方位提取时序的特性。差异标准和频率条款下超越,时令性和趋向性有明显不同。
TimeMixer++正在内存占用和操练时光上再现出高效性,同时仍旧了有逐鹿力的MSE分数。正在气候数据弥补和ETTm1长远预测职业中,相较于其他模子,具备更低的内存占用和较疾的操练时光,且能有用捕获长程依赖相干。
作家举办了熔解实践验证TimeMixer++架构的合理性。结果标明已有的多组模块打算正在绝大个人数据集上都得到了最优后果。
本文先容了一种全新的深度模子架构TimeMixer++,正在8个时光序列领会职业中总共超越了Transformer等模子,胜利杀青了通用的时光序列修模与使用。TimeMixer++的改进之处正在于将时光序列转化为图像,并正在时域与频域、多标准、多区分率下举办特性提取,从而提拔了模子的再现。
TimeMixer++的胜利不单为时序领会规模带来了新的思绪,也映现了一种全新的时序融会视角。异日,跟着更多优化技巧和使用场景的引入,信任TimeMixer++将进一步饱动时序预测技巧的生长,为各行业带来更大的价钱。突出Trans超越former完全跳级MIT等华人团队颁布通用时序TimeMixer++架构8项职司完全当先