论文信息 Representational Continuity for Unsupervised Continual Learning 会议：ICLR 2022 (Oral) 作者： 纽约大学、韩国科学院、清华大学智能产业研究院等 一、场景：无监督持续学习 设持续学习包含 $T$ 个任务，当前正在学习第 $\tau$ 个任务。持...

今天我的个人网站就搭建成功啦。为什么要搭个人网站呢，其实主要还是导师的建议：做科研要有笔记。之前的习惯是用iPad在论文上或书上勾勾画画，缺点就是太容易忘，需要用到时全凭记忆。整理成笔记的过程也是内化为自己知识的过程，还可以和别人分享，省去亲自讲的时间。希望这次搭的网站能让这个习惯坚持下去，为自己带来一些提升吧。 说到分享，其实做过一个公众号，叫“应用数学博士周记”，在刚入学的时候试图严格...

乐谱已上传至 MuseScore 和 B站，有实时的声音与乐谱对照。 我的编配版本忠于中国人民解放军军乐团《钢铁洪流进行曲》官方原版。 一声部负责短笛的装饰；二、三两个声部负责主要旋律，增加气势；四声部负责低音与和声。各声部选择合适的变音器即可，二、三声部尽量区分高低。 后面有一段滑音是模仿了原曲（听上去是木管乐器）的滑音，可能有些诡异，想修改但没什么思路。欢迎大家提提意见。 乐谱P...

本文总结 PyTorch 是如何实现深度学习训练中的各种技巧与细节，包括防止过拟合、参数初始化、优化器、损失函数、超参数优化等等。关于这部分知识，我在这篇笔记中有系统的总结。本文的编排顺序基本与这篇笔记对应（数据预处理部分在介绍 Dataset 类型的笔记中，调参、学习曲线等放在 PyTorch 工程性知识的笔记中）。此外，还有一篇笔记总结了深度学习训练的实践经验，可供参考。 本文参考 D...

本文介绍 PyTorch 与计算性能有关的代码知识，包括如何使用 GPU、并行计算、多服务器计算等等。本文参考 Dive into Deep Learning (PyTorch 版) 中的以下内容： 5.6 节：GPU； 第 12 章：计算性能； 深度学习与 GPU 众所周知，深度学习计算可以使用 GPU，往往能极大提高效率。GPU 用于深度学习时与其他任务不同，它更偏向...

本文汇总使用 PyTorch 搭建项目时的一些边缘性的工程性知识，让代码真正地成为一个完整的深度学习项目。这部分内容包括如何可视化数据、读写训练进度等。本文参考 Dive into Deep Learning (PyTorch 版) 中的以下内容： 5.5 节：读写文件； 我也写过一个持续学习项目 HAT 的代码笔记，有助于理解一个完整的深度学习项目是如何写出来的，请参考：<...

在中国的方言中，粤语和闽南语属于是有一整套体系的。我一个正宗北方人，最近对这些总也听不懂的语言产生了好奇，想了解一下。以我的直观感受，我觉得粤语听起来很飒、意气风发，闽南语更加温婉、亲切，有很重的烟火气。个人还是更喜欢闽南语的腔调，这篇文章就是我这个北方人试图牙牙学语总结的东西，应该是很生硬、不地道的，闽南和台湾的朋友见笑啦～ 不过我是很认真在学哦！ 我在百度上是在搜不出系统的闽南语资源，...

本文介绍如何自定义模型，即 nn.Module 模块的逻辑与使用方法。由此可以搭建自己的深度网络结构。本文参考 Dive into Deep Learning (PyTorch 版) 中的以下内容： 5.1、5.6 节：层和块，自定义层。 nn.Module 官方文档：https://pytorch.org/docs/stable/generated/torch.nn.Module...

本文总结 PyTorch 中与数据集以及对它的预处理的知识。知乎的这篇文章讲得不错，言简意赅。也可参考官方教程。 PyTorch 中的数据集都是定义了一个 torch.utils.data.Dataset 类型，数据集都是这个类型的实例。必须这样做，因为后面构造 Dataloader 只接收 Dataset 类型，而整个训练过程都是对 Dataloader 的操作。我们已经在笔记（一）...

本系列博文是我学习深度学习框架的学习笔记。深度学习框架大同小异，只须学习一种的原理，其他的都可以快速上手。我使用的是 PyTorch。笔记将着重强调代码原理、思想的理解，而不是具体的代码。 PyTorch 官方文档：https://pytorch.org/docs/stable/index.html PyTorch 中文文档：https://pytorch-cn.readthed...