尽管近年来深度学习在很多单项任务上取得了相当或超过人类水平的成绩， 这些深度学习模型都是为固定的任务所设计，无法动态地根据环境而更新。 这意味着每当有来自新的分布的数据输入的时候，此类模型都需要同时在整个历史数据上重新进行训练。 显然，在持续变化的现实情境中，进行这种数量级的训练是不现实的。

如果在加入来自新分布的数据时不在旧数据上做上述的重新训练， 那么这些针对单一任务的模型很可能会在最近输入的数据上发生过拟合。 这种现象被称为灾难性遗忘 (catastrophic forgetting)。如果数据本身就存在分布漂移， 同样也会发生灾难性遗忘。事实上，灾难性遗忘是深度学习模型所面临的一个更基本的问题的结果： “stability-plasticity” dilemma。此处 plasticity 指的是模型融合新的知识的能力， 而 stability 即为模型在学习新知识的同时保持就知识的能力。

连续学习 (Continual Learning or Lifelong Learning)， 即是一个模型在一个连续序列不同任务上学习的能力。该序列中的新任务通常与旧任务相关联。 连续学习旨在防止模型的灾难性遗忘，能够在有效学习新任务的同时维持在历史任务上的表现。 连续学习是一个模型适应快速变化的现实情景的关键，对于实现真正的人工智能十分重要。