CS-Notes/docs/notes/算法 - 排序.md
2019-06-08 12:03:33 +08:00

588 lines
19 KiB
Java
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

<!-- GFM-TOC -->
* [约定](#约定)
* [选择排序](#选择排序)
* [冒泡排序](#冒泡排序)
* [插入排序](#插入排序)
* [希尔排序](#希尔排序)
* [归并排序](#归并排序)
* [1. 归并方法](#1-归并方法)
* [2. 自顶向下归并排序](#2-自顶向下归并排序)
* [3. 自底向上归并排序](#3-自底向上归并排序)
* [快速排序](#快速排序)
* [1. 基本算法](#1-基本算法)
* [2. 切分](#2-切分)
* [3. 性能分析](#3-性能分析)
* [4. 算法改进](#4-算法改进)
* [5. 基于切分的快速选择算法](#5-基于切分的快速选择算法)
* [堆排序](#堆排序)
* [1. ](#1-)
* [2. 上浮和下沉](#2-上浮和下沉)
* [3. 插入元素](#3-插入元素)
* [4. 删除最大元素](#4-删除最大元素)
* [5. 堆排序](#5-堆排序)
* [6. 分析](#6-分析)
* [小结](#小结)
* [1. 排序算法的比较](#1-排序算法的比较)
* [2. Java 的排序算法实现](#2-java-的排序算法实现)
<!-- GFM-TOC -->
# 约定
待排序的元素需要实现 Java Comparable 接口该接口有 compareTo() 方法可以用它来判断两个元素的大小关系
使用辅助函数 less() swap() 来进行比较和交换的操作使得代码的可读性和可移植性更好
排序算法的成本模型是比较和交换的次数
```java
public abstract class Sort<T extends Comparable<T>> {
public abstract void sort(T[] nums);
protected boolean less(T v, T w) {
return v.compareTo(w) < 0;
}
protected void swap(T[] a, int i, int j) {
T t = a[i];
a[i] = a[j];
a[j] = t;
}
}
```
# 选择排序
从数组中选择最小元素将它与数组的第一个元素交换位置再从数组剩下的元素中选择出最小的元素将它与数组的第二个元素交换位置不断进行这样的操作直到将整个数组排序
选择排序需要 \~N<sup>2</sup>/2 次比较和 \~N 次交换它的运行时间与输入无关这个特点使得它对一个已经排序的数组也需要这么多的比较和交换操作
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/bc6be2d0-ed5e-4def-89e5-3ada9afa811a.gif" width="230px"> </div><br>
```java
public class Selection<T extends Comparable<T>> extends Sort<T> {
@Override
public void sort(T[] nums) {
int N = nums.length;
for (int i = 0; i < N - 1; i++) {
int min = i;
for (int j = i + 1; j < N; j++) {
if (less(nums[j], nums[min])) {
min = j;
}
}
swap(nums, i, min);
}
}
}
```
# 冒泡排序
从左到右不断交换相邻逆序的元素在一轮的循环之后可以让未排序的最大元素上浮到右侧
在一轮循环中如果没有发生交换那么说明数组已经是有序的此时可以直接退出
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/0f8d178b-52d8-491b-9dfd-41e05a952578.gif" width="200px"> </div><br>
```java
public class Bubble<T extends Comparable<T>> extends Sort<T> {
@Override
public void sort(T[] nums) {
int N = nums.length;
boolean isSorted = false;
for (int i = N - 1; i > 0 && !isSorted; i--) {
isSorted = true;
for (int j = 0; j < i; j++) {
if (less(nums[j + 1], nums[j])) {
isSorted = false;
swap(nums, j, j + 1);
}
}
}
}
}
```
# 插入排序
每次都将当前元素插入到左侧已经排序的数组中使得插入之后左侧数组依然有序
对于数组 {3, 5, 2, 4, 1}它具有以下逆序(3, 2), (3, 1), (5, 2), (5, 4), (5, 1), (2, 1), (4, 1)插入排序每次只能交换相邻元素令逆序数量减少 1因此插入排序需要交换的次数为逆序数量
插入排序的时间复杂度取决于数组的初始顺序如果数组已经部分有序了那么逆序较少需要的交换次数也就较少时间复杂度较低
- 平均情况下插入排序需要 \~N<sup>2</sup>/4 比较以及 \~N<sup>2</sup>/4 次交换
- 最坏的情况下需要 \~N<sup>2</sup>/2 比较以及 \~N<sup>2</sup>/2 次交换最坏的情况是数组是倒序的
- 最好的情况下需要 N-1 次比较和 0 次交换最好的情况就是数组已经有序了
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/35253fa4-f60a-4e3b-aaec-8fc835aabdac.gif" width="200px"> </div><br>
```java
public class Insertion<T extends Comparable<T>> extends Sort<T> {
@Override
public void sort(T[] nums) {
int N = nums.length;
for (int i = 1; i < N; i++) {
for (int j = i; j > 0 && less(nums[j], nums[j - 1]); j--) {
swap(nums, j, j - 1);
}
}
}
}
```
# 希尔排序
对于大规模的数组插入排序很慢因为它只能交换相邻的元素每次只能将逆序数量减少 1希尔排序的出现就是为了解决插入排序的这种局限性它通过交换不相邻的元素每次可以将逆序数量减少大于 1
希尔排序使用插入排序对间隔 h 的序列进行排序通过不断减小 h最后令 h=1就可以使得整个数组是有序的
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/7818c574-97a8-48db-8e62-8bfb030b02ba.png" width="450px"> </div><br>
```java
public class Shell<T extends Comparable<T>> extends Sort<T> {
@Override
public void sort(T[] nums) {
int N = nums.length;
int h = 1;
while (h < N / 3) {
h = 3 * h + 1; // 1, 4, 13, 40, ...
}
while (h >= 1) {
for (int i = h; i < N; i++) {
for (int j = i; j >= h && less(nums[j], nums[j - h]); j -= h) {
swap(nums, j, j - h);
}
}
h = h / 3;
}
}
}
```
希尔排序的运行时间达不到平方级别使用递增序列 1, 4, 13, 40, ... 的希尔排序所需要的比较次数不会超过 N 的若干倍乘于递增序列的长度后面介绍的高级排序算法只会比希尔排序快两倍左右
# 归并排序
归并排序的思想是将数组分成两部分分别进行排序然后归并起来
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/ec840967-d127-4da3-b6bb-186996c56746.png" width="300px"> </div><br>
## 1. 归并方法
归并方法将数组中两个已经排序的部分归并成一个
```java
public abstract class MergeSort<T extends Comparable<T>> extends Sort<T> {
protected T[] aux;
protected void merge(T[] nums, int l, int m, int h) {
int i = l, j = m + 1;
for (int k = l; k <= h; k++) {
aux[k] = nums[k]; // 将数据复制到辅助数组
}
for (int k = l; k <= h; k++) {
if (i > m) {
nums[k] = aux[j++];
} else if (j > h) {
nums[k] = aux[i++];
} else if (aux[i].compareTo(aux[j]) <= 0) {
nums[k] = aux[i++]; // 先进行这一步,保证稳定性
} else {
nums[k] = aux[j++];
}
}
}
}
```
## 2. 自顶向下归并排序
将一个大数组分成两个小数组去求解
因为每次都将问题对半分成两个子问题这种对半分的算法复杂度一般为 O(NlogN)
```java
public class Up2DownMergeSort<T extends Comparable<T>> extends MergeSort<T> {
@Override
public void sort(T[] nums) {
aux = (T[]) new Comparable[nums.length];
sort(nums, 0, nums.length - 1);
}
private void sort(T[] nums, int l, int h) {
if (h <= l) {
return;
}
int mid = l + (h - l) / 2;
sort(nums, l, mid);
sort(nums, mid + 1, h);
merge(nums, l, mid, h);
}
}
```
## 3. 自底向上归并排序
先归并那些微型数组然后成对归并得到的微型数组
```java
public class Down2UpMergeSort<T extends Comparable<T>> extends MergeSort<T> {
@Override
public void sort(T[] nums) {
int N = nums.length;
aux = (T[]) new Comparable[N];
for (int sz = 1; sz < N; sz += sz) {
for (int lo = 0; lo < N - sz; lo += sz + sz) {
merge(nums, lo, lo + sz - 1, Math.min(lo + sz + sz - 1, N - 1));
}
}
}
}
```
# 快速排序
## 1. 基本算法
- 归并排序将数组分为两个子数组分别排序并将有序的子数组归并使得整个数组排序
- 快速排序通过一个切分元素将数组分为两个子数组左子数组小于等于切分元素右子数组大于等于切分元素将这两个子数组排序也就将整个数组排序了
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/6234eb3d-ccf2-4987-a724-235aef6957b1.png" width="280px"> </div><br>
```java
public class QuickSort<T extends Comparable<T>> extends Sort<T> {
@Override
public void sort(T[] nums) {
shuffle(nums);
sort(nums, 0, nums.length - 1);
}
private void sort(T[] nums, int l, int h) {
if (h <= l)
return;
int j = partition(nums, l, h);
sort(nums, l, j - 1);
sort(nums, j + 1, h);
}
private void shuffle(T[] nums) {
List<Comparable> list = Arrays.asList(nums);
Collections.shuffle(list);
list.toArray(nums);
}
}
```
## 2. 切分
a[l] 作为切分元素然后从数组的左端向右扫描直到找到第一个大于等于它的元素再从数组的右端向左扫描找到第一个小于它的元素交换这两个元素不断进行这个过程就可以保证左指针 i 的左侧元素都不大于切分元素右指针 j 的右侧元素都不小于切分元素当两个指针相遇时将切分元素 a[l] a[j] 交换位置
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/c4859290-e27d-4f12-becf-e2a5c1f3a275.gif" width="320px"> </div><br>
```java
private int partition(T[] nums, int l, int h) {
int i = l, j = h + 1;
T v = nums[l];
while (true) {
while (less(nums[++i], v) && i != h) ;
while (less(v, nums[--j]) && j != l) ;
if (i >= j)
break;
swap(nums, i, j);
}
swap(nums, l, j);
return j;
}
```
## 3. 性能分析
快速排序是原地排序不需要辅助数组但是递归调用需要辅助栈
快速排序最好的情况下是每次都正好将数组对半分这样递归调用次数才是最少的这种情况下比较次数为 C<sub>N</sub>=2C<sub>N/2</sub>+N复杂度为 O(NlogN)
最坏的情况下第一次从最小的元素切分第二次从第二小的元素切分如此这般因此最坏的情况下需要比较 N<sup>2</sup>/2为了防止数组最开始就是有序的在进行快速排序时需要随机打乱数组
## 4. 算法改进
#### 4.1 切换到插入排序
因为快速排序在小数组中也会递归调用自己对于小数组插入排序比快速排序的性能更好因此在小数组中可以切换到插入排序
#### 4.2 三数取中
最好的情况下是每次都能取数组的中位数作为切分元素但是计算中位数的代价很高一种折中方法是取 3 个元素并将大小居中的元素作为切分元素
#### 4.3 三向切分
对于有大量重复元素的数组可以将数组切分为三部分分别对应小于等于和大于切分元素
三向切分快速排序对于有大量重复元素的随机数组可以在线性时间内完成排序
```java
public class ThreeWayQuickSort<T extends Comparable<T>> extends QuickSort<T> {
@Override
protected void sort(T[] nums, int l, int h) {
if (h <= l) {
return;
}
int lt = l, i = l + 1, gt = h;
T v = nums[l];
while (i <= gt) {
int cmp = nums[i].compareTo(v);
if (cmp < 0) {
swap(nums, lt++, i++);
} else if (cmp > 0) {
swap(nums, i, gt--);
} else {
i++;
}
}
sort(nums, l, lt - 1);
sort(nums, gt + 1, h);
}
}
```
## 5. 基于切分的快速选择算法
快速排序的 partition() 方法会返回一个整数 j 使得 a[l..j-1] 小于等于 a[j] a[j+1..h] 大于等于 a[j]此时 a[j] 就是数组的第 j 大元素
可以利用这个特性找出数组的第 k 个元素
该算法是线性级别的假设每次能将数组二分那么比较的总次数为 (N+N/2+N/4+..)直到找到第 k 个元素这个和显然小于 2N
```java
public T select(T[] nums, int k) {
int l = 0, h = nums.length - 1;
while (h > l) {
int j = partition(nums, l, h);
if (j == k) {
return nums[k];
} else if (j > k) {
h = j - 1;
} else {
l = j + 1;
}
}
return nums[k];
}
```
# 堆排序
## 1.
堆中某个节点的值总是大于等于其子节点的值并且堆是一颗完全二叉树
堆可以用数组来表示这是因为堆是完全二叉树而完全二叉树很容易就存储在数组中位置 k 的节点的父节点位置为 k/2而它的两个子节点的位置分别为 2k 2k+1这里不使用数组索引为 0 的位置是为了更清晰地描述节点的位置关系
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/f48883c8-9d8a-494e-99a4-317d8ddb8552.png" width="170px"> </div><br>
```java
public class Heap<T extends Comparable<T>> {
private T[] heap;
private int N = 0;
public Heap(int maxN) {
this.heap = (T[]) new Comparable[maxN + 1];
}
public boolean isEmpty() {
return N == 0;
}
public int size() {
return N;
}
private boolean less(int i, int j) {
return heap[i].compareTo(heap[j]) < 0;
}
private void swap(int i, int j) {
T t = heap[i];
heap[i] = heap[j];
heap[j] = t;
}
}
```
## 2. 上浮和下沉
在堆中当一个节点比父节点大那么需要交换这个两个节点交换后还可能比它新的父节点大因此需要不断地进行比较和交换操作把这种操作称为上浮
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/99d5e84e-fc2a-49a3-8259-8de274617756.gif" width="270px"> </div><br>
```java
private void swim(int k) {
while (k > 1 && less(k / 2, k)) {
swap(k / 2, k);
k = k / 2;
}
}
```
类似地当一个节点比子节点来得小也需要不断地向下进行比较和交换操作把这种操作称为下沉一个节点如果有两个子节点应当与两个子节点中最大那个节点进行交换
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/4bf5e3fb-a285-4138-b3b6-780956eb1df1.gif" width="270px"> </div><br>
```java
private void sink(int k) {
while (2 * k <= N) {
int j = 2 * k;
if (j < N && less(j, j + 1))
j++;
if (!less(k, j))
break;
swap(k, j);
k = j;
}
}
```
## 3. 插入元素
将新元素放到数组末尾然后上浮到合适的位置
```java
public void insert(Comparable v) {
heap[++N] = v;
swim(N);
}
```
## 4. 删除最大元素
从数组顶端删除最大的元素并将数组的最后一个元素放到顶端并让这个元素下沉到合适的位置
```java
public T delMax() {
T max = heap[1];
swap(1, N--);
heap[N + 1] = null;
sink(1);
return max;
}
```
## 5. 堆排序
把最大元素和当前堆中数组的最后一个元素交换位置并且不删除它那么就可以得到一个从尾到头的递减序列从正向来看就是一个递增序列这就是堆排序
#### 5.1 构建堆
无序数组建立堆最直接的方法是从左到右遍历数组进行上浮操作一个更高效的方法是从右至左进行下沉操作如果一个节点的两个节点都已经是堆有序那么进行下沉操作可以使得这个节点为根节点的堆有序叶子节点不需要进行下沉操作可以忽略叶子节点的元素因此只需要遍历一半的元素即可
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/c2ca8dd2-8d00-4a3e-bece-db7849ac9cfd.gif" width="210px"> </div><br>
#### 5.2 交换堆顶元素与最后一个元素
交换之后需要进行下沉操作维持堆的有序状态
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/d156bcda-ac8d-4324-95e0-0c8df41567c9.gif" width="250px"> </div><br>
```java
public class HeapSort<T extends Comparable<T>> extends Sort<T> {
/**
* 数组第 0 个位置不能有元素
*/
@Override
public void sort(T[] nums) {
int N = nums.length - 1;
for (int k = N / 2; k >= 1; k--)
sink(nums, k, N);
while (N > 1) {
swap(nums, 1, N--);
sink(nums, 1, N);
}
}
private void sink(T[] nums, int k, int N) {
while (2 * k <= N) {
int j = 2 * k;
if (j < N && less(nums, j, j + 1))
j++;
if (!less(nums, k, j))
break;
swap(nums, k, j);
k = j;
}
}
private boolean less(T[] nums, int i, int j) {
return nums[i].compareTo(nums[j]) < 0;
}
}
```
## 6. 分析
一个堆的高度为 logN因此在堆中插入元素和删除最大元素的复杂度都为 logN
对于堆排序由于要对 N 个节点进行下沉操作因此复杂度为 NlogN
堆排序是一种原地排序没有利用额外的空间
现代操作系统很少使用堆排序因为它无法利用局部性原理进行缓存也就是数组元素很少和相邻的元素进行比较和交换
# 小结
## 1. 排序算法的比较
| 算法 | 稳定性 | 时间复杂度 | 空间复杂度 | 备注 |
| :---: | :---: |:---: | :---: | :---: |
| 选择排序 | × | N<sup>2</sup> | 1 | |
| 冒泡排序 | | N<sup>2</sup> | 1 | |
| 插入排序 | | N \~ N<sup>2</sup> | 1 | 时间复杂度和初始顺序有关 |
| 希尔排序 | × | N 的若干倍乘于递增序列的长度 | 1 | 改进版插入排序 |
| 快速排序 | × | NlogN | logN | |
| 三向切分快速排序 | × | N \~ NlogN | logN | 适用于有大量重复主键|
| 归并排序 | | NlogN | N | |
| 堆排序 | × | NlogN | 1 | 无法利用局部性原理|
快速排序是最快的通用排序算法它的内循环的指令很少而且它还能利用缓存因为它总是顺序地访问数据它的运行时间近似为 \~cNlogN这里的 c 比其它线性对数级别的排序算法都要小
使用三向切分快速排序实际应用中可能出现的某些分布的输入能够达到线性级别而其它排序算法仍然需要线性对数时间
## 2. Java 的排序算法实现
Java 主要排序方法为 java.util.Arrays.sort()对于原始数据类型使用三向切分的快速排序对于引用类型使用归并排序
<div align="center"><img width="550px" src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/other/QQ截图20190608120206.png"></img></div>