实验背景介绍

本节介绍整个实验的背景，及提前创建好所需的资源

DataSync Agent

AWS DataSync Agent是 AWS DataSync 用于从支持的位置读取或写入的虚拟机 (VM) 或 Amazon EC2 实例。 将数据从本地存储复制到 AWS 时通常会使用代理，并且可以安装在以下平台上。

  • VMware ESXi Hypervisor
  • VMware ESXi Hypervisor
  • 基于 Linux 内核的虚拟机 (KVM)

为了让 AWS DataSync 访问存储（无论是在本地还是在云中），需要一个与 AWS 账户关联的 DataSync Agent。如何部署 AWS DataSync Agent取决于从何处复制数据以及复制数据到何处以及您使用的是本地还是云中存储系统。

传输数据时分为两种情况：走公网或私网。 本实验走的是公网

实验背景

在数据中心中会存在旧的存储阵列或一个开始老化的 NFS 服务器。 作为数据中心管理员会希望将数据迁移到云中，以利用 AWS 存储服务。

使用 AWS DataSync，可以将数据从本地存储阵列迁移到 Amazon FSx for NetApp ONTAP。 FSx for ONTAP 将 NetApp 文件系统的特性与完全托管的 AWS 服务的敏捷性、可扩展性和简单性相结合。 此外，将数据集迁移到 Amazon S3 可以提供可扩展性、数据可用性、安全性。

本章介绍通过部署AWS DataSync agent，然后使用 DataSync 将数据从本地存储系统迁移到 Amazon S3 和 FSx for ONTAP。

Architecture

使用CloudFormation创建资源

为了突出实验重点(DataSync服务)，我们使用CloudFormation先创建以下服务：

img

  • VPC（公网 + 私网）- 这个其实是模拟On-premise环境，里面会部署一个application server和一个NFS Server
  • NFS Server - 对应上图中的On-premise storage，里面搭建了NFS服务（其实就是运行了sudo service nfs restart）
  • Application Server - 没有特殊用途，仅用于验证目的。我们会将Amazon FSx挂载到上面，然后对比DataSync同步前和同步后FSx中文件的变化
  • S3 - 创建空桶，用于DataSync将NFS Server中的数据同步到这个桶里
  • FSx ONTAP - 用于DataSync将NFS Server中的数据同步到FSx文件系统。

在浏览器中访问以下链接，下载yaml：

https://pingfan.s3.amazonaws.com/files/datasync-migration.yaml

在CloudFormation服务中创建Stack：

image-20231021073128617

使用刚才下载的文件：

image-20231021073155491

为Stack命名为datasync，其他选项都可以保持默认，直接Next到底，然后创建：

image-20231021075412773

等待Stack创建完成，要半个小时左右。

编辑安全组规则

在安全组中找到dsLocalSecurityGroup，新增加一个80端口规则，放开本机的IP：

image-20231021180327218

这一步用在DataSync Agent激活这一节，本机会使用http访问DataSync Agent的80端口，先提前准备好

添加完成后，它的规则如下：

Type Protocol Port Range Source Description
NFS TCP 2049 DataSync Agent Allows communication with an NFS Server and FSx for ONTAP
NFS TCP 111 DataSync Agent Allows communication with FSx for ONTAP
NFS TCP 635 DataSync Agent Allows communication with FSx for ONTAP
HTTP TCP 80 Activation console Allows Automatic activation of the DataSync Agent
SSH TCP 22 SSH access Allows SSH access