VMware ESXi 6.7 U1 生产环境模拟实验

王哥哥 ESXi 6.7 9,529 次浏览 2条评论

说明

目前ESXi 6.7 U1已经发布了,界面等东西都有了些改变,所以新写一篇6.7 U1的安装文档供大家参考。

环境介绍

以前在做6.5和6.0实验的时候,我专门买了台工作站主机192G内存,不过现在把这台机器卖掉了,自己从新配了台机器,不过内存就没这么大了,现在是48G内存,所以开机器配置的时候就不能这么任性了,真的苦。

我们还是在我们的主机上装一台VMware WorkStation 14,然后在里面虚拟机器出来,不过随着现在系统的越来越稳定,我这次的环境会虚拟出来3台ESXi宿主机,然后域控和VCSA都部署在这3台宿主机上,而不是分开部署,并且后续可能会在上面在部署虚拟桌面,当然这就不是本次讨论范围。

物理机

下面4台机器是通过WorkStation模拟出来的4台物理机

每台ESXi主机都是6个万兆网卡,一台iSCI模拟存储4块万兆网卡。

VMnet0是我的真实网段,其他的网段都是虚拟的

服务器名

配置

Manage(VMnet0)

iSCSI(VMnet8)

VM(VMnet0)

iSCSI-srv

2核 2G 400G ssd+1T sata

192.168.3.100

192.168.44.100-102 三网卡

 

ESXi1

6核 14G 30G

192.168.3.101双网卡

192.168.44.3/13双网卡

双网卡

ESXi2

6核 14G 30G

192.168.3.102双网卡

192.168.44.4/14双网卡

双网卡

ESXi3

6核 14G 30G

192.168.3.103双网卡

192.168.44.5/15双网卡

双网卡

虚拟机

下面是在这套环境上搭建的虚拟机

服务器名

配置

IP

DC1-srv

2核 2G 20G

192.168.3.110

VCSA

自动

192.168.3.112

vRealizeClusterNode1

自动

192.168.3.115

Log-Insight

自动

192.168.3.116

软件环境

DC Windows Server 2016

iSCSI Windows Server 2016

ESXi vSphere 6.7 u1

VCSA VCSA6.7 u1

vRops 7.0

Log Insight 4.7

安装ESXi 6.7U1

主机硬件准备

一台机器6个网卡每个都是万兆,每2个网卡互相绑定

管理和迁移共用,iSCSI,和虚拟机一共2个网段

管理和虚拟机我直接用我物理真实的网段,iSCSI是个虚拟的网段,因为都是万兆网卡迁移很快,所以管理和迁移合并在一起了,如果是真实的物理环境,迁移可以单独做个网卡和单独的网段,然后迁移用分布式交换机加快迁移速度。

我们打开vmx文件,会发现以前WorkStation 12的时候默认的网卡还是e1000的千兆网卡,现在14的版本已经是vmxnet3的万兆网卡了。

克隆

当我们一台创建好后,先不要装系统,直接克隆出来2台新的

创建完整克隆

这样完整克隆出来2台,一共3台ESXi主机

开始系统安装

我们就正常的安装系统,安装完成后重启下,安装非常简单我就不多截图了

后续设置

按F2进行网络的设置

配置管理网络

因为我是自己家里真实网络,所以有路由器的DHCP,我们要设置成我们自己定义的ip

设置DNS和Hostname

配置管理网卡冗余

这部需要注意,请大家在真实的环境中看好自己的网卡mac地址,别设置到其他网卡上去了

到了这里,我们主机已经可以通过Web页面进行设置管理了。其他两台机器也如此配置下网络。

通过浏览器管理ESXi主机

配置迁移流量

默认管理网卡没有迁移的功能,我们需要添加下,生产环境你可以后续在把迁移流量加到其他的网卡上不和管理网卡混用。

默认我们第一块管理网卡系统也会自动加一个虚拟机用的网卡,以前我使用都是把这个网卡取消,但是现在我还是会把这个网卡留着,部署VCSA等功能都用这个网卡,因为分布式交换机不能部署VCSA。

重命名下存储

存储都重命名一下,否则到时候加入集群,看到n多名字一样的存储,你都搞不清哪个是哪个

安装域控

上面我们基础的配置都好了,我们现在可以上传WinSer2016的镜像来建立我们的域控了。

我们到ESXi1的机器上新建一个ISO的目录然后开始上传ISO镜像

开始上传

创建虚拟机

ISO上传好了,现在我们开始创建虚拟机了

这里需要注意,默认给的网卡是E1000的千兆网卡,我们设置成vmnet3的万兆网卡

确认配置,然后完成

安装系统

我们按照正常的标准来安装虚拟机,后续截图安装系统就不截了

需要注意,我们的这台是域控,以后所有的服务器都是以他的时间为准,这里的时间就不能与主机同步。

升级为域控

设置IP和DNS

我们先设置下本机ip

安装域服务

升级成域控

安装完成后点击终极的提升为域控制器

输入域名,我就叫wgg.com了

输入域还原模式密码

其他都默认,然后开始安装,安装完成后会自动重启

配置DNS

设置下DNS的转发器

192.168.3.1是我家里路由器的地址,生产环境用下面的就好

新建3个DNS记录,对应3个ESXi主机

配置NTP

以后我们的DC域控就是整个网络中的时间同步服务器了,所以他的时间一定要对,我们让他同步阿里云的NTP服务器

在CMD的管理员模式下执行下面的命令

w32tm /config /manualpeerlist:”ntp1.aliyun.com
ntp2.aliyun.com” /syncfromflags:manual /reliable:yes /update

net stop w32time & net start w32time

w32tm /resync

W32tm /query /status

新建OU

新建一个OU用于区分ESXi主机

安装iSCSI主机

硬件设置

我们按照原来的规划在创建一台模拟物理的iSCSI服务器,添加1T的SATA硬盘和400G的SSD,在添加3块网卡。

在做这个实验前,我已经有一台Win2016的模板了,所以我就直接用这个模板而不需要在装系统了。

Win的虚拟机默认给的网卡还是e1000e的千兆网卡,我们要修改下虚拟机的vmx文件,将其中的e1000e修改成vmnet3的万兆网卡,然后在保存下vmx文件,网卡就变成万兆了

网络设置

为了更换的区分每块网卡的作用,我们每个网卡都重命名一下,标准一下

设置iSCSI网卡时需要注意,网关不要

高级中DNS注册也不要勾选

禁用NetBIOS

修改下网卡顺序

完成后服务器加域,重启

安装iSCSI服务

添加iSCSI功能

初始化磁盘

我们先去磁盘管理中加入新加的2块硬盘

先联机

初始化磁盘

格式化成gpt

格式化硬盘,然后硬盘名字根据硬盘类型重命名下

添加iSCSI磁盘

安装完成iSCSI功能后,这里就可以添加iSCSI磁盘了

我们先加两块SATA的iSCSI磁盘

命名就叫SATA1

500G动态磁盘

目前没有iSCSI的目标服务器,我们需要新建一下

因为是给虚拟机用的,所以就叫ESXi,然后把几个ESXi主机我们规划的iSCSI网卡ip都输入进去

添加

我们添加下IP

如果你要安全的话,可以配置下这里的用户名和密码,这样其他机器想要连iSCSI需要密码,但是默认iSCSI都是单独的网段,并且设置了固定IP才能访问,我也没见过有人会去在这里设置密码

等任务自己执行成功,我们在添加另外2块iSCSI磁盘

我们只要在这个界面选择新建iSCSI磁盘就可以了,剩下的步骤和前面一样,只是我们不需要在添加iSCSI目标了

全部创建完成,这里我们的iSCSI-srv服务器配置完成,接下去我们又要回到几台ESXi主机上进行操作了

配置ESXi主机

前面我们域控iSCSI已经都创建好了,接下来我们在来配置ESXi主机了

添加NTP

时间服务器在ESXi虚拟化中非常重要,我们必须保证所有的ESXI群集中的主机时间dou 相同

我们登陆ESXi主机, ESXi主机显示的都是UTC时间而非UTC+8,只有在VCSA才显示UTC+8时间,这里不用管的,我们选择编辑设置

输入我们的NTP地址,并且选择随主机启动和停止

然后选择下启动

ESXi主机加域

我们选择安全和用户,然后选择加入域

输入域名和用户名密码

加域完成

完成后,我们登陆域控把ESXi主机移动到VMware OU中

创建iSCSI网卡

添加虚拟交换机

添加标准交换机

添加2个vSwitch

添加VMkernel网卡

也是添加2个

输入IP

添加2个完成

配置ESXi主机连接iSCSI存储

添加软件iSCSI

添加端口绑定

添加VMkernel端口

分别添加2个端口

在添加动态目标

完成后保存

重新扫描

扫描后我们可以看到多了一个存储适配器

这时,我们登陆我们的iSCSI服务器,然后刷新下,可以看到几个连接已经显示已连接

添加存储

我们选择存储可以看到看到几块新的磁盘

我们新建下存储

我们依次新建3个存储

其他2台主机也照这个方式配置下,当然存储就不需要格式化了,只要刷新下,就能认到了

安装VCSA

我们在一台Windows主机上打开VCSA的光盘,然后选择vcsa-ui-installer-win32,然后选择installer

默认是英语,可以选择中文

然后选择安装

选择部署,安装分成2阶段,第一阶段是把ova模板敲到ESXi主机上,第二阶段是开始配置VCSA

第一阶段部署

这里选择部署到哪台ESXi主机上,我选择ESXi2这台主机,输入主机的默认密码

输入这台机器到时候显示的名称,和默认的密码,这个密码是这台VCSA的Linux主机密码,不是登陆vCenter的密码,请保存好

穷,只能选择微型

放共享存储上了

在点击下一步前,我们先去域控的DNS新建个vcsa的记录,否则到时候部署会失败

确认配置开始安装

慢慢等

第二阶段部署

第一阶段完成了,我们接下来进行第二阶段的部署

SSH功能开启,到时候可以部署VCSA的群集

这里的密码才是vCenter的域密码

确认配置

安装开始就不能停了,停了就只有重新部署了

安装完成

配置VCSA

现在新的VCSA所有的功能都做到HTML5界面中了,默认登陆就是HTML5,下面第二个选项是老的FLASH

VCSA加域

加域

菜单-系统管理-SSO-配置,点击加入AD

输入与信息

我们登陆域控,可以看到VCSA已经自动加入了VMware OU中

加域完成后我们需要重新启动下VCSA

添加标识源

添加

添加完成

加入管理员

点击组中的administrators

添加成员

选择wgg.com,然后添加

添加完成

完成后我们注销当前账户,切换到我们添加的账户来测试

我们勾选使用Windows会话身份验证

注:生产环境请新建一个账户用于VCSA的管理,否则黑客得到了你的域账户就全部权限都有了,等死。

登陆成功

新建数据中心

新建完成

添加许可证

默认我们的ESXi和VCSA都没许可证书,我们添加下

点击上面提示的管理许可证,可以跳转到许可证管理界面,然后添加许可证

添加许可证

输入许可证

这里可以给许可证命名一下

添加完成

分配许可证

我们可以点击分配许可证,然后把许可证分配给我们的VCSA

添加主机和集群

我们通过上面的菜单,导航回到我们的主界面来添加主机和集群

添加集群

建议先添加集群,然后在把主机直接加入集群

输入集群名称,并且打开集群的DRS和HA功能

DRS是自动根据负载迁移,HA是高可用功能,后面会有其他的设置

配置EVC

默认禁用了EVC,但是强烈建议你打开EVC

EVC功能保证你创建的虚拟机的CPU都是同一代的CPU,如果你有DELL R620 R630 R640等不同年代购买的宿主机,他们的CPU都是不同的,开启了这个功能,大家都安装R620这一代的CPU来创建虚拟机,这样集群里的这些机器都可以在每台宿主机上互相迁移,否则你在R640上开的虚拟机是没法漂移到R630这些老的服务器上的

请按照你们真实环境中的最低的那一代CPU来开EVC

开了EVC会屏蔽高级别CPU的功能,让大家都只使用低级别的CPU功能

注意开了EVC也不能INTER的CPU迁移到AMD的CPU上,只能同厂商的CPU之间漂移

配置DRS

默认DRS是全自动的,我们可以自己修改下

我勾选了个predictive DRS

这个选项的说明,后期我应该会在装vRops,所以我先开了

这里也选一下

DPM功能

DPM是一个电源管理功能,比如你的群集环境中有10台非常高配置的宿主机,但是你的虚拟机可能只有3台很低配的虚拟机,那么你就可以开启这个功能,他会在负载低时关闭几台宿主机,然后负载高了,通过连接服务器的远程控制卡来开启这些服务器。远程控制卡就是Dell的idrac和HP的 iOL。我这里没条件,就不开了。

开了DPM,就要下下面的主机选项中添加下面的信息

配置HA

我们在来看下HA的配置,选择下面的编辑

其他不变,这里选择自动选择存储好了,方便点

添加主机

我们下面来添加主机

输入主机IP和密码

添加完成了,不过有个警告,因为我们默认开了DC1的服务器我们把他关机,关机前先迁移下他的存储,迁移到共享存储上

迁移虚拟机存储

选择iSCSI存储

正常迁移完成后,群集也创建成功了

集群存储设定

群集好了,有些存储的设置我们在优化下

编辑存储多路径

我们的iSCSI网卡有2块,iSCSI服务器也有3块网卡提供iSCSI服务,我们需要把这么多的性能都利用起来,这就需要多路径了。

6.7这里改了位置,看了官方文档才找到哪里开多路径,真的苦

选择单台ESXi主机,然后存储-存储设备-点到我们的磁盘-然后下面选择属性,可以看到多路径策略,然后编辑

把策略改成循环,这样就启用了多路径

这时我们在看路径,每个路径后面都变成活动(I/O)这样就启用了多路径

每个iSCSI存储和每台主机都要这样选择下

设置数据存储集群

设置存储集群,我们可以把相同性能的存储放在一个存储集群中,然后存储也有drs功能,比如我们的存储有3个iSCSI普通硬盘,然后放一起,存储DRS会根据每个群集的使用空间来自动放置虚拟机,或者可以根据存储的IO来放置虚拟机

这里就是存储的IO和空间自动负载选项

选择哪几个存储卷放入

确认完成

添加分布式交换机

分布式交换机一定需要VCSA,否则不能添加,分布式交换机有一个好处,我们比如要创建好新的VLAN,如果用普通交换机,我需要在每台宿主机上都添加,如果用了分布式交换机,我只要在VCSA中添加好,就不需要在每台宿主机上在加网卡了,一次配置终身搞定,并且如果VCSA挂了没事,分布式交换机照样能用。当然生产环境我们还是要部署VCSA HA,三台VCSA不会挂了。

新建分布式交换机

在生产环境中,我们设置分布式交换机一定要在物理交换机上配置好LACP,我这里没这个条件,但是我会写下来如何配置分布式交换机,大家生产环境也这样做即可。

命名下我们的分布式交换机

选择版本

选择上行链路

我们每台宿主机会有2个网卡用于分布式交换机所以就选2

设置分布式交换机协议

类型选择链路层发现协议,这个就是LACP,通用协议,操作选择二者

添加端口

将分布式交换机应用到ESXi主机

添加主机

每台主机的4和5网卡分配上行链路

勾选将此上行链路分配应用于其余主机,这样就不用每台机器都选一次了

5号网卡也这样分配下

VMkernel网卡我们不选择

这里也没有机器要选择迁移

完成

新建分布式端口组

这里就是添加VLAN了,你有多个VLAN就多添加几个端口组

这里是名称,我一般是这个名称后面加上-VLAN编号,我家里没VLAN所以就不加编号了

把你需要的VLAN写在里面,我这里没VLAN就无

默认

这里要改成IP哈希,这样才会自动分配网卡的流量,下面上行链路要把LAG1移动上来,原来的两个移动下去

完成

新建完成

到这里我们正常的VCSA都配置好了,可以开始在上面部署虚拟机了。

创建虚拟机模板

接下来我们要创建虚拟机模板了,这样以后只要用模板来克隆虚拟机就可以了,不用每台机器单独安装了。上传下ISO。

新建模板文件夹

我们新建一个专门用于存放模板的文件夹,以后模板都在这里面

命名一下

创建成功

创建Windows模板

安装Windows主机

我们先新建一台Windows主机

命名下,并且放到我们前面创建的文件夹中

我们放到我们新建的数据存储集群中,让他自由选择放哪个存储卷中

硬盘选择精简

网卡也选择下

宿主机时间已经和域控同步了,所以虚拟机的时间也和宿主机同步下

后续其他的和正常创建虚拟机一样,这里安装就省略了,安装完成记得安装VM Tools.,并打开远程桌面。

将虚拟机转换模板

变成模板后我们可以看到这个机器前面的状态图标也变了

创建Windows配置文件

我们需要创建一个Windows的配置文件,里面会有机器的许可证加域等信息,到时候开虚拟机的时候用这个配置文件,会帮你做好sysprep等操作

新建

这里到时候虚拟机在VCSA中是什么名字,创建出来的Windows虚拟机就是什么名字

Windows激活密码

机器默认密码

时区

开机有什么怪命令要自定义的就在这里输入

开机要自动加域的就在这里直接输入

完成

以后从模板创建Windows虚拟机就可以选择自定义Windows这些选项就都会出来了。

创建Linux模板

同样的我们也创建一台Linux模板机,创建好需要做一些设置

卸载 Linux 发行版所包含的开放 VMware Tools

现在Open-vm-tools

默认现在linux都带了open-vm-tools,我们要把他替换成标准的VMware tools

找到预安装的 openSUSE Linux open-vm-tools

X 终端中,以 root (su) 用户身份登录并运行以下命令:

 rpm -qa | grep vm

卸载 open-vm-tools gui、open-vm-tools 或 vmware-guest-kmp-desktop

rpm -e open-vm-tools open-vm-tools-desktop

删除完成,然后在按照标准方法再次安装官方vmtools

安装官方VMware Tools

虚拟机上加载VMtools光盘

mkdir /mnt/cdrom ##创建cdrom文件夹

mount -t iso9660 /dev/cdrom /mnt/cdrom ##挂载iso到cdrom文件夹

ls /mnt/cdrom ##查看cdrom文件夹

cp /mnt/cdrom/VMwareTools-10.0.6-3560309.tar.gz /tmp ##由于这个目录下面没用执行权限,所以我们复制到tmp目录下进行解压并安装

tar -zvxf /tmp/VMwareTools-10.0.6-3560309.tar.gz



解压过程中如果有报错,会造成安装失败。

cd /tmp/vmware-tools-distrib ##进入解压目录

./vmware-install.pl ##进行安装




安装完成后会自动重启

配置网易163yum源

我们使用网易的yum源,速度快

cd /etc/yum.repos.d/

mkdir old

mv CentOS-* old/

wget http://mirrors.163.com/.help/CentOS7-Base-163.repo

[root@redis1 yum.repos.d]# vim CentOS7-Base-163.repo

把里面的所有baseurl属性值的$releasever为对应的OS主版本号(5,6,7)

使用 sys-unconfig 封装一个 Linux 虚拟机

删除 ssh 主机密钥:

# rm -rf /etc/ssh/ssh_host_*

在 /etc/sysconfig/network 中设置 HOSTNAME=localhost.localdomain

从 /etc/sysconfig/network-scripts/ifcfg-eth* 中删除 HWADDR 行和 UUID 行。

删除日志

从 /var/log 中删除所有日志,从 /root 中删除 build 日志。

/root目录下,因为是新装机器所以没有build日志


关闭selinux

# vim /etc/selinux/config

# setenforce 0

Sys-unconfig封装

# sys-unconfig

虚拟机被关机。它已被封装,并可用来创建模板。您可以使用这个模板部署 Linux 虚拟机,不会有与配置文件相关的冲突。

这些步骤都完成后就可以把Linux虚拟机转换成模板,到时候就可以正常用了

使用Update Manage对ESXi环境打补丁

从VCSA 6.5开始原来我们需要单独安装一台Update Manage打补丁,后来就都集成到VCSA中了,我们现在用自带的UM来打下机器的补丁

注:Firefox在现在的6.7 U1中有个已知的issue,打开UM会有报错,没有解决方法,我们可以等VCSA 6.7 U2来修复。现在如果碰到这种问题,改用chrome这种浏览器试试。

菜单中导航到UM

附加基准

主界面

默认已经有了2个基准,我们附加到主机上即可

我们回到主机界面,点群集,然后点更新

附加下基准更新

附加

检查合规性

预修复检查

扫描到不合规了,我们先预先检查下

检查完成

修复

我们现在检查到有补丁需要更新了,点下修复

修复

我们可以看到ESXi3这台机器已经进入了维护模式开始进行修复了,慢慢等

主机无法连接了,开始重启了

重启中

修复完成会退出引导模式,然后把开始迁移其他主机上的虚拟机,修复其他主机

esxi1也进入维护模式开始修复了

安装 vRealize Operations Manager 

vRops是VMware自带的监控,通过导入ovf包就可以安装,他的安装也分2步,第一步导入模板,第二步进行配置,不过只要执行第一步就好了,后面是自动化的。

菜单中导航到Operations。

导入模板进行安装

点击安装

我已经预先下好了,所以直接脱机安装

输入VCSA的IP然后点击测试,测试通过就可以点击下一步

选择安装的位置和IP

输入网络信息

确认信息

等待安装

下面会显示任务进度条

自动安装失败了,不过ovf模板已经部署好了,ip已经可以用了,我们手动部署下,失败原因可能是我们机器配置不够,以后换好点的机器在测试下。

部署vRops

我们选择新安装

输入密码

我们添加个dns解析

我真的没机器资源,就不加其他节点做高可用了

完成

配置vRops

等待初始配置

选择启动

等待初始化

等待联机

自动配置好基本的东西了,下面输入序列号了

添加vCenter

系统管理里选择vshpere,然后点上面的齿轮图标配置

输入相应的信息,然后保存设置

确定,然后关闭对话框

回到我们的VCSA,刷新下,就可以看到这里配置成功了。上面会显示你的状态

在vRops中过一会收集完信息会出现要我优化的内容,并且有提示如何优化,根据提示操作。

部署Log Insight收集日志

部署OVF模板

直接用OVF模板来部署

取名下,其他都默认

输入ip等信息

添加DNS记录

等待部署

配置Log Insight

初始配置

现在开始正式配置了

第一次安装,新部署

这里写你自己公司的邮件服务器地址

集成vSphere

输入vCenter信息

添加完成

集成vRops

输入信息

完成

这里信息都能看到

登陆到vRops里也把Log Insight的信息输入下

集成完成

添加内容包

点右上角人人头的地方选择内容包,可以看到好多不同的东西

收集域控日志

装个AD域控的试试

到代理中下载个代理包,安装到域控上

在域控上安装下

刷新下,看到这台机器了,右上角代理自动更新也选择下

上面筛选器选下,因为没有2016,所以选2012

然后复制模板

都勾选

上面这里ip匹配下域控IP,然后保存

仪表盘里AD信息就会有了

更新内容包

我们回到内容包的地方,有2个内容包更新,我们点下全部更新,相信我们的域控的管理包以后会更新到2016的。

更新

2 条评论

  1. vc 2021年1月13日 20:53

    你好,文章很受用,但是有个问题请教下。请问下我按照教程走到添加集群的时候除了DC1需要关机之外,VCSA也开着,那么他所在的esxi2就无法加入集群了,vcsa要是关了也没办法加入集群,请问要怎么办呢?

    • 王哥哥 2021年1月15日 09:40

      dc1反正关机在加没事 不行dc会有2台的 一台台关 vcsa好像我记得我直接就加进去了

发表回复

Go