Проект №1 2010: Новый дата-центр для VMware vSphere кластеров Small&midsize Business Edition (Part2)

         Ранее я уже писал о своём проекте по внедрению частного облака  ссылка на запись а блоге. Вся идея заключалась в том, чтобы внедрить VMware vSphere инфраструктуру с отказоустойчивой сетью SAN и Ethernet, причём Ethernet должен был обеспечить гипервизоры ESX транками и Vlan'ами, соответственно сам кластер vSphere реализует отказоустойчивость на уровне железа. Сама сеть SAN + Система хранения реализована на оборудовании EMC (Clariion AX4, Connectrix DS-300B), сеть Ethernet на оборудовании Cisco Catalyst 2960-s и Cisco Catalyst 3750-X.
          Собственно основная часть проекта уже реализована и работает. Так всё выглядит на топологическом рисунке сети:

VMware vSphere 4.1 Advanced edition

        Как видно из рисунка кластер состоит из 3х серверов на гипервизорах  VMware ESX4.1, у каждого сервера есть 4 гигабитных сетевых адаптера, одна пара для Service Console и Vkernel, вторая пара для сети LAN, причём и там и там два порта агрегированы по протоколу LACP IEEE 802.3ad в простонародье "EtherChannel"   каждая пара уходит на отдельный коммутатор Cisco Catalyst 2960-S в стеке, это позволяет организовать как отказоустойчивость в случае выхода из строя одного из коммутаторов, так и использовать пропускную способность двух портов. В добавок ко всему трафик подаётся на сервера по стандарту 802.1q т.е VLAN'ы в транке:)), что позволило разделить сеть vmotion от service console и vmnetwork, прям как в "best practice". В настройка ESX'а всё выглядит примерно так:

Вкладка Networking в ESX

          На каждом из ESX хостах установлено по два FibreChannel адаптера, каждый из которых соединён с отдельным SAN коммутатором EMC Connectrix DS-300B, которые с вою очередь каждый соединён с двумя контроллерами системы хранения EMC Clariion AX4, таким образом во всю работает multi-pathing, каждый сервер держит несколько путей до системы хранения, я настроил их в  Round Robin режиме.
          Далее... мне необходимо кроме разделение сетей по vlan'ам, настроить их маршрутизацию и всякого рода ограничения по доступу в ту или иную vlan сеть. Выше по уровню идёт стек коммутаторов L3 уровня Cisco Catalyst 3750-X, который соединён со стеком Catalyst'ов 2960-S через EtherChannel . Каталисты 2960-ой модели выполняют роль уровня доступа, а  каталисты 3750-ой роль агрегации всех vlan'ов, маршрутизацию и контроль доступа между vlan сетями и коммутацию сети vSphere с сетями LAN, Шлюзами VPN, и другими серверами, на рисунке этого не видно. 
          Ниже несколько фотографий с полей, прошу сильно не судить делал и настраивал всё сам, кроме монтажа самой системы хранения EMC, спасибо большое партнёрам:))

EMC Clariion AX4

EMC Connectrix DS-300B

Cisco Catalyst 2960-S(снизу) и Cisco Catalyst 3750-X(сверху)

 Вот такой вот проект вышел, сейчас этот этап функционирует в Production среде, следующим этапом будет кластеризация центрального маршрутизатора через HSRP, о чём я писал ранее в блоге.