Ранее я уже писал о своём проекте по внедрению частного облака ссылка на запись а блоге. Вся идея заключалась в том, чтобы внедрить VMware vSphere инфраструктуру с отказоустойчивой сетью SAN и Ethernet, причём Ethernet должен был обеспечить гипервизоры ESX транками и Vlan'ами, соответственно сам кластер vSphere реализует отказоустойчивость на уровне железа. Сама сеть SAN + Система хранения реализована на оборудовании EMC (Clariion AX4, Connectrix DS-300B), сеть Ethernet на оборудовании Cisco Catalyst 2960-s и Cisco Catalyst 3750-X.
Собственно основная часть проекта уже реализована и работает. Так всё выглядит на топологическом рисунке сети:
Как видно из рисунка кластер состоит из 3х серверов на гипервизорах VMware ESX4.1, у каждого сервера есть 4 гигабитных сетевых адаптера, одна пара для Service Console и Vkernel, вторая пара для сети LAN, причём и там и там два порта агрегированы по протоколу LACP IEEE 802.3ad в простонародье "EtherChannel" каждая пара уходит на отдельный коммутатор Cisco Catalyst 2960-S в стеке, это позволяет организовать как отказоустойчивость в случае выхода из строя одного из коммутаторов, так и использовать пропускную способность двух портов. В добавок ко всему трафик подаётся на сервера по стандарту 802.1q т.е VLAN'ы в транке:)), что позволило разделить сеть vmotion от service console и vmnetwork, прям как в "best practice". В настройка ESX'а всё выглядит примерно так:
На каждом из ESX хостах установлено по два FibreChannel адаптера, каждый из которых соединён с отдельным SAN коммутатором EMC Connectrix DS-300B, которые с вою очередь каждый соединён с двумя контроллерами системы хранения EMC Clariion AX4, таким образом во всю работает multi-pathing, каждый сервер держит несколько путей до системы хранения, я настроил их в Round Robin режиме.
Далее... мне необходимо кроме разделение сетей по vlan'ам, настроить их маршрутизацию и всякого рода ограничения по доступу в ту или иную vlan сеть. Выше по уровню идёт стек коммутаторов L3 уровня Cisco Catalyst 3750-X, который соединён со стеком Catalyst'ов 2960-S через EtherChannel . Каталисты 2960-ой модели выполняют роль уровня доступа, а каталисты 3750-ой роль агрегации всех vlan'ов, маршрутизацию и контроль доступа между vlan сетями и коммутацию сети vSphere с сетями LAN, Шлюзами VPN, и другими серверами, на рисунке этого не видно.
Ниже несколько фотографий с полей, прошу сильно не судить делал и настраивал всё сам, кроме монтажа самой системы хранения EMC, спасибо большое партнёрам:))
Вот такой вот проект вышел, сейчас этот этап функционирует в Production среде, следующим этапом будет кластеризация центрального маршрутизатора через HSRP, о чём я писал ранее в блоге.
Собственно основная часть проекта уже реализована и работает. Так всё выглядит на топологическом рисунке сети:
 |
| VMware vSphere 4.1 Advanced edition |
Как видно из рисунка кластер состоит из 3х серверов на гипервизорах VMware ESX4.1, у каждого сервера есть 4 гигабитных сетевых адаптера, одна пара для Service Console и Vkernel, вторая пара для сети LAN, причём и там и там два порта агрегированы по протоколу LACP IEEE 802.3ad в простонародье "EtherChannel" каждая пара уходит на отдельный коммутатор Cisco Catalyst 2960-S в стеке, это позволяет организовать как отказоустойчивость в случае выхода из строя одного из коммутаторов, так и использовать пропускную способность двух портов. В добавок ко всему трафик подаётся на сервера по стандарту 802.1q т.е VLAN'ы в транке:)), что позволило разделить сеть vmotion от service console и vmnetwork, прям как в "best practice". В настройка ESX'а всё выглядит примерно так:
 |
| Вкладка Networking в ESX |
Далее... мне необходимо кроме разделение сетей по vlan'ам, настроить их маршрутизацию и всякого рода ограничения по доступу в ту или иную vlan сеть. Выше по уровню идёт стек коммутаторов L3 уровня Cisco Catalyst 3750-X, который соединён со стеком Catalyst'ов 2960-S через EtherChannel . Каталисты 2960-ой модели выполняют роль уровня доступа, а каталисты 3750-ой роль агрегации всех vlan'ов, маршрутизацию и контроль доступа между vlan сетями и коммутацию сети vSphere с сетями LAN, Шлюзами VPN, и другими серверами, на рисунке этого не видно.
Ниже несколько фотографий с полей, прошу сильно не судить делал и настраивал всё сам, кроме монтажа самой системы хранения EMC, спасибо большое партнёрам:))
 |
| EMC Clariion AX4 |
 |
| EMC Connectrix DS-300B |
 | |
| Cisco Catalyst 2960-S(снизу) и Cisco Catalyst 3750-X(сверху) |
