Fibre Channel: жизненная сила подключения к хранилищам в центре обработки данных / Хабр

 

Что такое интерфейс жесткого диска fibre channel

6 Протокол Fibre Channel

В общем контексте Fibre Channel — это набор стандартов, разработанных в Национальном институте стандартизации США. Интерфейс Fibre Channel предоставляет высокопроизводительное последовательное подключение между хостом и единицами хранения, а также между самими единицами хранения. Стандарт позволяет обеспечить высокоскоростную передачу данных в сетях с топологией «точка-точка» и кольцо. Более того, Fibre Channel предоставляет все эти возможности вместе с проверкой ошибок.
В стандарте Fibre Channel определено пять функциональных уровней: от FC-0 до FC-4. Обратите внимание, что по практическим соображениям уровни FC-0, FC-1 и FC-2 реализуются аппаратно.

6.1 Уровень FC-0

Определяет физические характеристики интерфейса и носителя. В частности, посредством FC-0 определяются спецификации уровней сигналов, носителя и получателей/отправителей. Уровень FC-0 позволяет использовать несколько интерфейсов, что дает возможность выбирать разные скорости передачи данных и различные передающие среды. В качестве примера физической передающей среды можно привести медный провод, одномодовый и многомодовый кабели. Скорость передачи варьируется от 12,5 до 106,25 Мбайт/с.
Те, кто знаком с семиуровневой сетевой моделью ISO OSI, могут заметить, что FC-0 соответствует седьмому уровню модели ISO OSI.

6.2 Уровень FC-1

Определяет схемы кодирования и декодирования данных, сигналов и специальных символов, а также управление ошибками. Кроме того, уровень FC-1 отвечает за обслуживание линий связи.
Уровень FC-1 использует схему кодирования, которая называется 8В/10В. Схема проектировалась для того, чтобы обеспечить следующее:

■ эффективную синхронизацию данных;

■ расширенное обнаружение ошибок;

■ эффективное обнаружение управляющих символов;

■ упрощенное проектирование аппаратного обеспечения приемников/передатчиков.

Схема кодирования 8В/10В преобразует каждые 8 бит в два возможных значения, объемом 10 бит. Эти 10 бит используются в виде Ann.m, где А — значение К для индикации команды или D для индикации данных; nn — десятичное значения последних пяти битов байта; М — десятичное значение первых трех битов байта.
Два возможных значения появляются потому, что посредством спецификации выбирается одно из значений для кодирования данных при их передаче на базе недавней истории передачи. Это необходимо для того, чтобы обеспечить минимальное количество переходов состояния (между 0 и 1), что повысит эффективность передачи. Недавняя история передачи называется динамическим рассогласованием.
Как уже отмечалось, все данные кодируются с помощью 10 бит. Некоторые неиспользованные 10-битовые символы (в контексте данных) применяются для отделения фреймов и сигналов, включая сигналы о готовности порта для принятия данных, а также другие типы сигналов. Основное внимание уделяется обнаружению и исправлению ошибок на этапе передачи. Данные Fibre Channel всегда передаются группами по 4 байта, которые называются словами передачи (transmission words).

6.3 Уровень FC-2

Определяет передачу данных от одного узла к другому, т.е. непосредственно транспортный механизм. Уровень FC-2 формирует кадры, определяет классы обслуживания и службы регистрации связной архитектуры или портов. Этот уровень можно представить в качестве аналога уровню MAC (Media Access Control) в модели ISO OSI.

Уровень FC-2 определяет:

■ иерархию передачи данных Fibre Channel, которая включает в себя упорядоченные множества, кадры, последовательности и обмены;

■ управление потоком Fibre Channel;

■ классы обслуживания FC-2.

В Fibre Channel данные передаются с помощью кадров (frame). Кадр представляет собой эквивалент пакета TCP/IP. Кадры создаются из упорядоченных множеств и символов данных. Несколько кадров группируются вместе и формируют последовательность, а несколько последовательностей формируют обмен (exchange). Это демонстрируется на рисунке выше.

6.3.1 Упорядоченные множества Fibre Channel

Упорядоченные множества — это структуры последовательной передачи данных объемом 4 байта, которые представляют собой специальные символы или сигналы линии связи. Далее приведены примеры подобных множеств.

■ Разделители кадров SOF (Start Of Frame) и EOF (End Of Frame), которые являются аналогами пакетов SOF и EOF в сетях Ethernet. В отличие от Ethernet, в Fibre Channel определено несколько вариантов SOF и EOF, поскольку уровнем FC-1 используется схема кодирования, формирующая несколько представлений для каждого передаваемого символа.

■ Два базовых сигнала для указания состояния порта.
• Idle — указание, что порт готов для передачи или приема данных.
• Receiver Ready — указание, что буфер интерфейса (устройства взаимодействия) готов для приема данных.

■ Базовая последовательность. Простое упорядоченное множество, которое регулярно передается для указания особого статуса порта. К особым статусам относятся:
• Not Operational (NOS) — используется только в сетях с топологией «точка—точка» или в связной архитектуре (но не в кольце с разделением доступа) для указания на отказ в работе линии связи или появление определенной ошибки;
• Offline (OLS) — передается во время инициализации порта или при получении базового статуса NOS; таким образом, в ответ на NOS порт отправляет ответ OLS;
• Link Reset (LR) — используется для указания на необходимость повторной инициализации линии связи;
• Link Reset Response (LS) — используется для указания, что данные LR получены и обработаны.

6.3.2 Кадр Fibre Channel

Как пакет IP является базовым элементом протокола Internet (IP), так и кадр представляет собой основной структурный элемент интерфейса Fibre Channel. Существует три типа кадров.
1. Кадры управления линией связи (link control frames), используемые для отправки команды управления линией связи.
2. Кадры данных линии связи (link data frames), используемые для отправки данных, необходимых для управления линией связи.
3. Кадры данных устройства (device data frames), которые содержат данные для протоколов более высокого уровня, например данные, считанные с жесткого диска.

На рисунке показан заголовок кадра Fibre Channel. Кадр проектировался для передачи 2048 байт данных и необязательного заголовка размером 64 байт. Подобный размер кадра позволяет передавать за один раз большой объем данных с минимальными накладными расходами (около 1,5%). Однако при этом другому узлу придется ждать, пока завершится передача большого кадра, что подразумевает увеличение задержек в передаче. Сравним это с протоколом ATM (Asynchronous Transfer Mode), где кадр имеет размер 53 байт и накладные расходы протокола составляют около 10%. Это позволяет снизить задержки, но время передачи определенного объема данных возрастает.
Каждый кадр начинается и заканчивается специальным ограничителем, как и в других сетевых протоколах. Это SQF и EOF соответственно. Каждый кадр имеет заголовок, выполняющий несколько функций. Одна из них — это предоставление адресов назначения и источника для обеспечения коммутации данных. Еще одна задача состоит в переносе информации для управления линией связи, включая управление самой передачей.
Другие поля заголовка кадра Fibre Channel рассматриваются ниже.

■ Поле Destination_Id используется для маршрутизации кадра. В топологиях «точка-точка» и кольцо с разделением доступа маршрутизация может проходить обычным образом, что не относится к топологии коммутируемой связной архитектуры. Поле Source_Id предназначено для передачи сообщений об ошибках и для предотвращения циклов данных при маршрутизации.

■ Поля R_CTL и Туре используются для сортировки различных кадров уровня FC-4 по их прибытию в точку назначения. Таким образом, эти поля указывают, содержит ли прибывший кадр данные интерфейса SCSI, протокола IP или другие данные. Значения поля Туре описываются в таблице.

■ Поле R_CTL используется для указания содержимого кадра. Кадр может содержать данные или информацию для управления линией связи; в последнем случае кадры могут быть запрошенными и незапрошенными.

Значение

Описание

Базовое обслуживание линии связи

Порт Fibre Channel — расширенное обслуживание линии связи

Интерфейс ШЕЕ 802.2

Протокол Internet (IP)

Подчиненное устройство IPI ( Intelligent Peripheral Interface )

Основное устройство IPI

Целевое устройство SCSI

Код SBCCS (Single-Byte Command Code Sets)

Зарезервировано для новых типов шины

Читать статью  Начальная инициализация HDD и процедура рекалибровки

Уникально для производителя

■ Поле F_CTL используется для описания информации кадра, например первой или последней последовательности.

■ Поле DF_CTL указывает на присутствие или отсутствие необязательных заголовков;

■ Поля SEQ_Id и SEQ_CNT уникально идентифицируют счетчик последовательности обмена (см. раздел 4.6.3.3).

■ Поле 0X_Id (идентификатор обмена источника) используется для связывания кадра с определенным обменом исходного порта.

■ Поле RX_Id (идентификатор обмена ответчика) используется для связывания кадра с определенным обменом отвечающего порта.

■ Поле Relative Offset идентифицирует относительное смещение первого байта основного содержания кадра от базового адреса.

6.3.3 Последовательность Fibre Channel

Последовательность представляет собой набор кадров, которые передаются из одной точки в другую. Для исправления возможных ошибок каждый кадр содержит уникальный счетчик последовательности. Исправление ошибок осуществляется протоколом более высокого уровня, обычно на уровне FC-4. Обратите внимание, что все кадры в последовательности передаются в одном направлении (а не в обоих одновременно).

6.3.4 Обмен Fibre Channel

Несколько последовательностей составляют обмен (exchange). Обмены представляют собой последовательности двусторонних направлений; т.е. в обмен входят последовательности данных, передающихся в разных направлениях, хотя каждая последовательность передается только в одном направлении. При каждом обмене только одна последовательность может быть активна в текущий момент времени. Но, так как одновременно могут быть активны несколько обменов, различные последовательности из этих обменов также могут быть активны одновременно.
Каждый обмен выполняет одну функцию, например реализует команду SCSI Read.

6.3.5 Управление потоком Fibre Channel

Конечные узлы Fibre Channel взаимодействуют непосредственно друг с другом и не создают сеансовых подключений к промежуточным узлам.

Устройства не «подозревают» о коммутаторе связной архитектуры и концентраторе. Конечно, при этом коммутаторы и концентраторы обмениваются пакетами управления потоком с этими устройствами.
Механизм управления потоком требует, чтобы передающий порт не отправлял кадры быстрее, чем принимающий порт может их обработать. Порты Fibre Channel имеют буфера для временного хранения кадров и последующей их обработки. Под обработкой подразумевается отправка кадра на другой порт или передача кадра протоколу более высокого уровня. Схема управления потоком, которая используется в Fibre Channel, очень напоминает протокол плавающего окна в TCP/IP. Размер окна, представляющий собой количество кадров, которые можно отправить без подтверждения их приема, устанавливается сторонами обмена заранее. При этом согласованное значение не может быть изменено. Для каждого отправленного кадра размер окна уменьшается на единицу, а для каждого подтвержденного кадра — увеличивается на единицу. Управление потоком может осуществляться одним из двух способов: «точка-точка» или «буфер-буфер». При этом требуется совместное использование обоих методов.
Управление потоком по схеме «точка-точка» осуществляется между двумя конечными точками: источником данных (например, сервером) и получателем данных (например, жестким диском). Управление потоком «точка-точка» проводится между двумя портами типа N (между ними могут находиться промежуточные узлы). Два порта типа N регистрируют друг друга, в процессе чего каждый порт выделяет для себя определенное количество буферов у другого порта. Это количество называется резервированием буфера. Отправитель может отправлять количество кадров, не превышающее это значение. Получатель отправляет кадр АСК (позитивное подтверждение) для каждого успешно полученного и обработанного кадра, а отправитель при получении кадра АСК может увеличить значение резервирования (credit count) на единицу для каждого полученного кадра АСК. Получатель может подтвердить успешное получение нескольких кадров или даже целой последовательности и получатель должен будет, не ожидая подтверждения для каждого кадра в отдельности, увеличить количество кадров, которое можно отправлять.
Управление потоком по схеме «буфер-буфер» выполняется между двумя соседними узлами, которые представляют собой промежуточные узлы или находятся между конечным и промежуточным узлом. Таким образом, управление потоком от буфера к буферу выполняется между портами типа N или между портом F и портом N. Как уже отмечалось, порты обменивают-г ся данными, указывающими на количество буферов, зарезервированных для каждого узла. Эти значения могут отличаться, например один порт может выделить два буфера, а второй — четыре буфера. Получение кадра подтверждается кадром Receiver Ready, а не кадром АСК как в управлении потоком «точка-точка».

6.3.6 Протоколы FC-2

В стандартах Fibre Channel определены протоколы для управления передачей данных и линией связи. Кроме того, описаны дополнительные стандарты для поддержки протоколов более высокого уровня, применяемых на уровне FG-4. Эти протоколы описаны ниже.

■ Протокол Fabric Login, который определяет обмен параметрами между портом и коммутатором связной архитектуры.

■ Протокол Port Login, требующий, чтобы независимо от топологии («точка-точка», кольцо с разделением доступа или коммутируемая связная архитектура) два порта проводили взаимную регистрацию перед подключением друг к другу. Взаимная регистрация выполняется с помощью специального кадра PL0GI. С помощью протокола Port Login обеспечивается использование двух важных функций.
• Возможность получения информации о порте N, на котором выполняется регистрация. К такой информации относится описание классов обслуживания, поддерживаемых портом N.
• Инициализация буфера резервирования для управления потоком «точка-точка». Обратите внимание, что в контексте прямого подключения управление потоком «точка-точка» ничем не отличается от управления потоком «буфер-буфер».

■ Протокол Data Transfer, определяющий, как данные протокола верхнего уровня (уровня FC-4) передаются с помощью схем управления потоком.

■ Протокол Arbitrated Loop, который определяет методы инициализации и управления кольцом.

6.3.7 Классы обслуживания FC-2

Интерфейс Fibre Channel проектировался для обеспечения различных способов передачи данных. Ряд служб отличается такими характеристиками:
■ тип сервисного подключения, т.е. аналогично TCP или без установки подключения, как в UDP;

■ поддержка многоабонентской доставки (multicast);

■ поддержка уведомления о доставке или невыполненной доставке;

■ поддержка гарантированной доставки кадров в том же порядке, в котором они были отправлены;

■ тип предоставляемых служб, например резервирование пропускной способности для соединения, если служба ориентирована на соединение;

■ тип механизмов управления потоком данных.
Для предоставления широкого диапазона вариантов передачи данных, определено неколько классов обслуживания.

■ Тип Class 1 определяет выделенное подключение, подобное подключению TCP/IP. Как и в TCP, Class 1 гарантирует, что кадры доставляются в той же последовательности, в которой они были отправлены. Тип Class 1 используется при передаче больших объемов данных, когда время, потраченное на установку соединения, на порядок меньше времени, необходимого для передачи данных.

■ Тип Class 2 определяет обслуживание без подключения (по аналогии с дейтаграммами), при котором кадры потенциально могут быть доставлены не в той последовательности, в которой они отправлялись (что подразумевает смену последовательности кадров протоколом более высокого уровня). Как и в случае использования сетевых протоколов, обслуживание Class 2 имеет смысл тогда, когда объем передаваемых данных достаточно мал и накладные расходы на установку соединения сравнимы с расходами на передачу самих данных. Получатель кадра Class 2 должен отправить подтверждение при получении кадра.

■ Тип Class 3 также подразумевает обслуживание без установки подключения. Основное отличие от Class 2 состоит в том, что подтверждать успешное получение кадра нет необходимости. Это сравнимо с дейтаграммами IP, метод использования которых иногда в шутку называется «отправь и молись».

■ Тип Class 4, который также называется Intermix, является необязательным классом обслуживания. Класс гарантирует определенную пропускную способность кадрам Class 1, а оставшаяся пропускная способность используется для кадров Class 2 и Class 3;

■ Тип Class 6 представляет собой однонаправленное, ориентированное на подключение обслуживание с предоставлением возможности многоабонентской доставки (Class 5 зарезервирован).
В таблице собрана вся информация о классах обслуживания Fibre
Channel.
Обратите внимание, что большинство поставщиков поддерживают классы 1, 2 и 3. В то же время некоторые поставщики поддерживают только классы, не ориентированные на соединение (Class 2 и Class 3).

Fibre Channel: жизненная сила подключения к хранилищам в центре обработки данных

Почему стоит рассмотреть использование Fibre Channel? Fibre Channel по-прежнему является наиболее безопасным, надежным, экономически эффективным и масштабируемым протоколом для соединения серверов и хранилищ, а также единственным протоколом, специально предназначенным для передачи трафика хранилища.

Все мы знаем, что объем данных продолжает расти в геометрической прогрессии, и что сами данные являются той новой валютой, на которую рассчитывают предприятия. Способность своевременно реагировать на эти данные может повлиять на конкурентоспособность бизнеса на рынке. Поэтому быстрый и надежный доступ к данным имеет первостепенное значение, а базовая инфраструктура, которая связывает пользователя с системами хранения данных, является более важной, чем когда-либо прежде.

В современном центре обработки данных архитекторы могут выбирать из множества различных вариантов подключения, но Fibre Channel был и останется источником жизненной силы для подключения к общим хранилищам. Это связано с тем, что Fibre Channel является наиболее безопасным, надежным, экономически эффективным и масштабируемым протоколом для соединения серверов и хранилищ, а также единственным протоколом, специально предназначенным для передачи трафика хранилища.

Читать статью  Как скрыть диск (чтобы он не отображался в проводнике Windows 👀). И как потом найти и увидеть все скрытые диски

Fibre Channel существует уже несколько десятилетий и по-прежнему является основным выбором для подключения к общему хранилищу в центре обработки данных. С помощью Fibre Channel создается выделенная сеть хранения, а команды хранения SCSI направляются между сервером и устройствами хранения с пропускной способностью до 28,05 Гбит / с (32GFC) и с IOPS, превышающим один миллион. Поскольку Fibre Channel изначально был разработан для трафика хранилищ, он работает очень надежно и обеспечивает высокопроизводительную связь. Адаптеры HPE StoreFabric 16GFC и 32GFC и инфраструктура коммутации обеспечивают пропускную способность, количество операций ввода-вывода в секунду и низкую задержку, необходимые в центрах обработки данных сегодня и на годы вперед.

Достижения в технологии Fibre Channel держат его на опережение, когда дело доходит до подключения.

Например, инфраструктура HPE StoreFabric 16GFC и 32GFC уже способна поддерживать трафик хранения NVMe, даже до того, как собственные массивы хранения NVMe станут массовыми. Другие расширенные возможности включают расширенную диагностику, упрощенное развертывание и оркестровку и повышенную надежность, такую как T-10 PI, двухпортовая изоляция и многое другое.

Другой популярный вариант подключения к хранилищу – iSCSI. С iSCSI, команды хранения в стандартной сети TCP / IP, и это отлично подходит для систем низкого и среднего уровня, где производительность и безопасность не являются основными требованиями. Распространенное заблуждение о Fibre Channel заключается в том, что, поскольку он использует выделенную сеть хранения данных, он дороже, чем iSCSI. Хотя iSCSI может работать в той же сети Ethernet, что и весь обычный сетевой трафик, для обеспечения производительности, необходимой большинству клиентов от своих систем хранения, iSCSI должен работать в сегментированной или выделенной сети Ethernet, изолированной от обычного сетевого трафика. Это означает сложные конфигурации VLAN и политики безопасности или полностью выделенную сеть Ethernet. Так же, как Fibre Channel.

Единственная реальная разница в стоимости между FC и iSCSI – это когда DAC — кабели используются в реализациях iSCSI. Но с ограничением расстояния 5 метров, используя DAC — кабели.

Это может нормально работать для клиентов малого и среднего бизнеса, имеющих только один массив хранения, но DAC — кабели плохо работают в крупномасштабном центре обработки данных.

Когда вы смотрите на топологию сети хранения данных, лучшие практики идентичны для iSCSI и Fibre Channel. Для обеспечения отказоустойчивости и устранения простоев в проекте сети хранения данных (SAN) предусмотрено два идентичных сетевых пути между серверами и хранилищем.

Однако одно существенное отличие заключается в том, что сети Fibre Channel не так подвержены нарушениям безопасности, как Ethernet. Когда вы в последний раз слышали о взломе сети Fibre Channel? Никогда? Как насчет сети Ethernet?

Безопасность является одной из главных причин того, что Fibre Channel будет оставаться опорой в центре обработки данных в течение многих лет.

Как мы ожидаем, набор команд SCSI будет заменен командами Non-Volitile Memory Express или NVMe. NVMe – это оптимизированный набор команд, разработанный для SSD и памяти классов хранения, который намного эффективнее, чем SCSI. Кроме того, NVMe представляет собой многорядную архитектуру с очередями ввода-вывода до 64 КБ, причем каждая очередь ввода-вывода поддерживает до 64 КБ команд. По сравнению со SCSI с одной очередью и 64 командами, NVMe может обеспечить значительно более высокую производительность.

Современная инфраструктура HPE StoreFabric 16GFC и 32GFC, которая поддерживает команды SCSI, также может запускать команды NVMe в сети SAN или в структуре, как она называется. При использовании Ethernet клиентам потребуется внедрить RDMA с низкой задержкой по сравнению с конвергентным Ethernet или RoCE, чтобы в полной мере использовать преимущества NVMe. Однако этот подход требует сложной реализации Ethernet без потерь с использованием мостов центров обработки данных (DCB) и управления приоритетными потоками (PFC). Сложность сети для NVMe через Ethernet будет огромным барьером для большинства клиентов, особенно когда развернутая сегодня FC SAN прекрасно работает с хранилищем NVMe завтрашнего дня.

Суть в том, что Fibre Channel останется источником жизненной силы для связи между серверами и общим хранилищем.

Первое знакомство

Сначала был компьютер. Первый, он же и единственный. Боже, как это было просто. Все данные хранились где-то глубоко в его недрах, и если их там не было,
то их не было вообще. Потом появились сети, призванные объединить такие компьютеры для совместной работы. На этом эпоха централизованного хранения завершилась, потому что для повышения производительности гораздо удобнее оказалось приблизить ресурсы поближе к рабочим группам. Таким образом, в попытке минимизировать сетевую нагрузку накопители информации были были равномерно разделены между множеством серверов и настольных компьютеров.

В итоге, сейчас мы имеем то, что имеем, и какой бы простой не являлась сеть, в ней одновременно существуют два канала передачи данных. На виду всегда сетевой канал, т. е. собственно сеть, по которой идет обмен между клиентами и серверами. Вместе с тем существует и второй канал, по которому происходит обмен данными между системной шиной компьютера и собственно устройством хранения. Это может быть канал между контроллером и жестким диском, если говорить в терминах ПК, или между RAID-контроллером и внешним дисковым массивом, как в случае сколь-нибудь серьезного сервера.

Такое разделение каналов во многом объясняется различными требованиями к пересылке данных. В сети на первое место встает доставка нужной информации одному клиенту из множества возможных, для чего необходимо создать определенные и весьма сложные механизмы адресации и некий «сетевой этикет» при одновременной работе всех клиентов. В итоге, перед каждой пересылкой по сети приходится выполнять ряд неизбежных процедур в соответствии с объявленными правилами и сознательно мириться с возникающими при этом задержками и снижением пропускной способности сетевого канала. Кроме того, сетевой канал предполагает значительные расстояния, поэтому здесь предпочтительна передача данных по последовательному соединению.

А вот канал хранения выполняет крайне простую задачу, предоставляя возможность обмена с заранее известным накопителем данных. Единственное, что от него требуется — делать это максимально быстро. Расстояния здесь, как правило, небольшие, поэтому производители могут использовать более дорогой кабель для параллельной передачи данных.

Если звезды зажигаются…

В последнее время в воздухе снова витает идея централизации. Или же, если угодно, то ее можно назвать концепцией истинно разделяемых ресурсов, где накопители не принадлежат никому конкретно, а могут напрямую использоваться любым другим ресурсом сети. Актуальность централизации во многом определяется осознанием все увеличивающейся роли хранения данных в современной вычислительной среде. Разве не заманчиво иметь возможность двигать устройства хранения в сети, как шахматные фигуры, и не привязывать их жестко к шинам ввода-вывода отдельных компьютеров?

Предполагается, что такая схема улучшит производительность и масштабируемость вычислительной среды вместе с более легким администрированием, а также повысит доступность данных. В итоге, мы вправе ожидать существенного снижения стоимости владения данным ресурсом, что справедливо ставится во главу угла финансовыми службами.

Очевидно, что всего этого можно добиться, если интегрировать накопители в сеть наряду с серверами, клиентскими машинами и прочими принтерами, т. е. использовать для этого существующий сетевой канал. К сожалению, после такого шага сеть просто впадет в кому, подавая лишь слабые признаки жизни. Конечно, если бы мы до сих пор использовали MS-DOS или все разом перешли на Linux, то с ними сетевой канал еще бы справлялся, но ведь по совершенно необъяснимым причинам пользователи предпочитают монстров типа Windows NT, да еще и пытаются передавать по этому же каналу потоковое видео.

В то же время существующему каналу хранения такие нагрузки по зубам, но вряд-ли в нынешнем виде он подходит для реализации истинно разделяемых ресурсов. Если обратиться к физической реализации такого канала, то самым сильным игроком здесь был и остается старый добрый параллельный SCSI, но при всей нашей любви к нему необходимо признать существенные ограничения на допустимую длину физической линии. Дело в том, что волновые характеристики отдельных проводников слегка отличаются, поэтому при передаче на большие расстояния возникает дифференциальная задержка в виде неодновременного прихода импульсов по разным сигнальным парам. В итоге получаем не более 25 метров даже при использовании дифференциального интерфейса HVD. Кроме того, передача по параллельному кабелю влечет за собой дополнительные расходы вследствие большей сложности монтажных работ, а также высокой стоимости используемых кабелей и коннекторов.

Читать статью  Шумит и трещит жесткий диск при нагрузке. Что можно сделать?

Fibre channel — хорошо забытое старое

Исходя из присущих параллельному соединению ограничений, сама идея использовать последовательную линию для канала хранения выглядит не такой уж и безумной, как это могло показаться с первого раза. Совершенно не зря говорят, что технический прогресс развивается по спирали. Если заглянуть в мир mainframe, то там практически с самого начала живет разработанный IBM стандарт последовательной передачи под названием ESCON (Enterprise Systems Connection) с использованием запатентованной IBM кодировки 8b/10b.

Когда в 1988 году ANSI (Американский Национальный Институт по Стандартизации) зарегистрировал рабочую группу по разработке «практичного, недорогого и вместе с тем расширяемого метода для высокоскоростного обмена данными между ЭВМ, суперкомпьютерами, рабочими станциями, персональными компьютерами, накопителями и устройствами отображения», мало кто из сторонних наблюдателей верил в успех, слишком уж глобальна и вызывающе звучала постановка задачи. Возможно, именно из-за такой недооценки потенциального соперника IBM с легкостью выдала лицензию на кодировку 8b/10b без отчислений владельцу (royalty-free license).

К тому времени парадигма Network (сетевое соединение) — Channel (шина ввода/вывода) была уже столь очевидна, что новый метод было решено назвать Fiber Channel. Через некоторое время разработчики спохватились, что английское слово Fiber слишком уж сильно ассоциируется с оптоволоконными линиями, поэтому оно было заменено на французскую (или британскую) транскрипцию Fibre. Учитывая, что основной топологией этого метода была избрана петля с арбитражным доступом (Arbitrated Loop), то его полное название составило Fibre Channel Arbitrated Loop или FC-AL.

Самое смешное, что после некоторых раздумий корпорация IBM тоже бросилась вдогонку, разработав свой собственный метод последовательной передачи под названием SSA (Serial Storage Architecture). Видимо, хотели сделать собственный закрытый стандарт, но получилось, как с микроканальной шиной MCA — основная масса разработчиков и производителей предпочла открытую архитектуру.

При всем богатстве выбора…

Таким образом, в настоящее время канал хранения может быть построен на основе нескольких интерфейсов передачи данных, три из которых описаны в стандарте на архитектуру SCSI-3. На верхнем (программном) уровне они используют один и тот же метод общего доступа (Common Access Method — CAM) и отличаются лишь на уровне реализации архитектурной модели (SCSI Architecture Model — SAM). То, что мы до сих пор столь привычно называем SCSI, по-прежнему использует параллельную архитектуру передачи SPI (SCSI Parallel Interface) и имеет коммерческое название UltraSCSI или Ultra2 при использовании архитектурной модели SPI-2. Кроме параллельного SPI, в стандарте SCSI-3 описаны еще и два последовательных интерфейса — Fibre Channel и SSA, отличающиеся лишь реализациями архитектурных моделей. Не стоит также забывать про старые добрые ESCON для мэйнфреймов и HIPPI (High Performance Parallel Interface), первоначально разработанный для суперкомпьютеров Cray.

Ultra2 FC-AL SSA HiPPI-Pp2 ESCON
полудуплекс полный дуплекс полный дуплекс полудуплекс полудуплекс
параллельный
(34 пары)
последовательный последовательный параллельный
(100 пар)
последовательный
80 MBytes/s 200 MBytes/s 80 MBytes/s 80 MBytes/s 17 Mbytes/s
SCSI CAM SCSI CAM, IP, VI,
HiPPI-FP, ESCON,
IPI, ATM, Ethernet,
FDDI, Token Ring
SCSI CAM HiPPI-FP, IPI ESCON
25 метров 10 километров 20 метров 25 метров 400 метров

Как видно из приведенной таблицы, по сумме вышеперечисленных характеристик FC-AL выглядит явным фаворитом. Правда, справедливости ради стоит отметить новый HiPPI-800, который, несмотря на свое название High Performance Parallel Interface, также использует последовательную передачу данных и имеет во многом сходные характеристики канала (до 10 км, полудуплекс при эффективной полосе пропускания 80 Mbytes/s).

Мы совершенно сознательно не считаем разработанную IBM технологию SSA сколь-нибудь серьезным соперником технологии FC-AL. Не станем пока вдаваться в технические детали, о которых вдоволь поговорим позже, а сфокусируемся лишь на маркетинговых вопросах. В свое время инициатива IBM была поддержана очень небольшим количеством независимых производителей, и только несколько из них сумели продвинуться дальше стадии разработки. А потом начались потери. Компания Conner, выпустившая на рынок жесткие диски SSA, была приобретена компанией Seagate, являвшейся уже к тому времени членом FCLC (Fiber Channel Loop Community). В итоге — ни Коннера, ни дисков.

На данный момент жесткие диски SSA можно приобрести только у IBM и Xyratex, которая сама базируется на бывшем заводе IBM. Долгое время из IBM исходили слухи о скором выпуске RAID-контроллера SSA, макет которого возили по компьютерным выставкам и демонстрировали всем желающим. А потом возить перестали, объявив о продаже прав на продукт компании Adaptec. Через некоторое время Adaptec перешел под знамена FCLC и блистательно похоронил наши надежды. Поэтому сейчас нам в очередной раз искренне жаль всех пользователей SSA, которые остались сиротами после объявления IBM о начале разработки нового стандарта FC-EL (Fiber Channel Enhanced Loop). Интересно, а сколько раз нужно наступить на грабли, чтобы выработать устойчивый рефлекс, как у собаки Павлова?

Первое знакомство

На момент выхода данной статьи Fibre Channel может быть описан как технология интерфейса передачи данных с гарантированной скоростью 1.0625 Gbit/s, поддерживающая такие распространенные способы обмена, как SCSI или IP. Благодаря такой универсальности, FC-AL может использоваться как в высокоскоростных шинах ввода/вывода (канал хранения), так и в LAN (сетевой канал) с максимальной длиной физической линии до 10 километров при использовании оптоволокна. К другим очевидным достоинствам Fibre Channel можно отнести поддержку различных топологий (точка-точка, петля с арбитражным доступом и коммутируемая звезда).

В основу технологии положена методика простого перемещения данных из буфера передатчика в буфер приемника с полным контролем этой и только этой операции. Благодаря такому «разграничению прав и обязанностей» для FC-AL совершенно неважно, как обрабатываются данные индивидуальными протоколами до и после помещения в буфер, вследствие чего тип передаваемых данных (команды, пакеты или кадры) не играет никакой роли.

И чтобы совсем приблизиться к идеалу, собственный размер кадра в FC-AL увеличен до 2148 байт для эффективной работы с большими массивами. В то же время, для уменьшения накладных расходов при передаче коротких сообщений размер кадра может пропорционально уменьшаться вплоть до 36 байт.

Таким образом, технология Fibre Channel может смело претендовать на роль универсальной Магистрали, пропускающей потоки данных как существующих шин ввода/вывода, так и LAN соединений.

Во избежание возможных недоразумений сразу оговоримся, что мы не предлагаем всем дружно отказаться от IDE, SCSI, Ethernet или FDDI. Совсем нет, это было бы так же глупо, как и призывы некоторых производителей тянуть ATM к каждому рабочему месту.

Совершенно очевидно, что технологическое превосходство того или иного стандарта само по себе не может служить достаточным основанием для отказа от уже используемых решений. Иначе кто бы сейчас в здравом уме покупал IDE диски, когда есть существенно более продвинутые SCSI? Но зачем платить лишние деньги за конвейерную обработку, если на компьютере не установлена многозадачная и многопотоковая ОС? И даже если установлена, то так ли часто большинству из нас приходится пользоваться этими возможностями? С другой стороны, нам неизвестны примеры успешного использования IDE дисков для аппаратного обеспечения посещаемых Интернет-ресурсов.

Примерно то же самое можно сказать и применительно к технологии Fibre Channel. Вряд ли на сегодняшний день есть большой смысл в ее применении на домашнем ПК или даже на рабочем месте в офисе. А вот объединить ресурсы серверов и накопителей в единый пул для центра обработки информации с помощью Fibre Channel можно гораздо эффективнее, чем при использовании стандартного набора Gigabit Ethernet + Ultra2 SCSI.

И при этом даже останется немного денег, чтобы после праведных трудов отдохнуть, ни в чем себе не отказывая 🙂

Источник http://www.xnets.ru/plugins/content/content.php?content.203.7

Источник https://habr.com/ru/company/hpe/blog/462733/

Источник https://www.ixbt.com/storage/fibre_1.html

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *