Qlik Data Gateway — Data Movement

Qlik Data Gateway — Data Movement (далее Data Movement gateway) позволяет перемещать данные из корпоративных источников данных и приложения SaaS в поддерживаемые цели через исключительно исходящее зашифрованное подключение с двусторонней проверкой подлинности. Так как порты брандмауэра закрыты для входящего трафика, Data Movement gateway обеспечивает безопасное и надежное перемещение корпоративных данных.

Когда требуется Data Movement gateway?

Data Movement gateway требуется в следующих случаях:

• Источник данных или цель не доступны напрямую из Qlik Cloud. В качестве примера источников данных и целей, которые не доступны напрямую из Qlik Cloud, можно привести источники данных или цели, расположенные в виртуальном частном облаке (VPC), или за брандмауэром, блокирующим входящие подключения.

  Для получения дополнительной информации о частных подключениях см. раздел Поддержка частных подключений в Qlik Talend Data Integration.

• Требуется CDC из источников ― баз данных практически в реальном времени.
• Требуется доступ к целевым платформам через прокси-сервер.

• Имеется подписка Premium или Enterprise и требуется выполнять инкрементные загрузки из источников ― приложений SaaS с интервалом меньше 30 минут. При использовании Data Movement gateway с подписками Premium и Enterprise можно настроить интервал от 5 минут.

  Для получения информации о минимальных интервалах планирования в зависимости от типа источника данных и уровня подписки см. раздел Минимально допустимые интервалы планирования.

• В качестве источника данных используется:
  • IBM DB2 для z/OS
  • IBM DB2 для iSeries
  • IBM DB2 для LUW
  • SAP Extractor
  • SAP (приложение)
  • SAP ODP
  • SAP HANA (база данных)
  • Oracle

  • Microsoft SQL Server (на основе журнала Microsoft)

  Примечание к информацииМожно использовать Data Movement gateway для любого источника данных. Для перечисленных выше источников данных требуется Data Movement gateway. Для всех остальных источников данных можно использовать инструмент Data Movement gateway, если требуется дополнительная функциональность, которую он предлагает, но это не является стандартным требованием.
• Требуется дополнительный уровень безопасности, обеспечиваемый с помощью Data Movement gateway, который предотвращает прохождение данных через Qlik Cloud и позволяет заказчикам управлять путем перемещения данных. Это имеет значение только для источников данных RDBMS, SAP и мейнфреймов.

В следующем примере Data Movement gateway не требуется, так как источник (приложение SaaS) и цель (хранилище данных) напрямую доступны из Qlik Cloud:

Защита данных

Для каждого сервера Data Movement gateway, подключенного к клиенту Qlik Cloud, генерируется уникальная пара ключей. Эта пара ключей используется для проверки подлинности и для сквозного шифрования поверх шифрования транспортного уровня HTTPS. Более того, так как связь с Qlik Cloud и передача данных осуществляются только через исходящие порты, нет необходимости открывать какие-либо входящие порты в вашей корпоративной сети.

Общие случаи использования

В следующем разделе подробно описывается два общих случая использования: перемещение данных в цель, доступ к которой возможен только через частное подключение и перемещение данных в цели, доступные напрямую из Qlik Cloud.

Qlik Data Gateway — Data Movement играет центральную роль в процессе перемещения данных. Приведенные ниже схемы иллюстрируют, как Data Movement gateway взаимодействует с Qlik Cloud и источниками данных для обеспечения безопасного перемещения данных в поддерживаемые цели.

Поддержка частных подключений в Qlik Talend Data Integration

Частное подключение означает, что источник или цель данных закрыт от Интернета и поэтому недоступен из Qlik Cloud.

Существует несколько типов частного подключения, в том числе:

• Snowflake AWS PrivateLink, где отключено общедоступное подключение (через порт 443)
• Microsoft SQL Server (или другой RDBMS) в виртуальном частном облаке, у которого есть только частный IP-адрес

Data Movement gateway, развернутый для доступа к целевым платформам, выполняет операции ELT, в том числе некоторые или все из перечисленных далее: регистрация данных, хранение, преобразования и киоски данных.

Обратите внимание, что хотя один шлюз возможно использовать для доступа и к источнику данных, и к цели данных, для повышения производительности рекомендуется использовать два шлюза: один для доступа к источнику, а второй для доступа к цели. Например, если исходная база данных — локальный экземпляр Oracle, а целевая база данных — Snowflake AWS PrivateLink, один шлюз (определенный в подключении к источнику Oracle) будет использоваться для промежуточного хранения данных при перемещении из Oracle в Snowflake, а второй шлюз (определенный в подключении к цели Snowflake) будет использоваться для выполнения операций ELT. Использование двух шлюзов особенно рекомендуется в случаях, когда исходная и целевая базы данных не расположены в непосредственной близости друг к другу. В таком сценарии шлюз промежуточного хранения должен находиться максимально близко к источнику, а шлюз цели должен быть как можно ближе к цели. Если данные добавляются из нескольких источников данных, также может быть целесообразным настроить выделенный шлюз для каждого источника данных в зависимости от его типа и местоположения. Пример такого типа конфигурации показан на схеме ниже.

Перемещение данных из корпоративных источников данных в поддерживаемые цели

Имеет место следующая последовательность обмена данными в соответствии с протоколом высокого уровня:

1. Data Movement gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.

2. Qlik Cloud отправляет инструкции по выполнению задачи шлюзу Data Movement gateway, который в свою очередь сообщает о состоянии выполнения задачи в Qlik Cloud.

3. Data Movement gateway получает данные из источника и передает их в указанную целевую базу данных.

Перемещение данных из приложений SaaS в поддерживаемые цели

Имеет место следующая последовательность обмена данными в соответствии с протоколом высокого уровня:

1. Data Movement gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.

2. Qlik Cloud отправляет инструкции по выполнению задачи в шлюз Data Movement gateway, который сообщает о состоянии выполнения задачи в Qlik Cloud.

3. Когда запускается задача промежуточного хранения (Qlik Cloud, извлекает данные из приложения SaaS и сохраняет их (зашифровывая с использованием ключа клиента).

4. Data Movement gateway получает данные приложения SaaS из Qlik Cloud и передает их в указанную целевую базу данных.

Перемещение данных из приложений SaaS и корпоративных источников данных в поддерживаемые цели

Последовательность обмена данными на верхнем уровне — это комбинация описанных выше случаев применения «Перемещение данных из корпоративных источников данных» и «Перемещение данных из приложений SaaS».

Перемещение данных из приложений SaaS и корпоративных источников данных в виртуальном частном облаке (VPC) в поддерживаемые цели в VPC

Для перемещения данных из приложения SaaS применяется следующая последовательность обмена данными:

1. Data Movement gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.

2. Qlik Cloud отправляет инструкции по выполнению задачи в шлюз Data Movement gateway, который сообщает о состоянии выполнения задачи в Qlik Cloud.

3. Когда запускается задача промежуточного хранения (Qlik Cloud, извлекает данные из приложения SaaS и сохраняет их (зашифровывая с использованием ключа клиента).

4. Data Movement gateway получает данные приложения SaaS из Qlik Cloud и передает их в указанную целевую базу данных.

Для перемещения данных из приложения SaaS применяется следующая последовательность обмена данными:

1. Data Movement gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.

2. Qlik Cloud отправляет инструкции по выполнению задачи в шлюз Data Movement gateway, который сообщает о состоянии выполнения задачи в Qlik Cloud.

3. Data Movement gateway получает данные из источника и передает их в указанную целевую базу данных.