Перейти к основному содержимому
Перейти к основному содержимому

azureBlobStorageCluster Табличная Функция

Позволяет обрабатывать файлы из Azure Blob Storage параллельно на множестве узлов в указанном кластере. На инициаторе она создает соединение со всеми узлами кластера, раскрывает звездочки в пути файла S3 и динамически распределяет каждый файл. На рабочем узле она запрашивает у инициатора следующую задачу для обработки и выполняет её. Этот процесс повторяется до тех пор, пока все задачи не будут завершены. Эта табличная функция схожа с функцией s3Cluster.

Синтаксис

Аргументы

  • cluster_name — Имя кластера, который используется для построения набора адресов и параметров соединения с удаленными и локальными серверами.
  • connection_string|storage_account_url — connection_string включает имя и ключ учетной записи (Создать строку подключения) или вы также можете предоставить URL учетной записи хранилища здесь, а имя учетной записи и ключ учетной записи как отдельные параметры (см. параметры account_name и account_key).
  • container_name - Имя контейнера
  • blobpath - путь к файлу. Поддерживает следующие подстановочные знаки в режиме только для чтения: *, **, ?, {abc,def} и {N..M}, где N, M — числа, 'abc', 'def' — строки.
  • account_name - если используется storage_account_url, то имя учетной записи можно указать здесь
  • account_key - если используется storage_account_url, то ключ учетной записи можно указать здесь
  • format — формат файла.
  • compression — Поддерживаемые значения: none, gzip/gz, brotli/br, xz/LZMA, zstd/zst. По умолчанию он автоматически определяет сжатие по расширению файла. (то же самое, что установка на auto).
  • structure — Структура таблицы. Формат 'column1_name column1_type, column2_name column2_type, ...'.

Возвращаемое значение

Таблица с указанной структурой для чтения или записи данных в указанном файле.

Примеры

Похожим образом на движок таблиц AzureBlobStorage, пользователи могут использовать эмулятор Azurite для локальной разработки Azure Storage. Подробности здесь. Ниже мы предполагаем, что Azurite доступен по имени хоста azurite1.

Выберите количество для файла test_cluster_*.csv, используя все узлы в кластере cluster_simple:

См. Также

Использование Совместимых Подписей Доступа (SAS)​

Смотрите azureBlobStorage для примеров.