Табличная функция deltaLakeCluster

Это расширение для табличной функции deltaLake.

Позволяет обрабатывать файлы из таблиц Delta Lake в Amazon S3 параллельно с множества узлов в заданном кластере. На инициаторе создаётся соединение со всеми узлами в кластере и динамически распределяются файлы. На рабочем узле инициатор запрашивает следующую задачу на обработку и выполняет её. Это повторяется, пока все задачи не будут выполнены.

Синтаксис

Аргументы

cluster_name — Имя кластера, который используется для построения набора адресов и параметров соединения с удалёнными и локальными серверами.
Описание всех других аргументов совпадает с описанием аргументов в эквивалентной табличной функции deltaLake.

Возвращаемое значение

Таблица с указанной структурой для чтения данных из кластера в указанной таблице Delta Lake в S3.

См. также