Что такое паркет?

Паркетная доска

Все статьи Предыдущая Следующая

Паркет в переводе с французского означает материал, который изготовлен из деревянных планок. Паркетом устилали во дворцах залы, приглашая для этой работы самых искусных мастеров, чьи творения сохранились и до наших дней. Паркет выполняли и выполняют из дорогих пород дерева.

Паркет является самым востребованным и качественным напольным покрытием. При его создании используют натуральные материалы, которые придают все большую популярность полу из строганных планок. Чаще всего паркет настилают в общественных заведениях, где маленькая посещаемость, или в жилых домах, так как паркетный пол требует к себе бережного отношения.

Главными свойствами паркета являются:

• малая теплопроводность, которая зависит от материала, из которого выполнен паркет;
• хорошая звукоизоляция;
• долгий срок службы;
• эстетичный внешний вид.

Для изготовления паркета в качестве древесины используют березу, клен, ясень, красное дерево и дуб. Дубовый паркет является самым долговечным и качественным на сегодняшний день.

Еще одно важное свойство паркетного пола – это способность с годами становиться прочнее и менять цвет при падении на него солнечных лучей под определенным углом. Некоторые породы древесины , от влажности и солнечного света меняют свои свойства, при этом приобретая новые качества. Например, паркет из древесины дуба. Со временем онапревращается в более прочный материал (иногда даже гвоздь забить в нее сложно). Этот пол становиться как будто каменный, что позволяет ему сохранить на долгие годы его первоначальный вид.
В зависимости от распила используемой древесины различают паркет:

Все напольные паркетные покрытия, представленные на сегодняшний день в огромном разнообразии видов, в зависимости от характеристик пород древесины подразделяются на различные «классы» или «сорта». Прежде всего, паркет делят по цвету на светлый и темный. К светлым паркетным покрытиям относится паркет, изготовленный из бука, березы, сосны, клена, лиственницы и др., а к темным – паркет из ореха, красного дерева и т.д. Некоторые породы древесины, например, дуб, груша, бук и вишня, могут менять оттенки в зависимости от угла падения света.

Селекция паркета – это сортировка паркетных планок по набору определенных показателей: по типу распила древесины (тангенциальный, радиальный), или по внешнему виду материала (разнообразие цветовой гаммы, направление наклона волокон древесины, отсутствие или наличие заболони, сучков, трещин и механических повреждений и др.) или учитывается и то, и другое одновременно.

По характеру распила древесины паркет подразделяют на радиальный (плоскость разреза проходит перпендикулярно годичным слоям), тангенциальный (распил выполнен по касательной к годичным кольцам) и смешанный (наличие одновременно радиального и тангенциального рисунка и переходных структур).

Характер распила дерева оказывает влияние, прежде всего, на текстуру древесины.

При радиальном распиле годовые кольца дерева расположены перпендикулярно к поверхности паркетных планок, что делает ее более однородной по структуре. Радиальный вид распила ценится наиболее высоко. Паркетные планки с радиальным распилом однородны по текстуре и цвету древесины, волокна расположены в виде параллельных линий.

При тангенциальном распиле дерева плоскость разреза расположена по касательной к годичному слою, поэтому на паркетных планках тангенциального распила имеется рисунок годовых колец, древесные волокна выглядят как волнообразные линии, а текстура планок более живая, разнообразная и насыщенная. Тангенциальный распил не допускает дефекты или механические повреждения древесины. Каждый вид распила характеризуется определенным выходом паркета по объему. При радиальном распиле получается наименьший выход паркета (всего 8-11 %), что и определяет его высокую стоимость. Тангенциальный и смешанный типы распила имеют значительно больший выход паркета.

От способа распила дерева зависят также и физические свойства древесины. Паркетные планки с радиальным распилом, например, более устойчивы к внешним воздействиям, так как у радиального паркета коэффициент линейного расширения гораздо меньше, чем у паркета с тангенциальным распилом. Но это зависит также и от ширины годовых колец дерева и условий его произрастания.

Кроме этого, согласно ГОСТ 862.1-85, учитывающему породу древесины, качество и уровень обработки, паркетные планки классифицируются по двум категориям: А (высшей категории качества) и Б (первой категории качества).

Существуют следующие сорта и селекции паркета.
Радиальный – это отборный паркет высшей категории качества исключительно радиального распила (с плоскостью разреза древесины через радиус ствола или с наклоном в 60 градусов перпендикулярно оси). Паркетные планки радиального распила однородны по текстуре и цвету древесины. Их внешний вид немного оживляют сердцевидные мраморные лучи, выходящие на поверхность паркетных планок, а волокна древесины имеют вид параллельных лучей. Паркет радиального распила не допускает ни малейших дефектов древесины и механических повреждений.
При создании художественных композиций, комбинируя виды паркета с различной текстурой дерева, следует учитывать, что визуальное восприятие поверхности паркетных планок с радиальным распилом зависит от направления падения света.
При распиле выход радиального паркета не превышает 8-11 % от общего объема, что делает его существенно дороже по сравнению с паркетами других типов.

Радиальный Селект – это отборный паркет высшей категории качества исключительно радиального распила (с плоскостью разреза древесины через радиус ствола или с наклоном в 60 градусов перпендикулярно оси). Имеет ровную однородную текстуру и ровный цветовой тон с разбросом оттенков не более 10 %. Паркет этого сорта не допускает дефектов древесины, механических повреждений. Не допускается также наличие сердцевинных мраморных лучей на поверхности паркетных планок.

Радиальный Мрамор – это паркет высшей категории со строгим радиальным распилом (с плоскостью разреза древесины через сердцевину). Имеет «мраморные» сердцевинные лучи с направлением от сердцевины к коре. Не допускается наличие заболони, сучков, наклона волокон и механических повреждений.

Тангенциальный – это отборный паркет высшей категории исключительно тангенциального распила (разрез древесины выполнен по касательной к годичным кольцам или в стороне от сердцевины). На паркетных планках годовые кольца образуют «арочный» рисунок. Паркетные планки тангенциального распила обладают насыщенной и живой текстурой, созданной пересечением годичных колец благодаря сбегу ствола. Волокна древесины выглядят волнообразными линиями, сердцевидных лучей практически не заметно, возможен незначительный перепад по тону. Паркет тангенциального распила не допускает ни малейших дефектов древесины и механических повреждений.
Стандарт – паркет высшей категории без отбора по способу распила, в нем присутствуют паркетные планки как радиального (70 %), так и тангенциального распила. Паркет этого сорта имеет натуральный рисунок дерева и не допускает наличие заболони, сучков, прожилок и механических повреждений. Допускается присутствие незначительных перепадов по тону и небольшой наклон волокон.

Как меняется паркет со временем

Вы уже потратили много времени и сил, выбрали превосходный паркет, все работы окончены. Вы любуетесь своим полом и хотите узнать, что будет с ним через несколько лет? Или теряетесь перед тем, как же ухаживать за этой красотой, привыкнуть к новому покрытию и сберечь его на долгие годы? А, может быть, уже начались изменения, которые внешне стали заметны вашим домашним? Не спешите искать номер бригадира, который выполнял работы по облачению вашего пола в эту изысканную одежду. Просто для паркета из любой породы древесины характерны изменения, связанные с процессами в структуре дерева под действием эксплуатационных факторов. К тому же, многие из этих изменений придают паркету лишь еще большую изысканность, а их возникновение лишь указывает на то, что ваш пол состоит из натурального сырья. Итак, что меняется в паркете в процессе эксплуатации, как правильно за ним ухаживать и что действительно является дефектом при укладке или производстве покрытия, мы разберем в нашей статье.

Изменение цвета паркета со временем

Выцветание древесины — одно из наиболее часто встречающихся изменений паркетных полов. Древесина меняет оттенок в тех местах, где происходит воздействие прямого солнечного света. Ультрафиолетовое излучение может неодинаково «подкрашивать» разные породы дерева: одни темнеют, другие, наоборот, становятся светлее. Это нормальный процесс созревания паркета, который заметнее всего проявляется в первый год эксплуатации полов. Период созревания древесины отличается у разных сортов, и каждый из них обладает своей степенью устойчивости к ультрафиолетовым лучам. Этот фактор следует учитывать при выборе того или иного типа паркета для хорошо освещенной солнцем комнаты. Поэтому перед окончательным выбором удостоверьтесь, подойдет ли интерьеру Вашего помещения выбранный паркет, и будет ли гармонировать со временем измененная палитра его цветов с цветовой гаммой отделки. Тонированный паркет практически не меняет своего оттенка даже через несколько лет, однако термообработанная древесина становится светлее, чуть ближе к натуральному цвету. Все породы выравнивают оттенок, паркет становится менее пестрым, однородным. Цвет становится более глубоким. Заметнее всего меняется цвет у экзотических красных пород — кумару, мербау, ятоба и т.д. Светлые породы становятся темнее, а темные породы, наоборот, немного выцветают со временем.

При нормальной эксплуатации перемена оттенка паркета происходит относительно прогнозируемо и стабильно. Коррективы в протекание этого процесса, кроме солнечного света, может внести взаимодействие с различного вида жидкостями. Это может быть обычная вода, реакция на моющие средства с активным компонентом, агрессивным к финишному покрытию паркета, продукты жизнедеятельности домашних животных и другие причины. Особое внимание стоит уделять животным и птицам: в состав их экскрементов входят химически активные вещества, способные при довольно непродолжительном контакте воздействовать даже на современное лакокрасочное покрытие металлического кузова автомобиля, не говоря уже о капризном и чувствительном к загрязнениям паркете. В результате таких воздействий происходит выцветание и обесцвечивание локальных участков пола, подвергшихся смачиванию. В таких случаях следует как можно скорее убрать разлитую жидкость и грязь мягкой тканью и моющим средством с щадящим составом. Особенно сильные загрязнения можно удалять средствами на основе органических растворителей, подходящими для этого по составу. При длительном воздействии может потребоваться местная шлифовка или даже замена нескольких планок.

Появление трещин и щелей

Появление трещин и щелей обычно вызывается сезонными колебаниями температурно-влажностного режима помещений. Зимний период сопровождается снижением влажности в результате интенсивной работы отопительных приборов. При этом не стоит надолго открывать окна настежь для проветривания, чтобы не заморозить паркет. Частые резкие перемены температуры для него также вредны. Допускается образование небольших едва заметных щелей, и пол никаких забот не доставляет из-за небольшой усушки древесины. Чтобы облегчить паркетному покрытию задачу пережить новый сезон, используйте средства увлажнения воздуха. Это может быть и запрограммированный режим поддержания температуры и влажности кондиционера, и обычная емкость с водой. Этот оптимальный для древесины режим соответствует весьма комфортным условиям и для человека с температурой воздуха 18-25°С и влажностью 40-60%. С окончанием отопительного сезона эти щели исчезают без разрывов в лаковом покрытии. Массивная доска меньше щелится, если укладывалась на толстую фанеру, о чем немногие знают. Также есть породы, которые меньше всего изменяют свои геометрические параметры — например, дуб. Из экзотических пород меньше всего щелится американский орех. Через несколько лет расширение и сужение древесины практически заканчивается, т.е. дерево «умирает» и видимое щеление прекращается.

Зимний период является проверкой качества самого паркета и его укладки. Если при работе был использован пересушенный или, напротив, сырой паркет, деформации могут быть значительными. Для паркета, влажность которого превышала нормативный уровень в момент укладки, сушка продолжается уже в составе готового покрытия. Из основания влага уже могла успеть испариться, а в толщине доски еще содержится. А лакированное покрытие препятствует как проникновению, так и испарению лишней воды. От этого паркет может потрескаться, вспучиться или начать скрипеть уже на следующий сезон. Пересушенный же паркет интенсивно впитывает влагу из воздуха помещения, набухает, что может привести к разрыву покрытия, повреждению соединений, отрыву от основания и другим деформациям. Важным моментом остается выбор качественных сопутствующих материалов, таких, как паркетный клей и средства финишной обработки верхнего слоя. Есть простое правило: чем больше плотность древесины, тем больше риска, что она растрескается при значительном снижении влажности. По этой причине экзотические плотные породы нельзя использовать в каминных залах и подвергать засушиванию. Самая стабильная порода — опять дуб, который в процессе своего роста «закаляется» и меньше остальных твердых пород реагирует на сухость. Из экзотических пород самая стабильная — американский орех с очень эластичной структурой.

Летом же, наоборот, относительная влажность воздуха превышает допустимый уровень. Если не принимать меры, содержание влаги древесины также растет, элементы паркета начинают впитывать воду и набухают. Происходит выдавливание пропиточных и декоративных составов из стыков плашек и досок, а после исчерпания запаса пространства поверхность начинает вспучиваться. По этой причине по периметру помещения оставляют так называемый температурный зазор, чтобы было, куда расширяться древесине.

Кроме того, деформации такого рода могут быть вызваны некачественным проведением работ по укладке или при подготовке основания. В частности, укладка паркета на недостаточно высохшую стяжку или отсутствие пароизоляции вызывает дополнительные напряжения в толще паркетной доски. Верхний слой тогда постоянно находится при нормальных условиях, а нижний и средний получают регулярную подпитку влаги снизу. Возникают щели между клепками, трещины, отслоение от основания. Слишком плотное соединение досок в шпунт, несоблюдение компенсационных зазоров в предусмотренных местах, применение несоответствующего инструмента и другие нарушения укладки встречаются довольно часто. Это говорит лишний раз о том, какую важность приобретает выбор качественных материалов наряду с соблюдением технологии выполнения работ.

Механические повреждения

Механические повреждения с течением времени могут разрушить даже самое стойкое ко всем видам воздействий защитное покрытие паркетного пола. Поэтому задачей хозяина, который заботится о долговечности своего паркетного пола и сохранении его внешнего вида, является возможное снижение такого рода воздействий. К ним относятся:

• Повреждения, вызываемые хождением в помещениях с паркетным полом в уличной обуви, обуви на высоком каблуке. Лакированное, полированное или любым другим способом обработанное покрытие царапается, становится мутным, теряет неповторимый цвет и защитные свойства. Поэтому ходить по паркету нужно в мягкой домашней обуви, а появившийся песок удалять пылесосом с соответствующей насадкой. Важно понимать, что на любой древесины остаются вмятины от каблуков, разница лишь в глубине, но визуально паркет с вмятинами примерно одинаково выглядит, независимо от твердости породы.
• Повреждения от перемещения мебели на колесиках или другой мебели. Возникающие царапины приводят к быстрому истиранию покрытия и тем же негативным последствиям. Для их предотвращения можно применять под часто перемещаемую мебель прозрачные коврики из поликарбоната, которые не снижают декоративных качеств паркета и предохраняют покрытие от нежелательных воздействий. Для исключения повреждений от перемещения более стационарной и тяжелой мебели (диванов, шкафов) следует снабдить опорные ножки наклейками из отрезков войлока или другой мягкой ткани. В магазинах появилось огромное количество мебели на любой вкус, предназначенной для использования в помещениях с паркетными полами. Она снабжена колесиками, но с резиновым покрытием. Также особое внимание уделяется и наличию ковров в комнате с паркетом. Обязательно нужно выполнять уборку под ними, так как песок или кусочки клеящего состава основы ковра из ворса попадают на отделанную поверхность, действуя как наждак. После уборки же под ковром из натуральных материалов остаются мельчайшие капли влаги, которые после накрытия ковром создают на поверхности паркета неблагоприятные условия.
• Домашние питомцы своими когтями могут при длительном воздействии значительно ухудшить качество отделки паркета. Содержать их желательно в помещениях с матовым светлым полом. Вообще матовый светлый не слишком однородный паркет — самый практичный вид деревянного пола. Если вы мечтаете о темном глянцевом паркете, то лучше рассматривать паркет с контрастной текстурой, ни в коем случае не однородную черную тонировку, на которой любая царапина будет бросаться в глаза.

Рекомендации по уходу за паркетом

В зависимости от типа отделки верхнего слоя паркета способы ухода за таким покрытием несколько отличаются. Для лакированного покрытия или покрытия с UV-маслом нормативный срок службы может достигать 30 лет. В течение этого времени проводится предварительная сухая чистка с последующей влажной уборкой. При этом уборка проводится водными эмульсиями обычных чистящих средств. Ткань должна быть мягкой, а тряпка хорошо отжатой.

Паркет под натуральным маслом более требователен к частоте нанесения защитных пропиток. Раз в полгода-год можно наносить на паркет покрытия, в состав которых входят растительные масла. Они позволяют паркету дышать, что важно при увеличившейся относительной влажности. Бывают случаи, когда требуется выполнить непредвиденный косметический ремонт, к примеру, подклеить обои или поправить шпатлевку и окраску на потолке. Допускается закрыть паркет водонепроницаемым полотном, но сроком не более 4-5 дней.

Масло в воском — середина между обычным маслом и лаком. С одной стороны, не требуется частой пропитки маслом и воск хорошо защищает древесину от жидкостей. С другой стороны, масло с воском не царапается как лак и проще реставрируется.

Относитесь к паркету как к живому организму со своим характером и особенностями. Берегите паркет, заботьтесь о его состоянии и он ответит своей долгой и надежной службой, будет радовать ваших родных и гостей.

Что такое формат файла паркета? Варианты использования и преимущества

Содержание

Этот пост в блоге является предварительным просмотром нашего обширного и тщательно разработанного руководства по форматам больших данных. Не упустите шанс расширить свое понимание, получив полную версию, в которой вы изучите сложные технические детали и получите глубокие знания [скачать бесплатно].

С момента своего первого появления в 2013 году Apache Parquet получил широкое распространение в качестве бесплатного формата хранения с открытым исходным кодом для быстрого выполнения аналитических запросов. Когда AWS объявила об экспорте озера данных, они охарактеризовали Parquet как 9.0011 «В 2 раза быстрее выгружается и занимает до 6 раз меньше места в Amazon S3 по сравнению с текстовыми форматами» . Преобразование данных в форматы столбцов, такие как Parquet или ORC, также рекомендуется как средство повышения производительности Amazon Athena.

Понятно, что Apache Parquet играет важную роль в производительности системы при работе с озерами данных.

На самом деле Parquet является одним из основных форматов файлов, поддерживаемых Upsolver, нашей полностью SQL-платформой для преобразования данных в движении. Он может вводить и выводить файлы Parquet и использует Parquet в качестве формата хранения по умолчанию. Вы можете бесплатно выполнить образцы шаблонов пайплайна или начать создавать свои собственные в Upsolver.

Теперь давайте подробнее рассмотрим, что такое Parquet на самом деле и почему он важен для хранения и аналитики больших данных.

Основное определение: что такое паркет Apache?

Apache Parquet — это формат файла, предназначенный для поддержки быстрой обработки сложных данных, с несколькими примечательными характеристиками:

1. Столбчатый: ориентированный — это означает, что значения каждого столбца таблицы хранятся рядом друг с другом, а не со значениями каждой записи:

2. Открытый исходный код: Parquet является бесплатным для использования и имеет открытый исходный код в соответствии с лицензией Apache Hadoop и совместим с большинством платформ обработки данных Hadoop. Цитируя веб-сайт проекта, «Apache Parquet… доступен для любого проекта… независимо от выбора платформы обработки данных, модели данных или языка программирования».

3. Самоописание : В дополнение к данным файл Parquet содержит метаданные, включая схему и структуру. В каждом файле хранятся как данные, так и стандарты, используемые для доступа к каждой записи, что упрощает разделение служб, которые записывают, хранят и читают файлы Parquet.

Преимущества паркетного столбчатого хранения – зачем его использовать?

Приведенные выше характеристики формата файлов Apache Parquet создают несколько явных преимуществ, когда речь идет о хранении и анализе больших объемов данных. Рассмотрим некоторые из них более подробно.

Сжатие

Сжатие файла — это действие по уменьшению размера файла. В Parquet сжатие выполняется столбец за столбцом, и он создан для поддержки гибких параметров сжатия и расширяемых схем кодирования для каждого типа данных — например, для сжатия целочисленных и строковых данных может использоваться различное кодирование.

Данные паркета могут быть сжаты с использованием следующих методов кодирования:

• Кодирование по словарю: включается автоматически и динамически для данных с небольшим количеством уникальных значений.

• Упаковка битов: Хранение целых чисел обычно выполняется с выделенными 32 или 64 битами на целое число. Это позволяет более эффективно хранить небольшие целые числа.
• Кодирование длины цикла (RLE): , когда одно и то же значение встречается несколько раз, одно значение сохраняется один раз вместе с количеством вхождений. В Parquet реализована комбинированная версия упаковки битов и RLE, в которой переключение кодирования обеспечивает наилучшие результаты сжатия.

Производительность

В отличие от форматов файлов на основе строк, таких как CSV, Parquet оптимизирован для повышения производительности. При выполнении запросов в вашей файловой системе на основе Parquet вы можете очень быстро сосредоточиться только на соответствующих данных. Кроме того, объем сканируемых данных будет намного меньше, что приведет к меньшему использованию операций ввода-вывода. Чтобы понять это, давайте немного глубже рассмотрим структуру файлов Parquet.

Как мы упоминали выше, Parquet — это самоописываемый формат, поэтому каждый файл содержит как данные, так и метаданные. Файлы паркета состоят из групп строк, верхнего и нижнего колонтитула. Каждая группа строк содержит данные из одних и тех же столбцов. Одни и те же столбцы хранятся вместе в каждой группе строк:

Эта структура хорошо оптимизирована как для быстрой обработки запросов, так и для малого количества операций ввода-вывода (минимизация объема сканируемых данных). Например, если у вас есть таблица с 1000 столбцов, к которой вы обычно будете запрашивать только небольшое подмножество столбцов. Использование файлов Parquet позволит вам получить только необходимые столбцы и их значения, загрузить их в память и ответить на запрос. Если бы использовался формат файла на основе строк, такой как CSV, вся таблица должна была бы быть загружена в память, что привело бы к увеличению ввода-вывода и снижению производительности.

Эволюция схемы

При использовании форматов файлов со столбцами, таких как Parquet, пользователи могут начать с простой схемы и постепенно добавлять в схему дополнительные столбцы по мере необходимости. Таким образом, пользователи могут получить несколько файлов Parquet с разными, но взаимно совместимыми схемами. В этих случаях Parquet поддерживает автоматическое слияние схем между этими файлами.

Открытый и непатентованный код  

Apache Parquet является частью экосистемы Apache Hadoop с открытым исходным кодом. Усилия по разработке вокруг него активны, и он постоянно совершенствуется и поддерживается сильным сообществом пользователей и разработчиков.

Хранение данных в открытых форматах позволяет избежать привязки к поставщику и повысить гибкость по сравнению с проприетарными форматами файлов, используемыми во многих современных высокопроизводительных базах данных. Это означает, что вы можете использовать различные механизмы запросов, такие как Amazon Athena, Qubole и Amazon Redshift Spectrum, в рамках одной и той же архитектуры озера данных, а не привязываться к конкретному поставщику базы данных.

Хранилище, ориентированное на столбцы, и хранилище на основе строк для аналитических запросов

Данные часто генерируются и легче концептуализируются в строках. Мы привыкли думать в терминах электронных таблиц Excel, где мы можем видеть все данные, относящиеся к конкретной записи, в одной аккуратной и упорядоченной строке. Однако для крупномасштабных аналитических запросов столбчатое хранилище имеет значительные преимущества в отношении стоимости и производительности.

Сложные данные, такие как журналы и потоки событий, должны быть представлены в виде таблицы с сотнями или тысячами столбцов и многими миллионами строк. Хранение этой таблицы в формате на основе строк, таком как CSV, будет означать:

• Запросы будут выполняться дольше, поскольку необходимо сканировать больше данных, а не только запрашивать подмножество столбцов, которые нам нужны для ответа на запрос (что обычно требует агрегирования). в зависимости от измерения или категории)
• Хранилище будет более дорогостоящим, поскольку файлы CSV не сжимаются так эффективно, как Parquet 9.0060

Столбцовые форматы обеспечивают лучшее сжатие и повышенную производительность, а также позволяют запрашивать данные по вертикали — столбец за столбцом.

Варианты использования Apache Parquet — когда следует его использовать?

Хотя это неполный список, есть несколько явных признаков того, что вам следует хранить данные в Parquet:

• Когда вы работаете с очень большими объемами данных . Паркет создан для производительности и эффективного сжатия. Различные сравнительные тесты, в которых сравнивалось время обработки SQL-запросов в форматах Parquet и таких форматах, как Avro или CSV (включая один, описанный в этой статье, а также этот), обнаружили, что запросы Parquet приводят к значительно более быстрым запросам.

• Когда в вашем полном наборе данных много столбцов, но вам нужен доступ только к подмножеству . Из-за растущей сложности бизнес-данных, которые вы записываете, вы можете обнаружить, что вместо сбора 20 полей для каждого события данных вы теперь фиксируете более 100. Хотя эти данные легко хранить в озере данных, для их запроса потребуется сканирование значительного объема данных, если они хранятся в форматах на основе строк. Столбчатая и самоописывающая природа Parquet позволяет вам извлекать только те столбцы, которые необходимы для ответа на конкретный запрос, уменьшая объем обрабатываемых данных.

Если вы хотите, чтобы несколько служб использовали одни и те же данные из хранилища объектов . В то время как поставщики баз данных, такие как Oracle и Snowflake, предпочитают, чтобы вы хранили свои данные в проприетарном формате, который могут читать только их инструменты, современная архитектура данных смещена в сторону отделения хранилища от вычислений. Если вы хотите работать с несколькими аналитическими службами для решения различных задач, вам следует хранить данные в Parquet. (Подробнее об архитектуре конвейера данных)

Parquet и ORC

Apache Parquet и Optimized Row Columnar (ORC) — два популярных формата файлов больших данных. Оба имеют уникальные преимущества в зависимости от вашего варианта использования:

Операционная эффективность:

1. Эффективность записи: ORC лучше подходит для операций с большим количеством операций записи благодаря своему формату хранения на основе строк. Он обеспечивает лучшую скорость записи по сравнению с Parquet, особенно при работе с развивающейся схемой.
2. Эффективность чтения: Parquet отлично подходит для сценариев аналитики с однократной записью и многократным чтением, предлагая высокоэффективное сжатие и распаковку данных. Он поддерживает пропуск данных, что позволяет запросам возвращать определенные значения столбцов, пропуская при этом всю строку данных, что приводит к минимизации операций ввода-вывода. Это может сделать ORC полезным в сценариях с большим количеством столбцов в наборе данных и необходимостью доступа только к определенным подмножествам данных.
3. Совместимость : ORC хорошо совместим с экосистемой Hive, предоставляя такие преимущества, как поддержка транзакций ACID при работе с Apache Hive. Тем не менее, Parquet предлагает более широкий доступ, поддерживая несколько языков программирования, таких как Java, C++ и Python, что позволяет использовать его практически в любых условиях работы с большими данными. Он также используется в нескольких механизмах запросов, таких как Amazon Athena, Amazon Redshift Spectrum, Qubole, Google BigQuery, Microsoft Azure Data Explorer и Apache Drill.
4. Сжатие: Как ORC, так и Parquet предлагают несколько вариантов сжатия и поддерживают эволюцию схемы. Однако Parquet часто выбирают вместо ORC, когда сжатие является основным критерием, так как это приводит к меньшим размерам файлов с чрезвычайно эффективными схемами сжатия и кодирования. Он также может поддерживать определенные схемы сжатия для каждого столбца, дополнительно оптимизируя хранимые данные.

Чтобы узнать, как Parquet сравнивается с другими форматами файлов, ознакомьтесь с нашим сравнением Parquet, Avro и ORC 9.0003

Пример: Запись файлов Parquet на S3 — 

Мы более подробно рассмотрели этот пример на нашем недавнем вебинаре с Looker. Смотреть запись здесь.

Чтобы продемонстрировать влияние столбцового хранилища Parquet по сравнению с альтернативами на основе строк, давайте посмотрим, что происходит, когда вы используете Amazon Athena для запроса данных, хранящихся в Amazon S3, в обоих случаях.

С помощью Upsolver мы передали набор данных журналов сервера в формате CSV на S3. В обычной архитектуре озера данных AWS Athena будет использоваться для запроса данных непосредственно из S3. Затем эти запросы можно визуализировать с помощью интерактивных инструментов визуализации данных, таких как Tableau или Looker.

Мы протестировали Athena на том же наборе данных, который хранится как сжатый CSV и как Apache Parquet .

Это запрос, который мы выполнили в Athena:

 SELECT tags_host AS host_id, AVG(fields_usage_active) as avg_usage
ОТ server_usage
СГРУППИРОВАТЬ ПО tags_host
ИМЕЕТ AVG (fields_usage_active)> 0
LIMIT 10 

И результаты:

1. Сжатые CSV: Сжатый CSV состоит из 18 столбцов и весит 27 ГБ на S3. Athena должна сканировать весь CSV-файл, чтобы ответить на запрос, поэтому мы будем платить за 27 ГБ отсканированных данных. При более высоких масштабах это также отрицательно скажется на производительности.
2. Parquet: Преобразовывая наши сжатые файлы CSV в Apache Parquet, вы получаете аналогичный объем данных в S3. Однако, поскольку Parquet является столбцовым, Athena нужно считывать только те столбцы, которые имеют отношение к выполняемому запросу — небольшое подмножество данных. В этом случае Athena должна была просканировать 0,22 ГБ данных, поэтому вместо оплаты 27 ГБ отсканированных данных мы платим только за 0,22 ГБ.

Достаточно ли паркета?

Использование паркета — хорошее начало; однако на этом оптимизация запросов к озеру данных не заканчивается. Вам часто нужно очищать, обогащать и преобразовывать данные, выполнять соединения с высокой кардинальностью и внедрять множество передовых методов, чтобы обеспечить быстрые и экономичные ответы на запросы.

Upsolver позволяет создавать и запускать надежные самоорганизующиеся конвейеры данных для потоковой передачи и пакетных данных с использованием полностью SQL. Вы можете использовать Upsolver для упрощения конвейеров озера данных, автоматического приема данных в виде оптимизированного Parquet и преобразования потоковых данных с помощью функций, подобных SQL или Excel. Попробуйте бесплатно в течение 30 дней. Кредитная карта не требуется. Вы также можете запланировать демонстрацию, чтобы узнать больше.

Следующие шаги

• Ознакомьтесь с некоторыми из этих передовых методов работы с озером данных.
• Прочтите о создании конвейеров приема больших данных
• Узнайте о преимуществах хранения вложенных данных в формате Parquet.
• Прочтите наше новое руководство по безопасным озерам данных, соответствующим требованиям.

Опубликовано в:
Блог
,
Облачная архитектура

Понимание формата файла Parquet

Apache Parquet — популярная колонка
формат файла хранилища, используемый системами Hadoop, например Pig,
Искра и Улей. Формат файла
не зависит от языка и имеет двоичное представление. Паркет используется для
эффективно хранить большие наборы данных и имеет расширение .паркет . Этот
сообщение в блоге направлено на то, чтобы понять, как работает паркет и какие приемы он использует, чтобы
эффективно хранить данные.

Основные характеристики паркета:

• кроссплатформенный
• это признанный формат файла, используемый многими системами
• хранит данные в столбцах
• хранит метаданные

Последние две точки обеспечивают эффективное хранение и запрос данных.

Хранилище столбцов

Предположим, у нас есть простой фрейм данных:

 tibble::tibble(id = 1:3,
              имя = с ("n1", "n2", "n3"),
              возраст = c(20, 35, 62))
#> # Блокнот: 3 × 3
#> возраст идентификатора имени
#>   
#> 1 1 n1 20
#> 2 2 п2 35
#> 3 3 п3 62
 

Если бы мы сохранили этот набор данных в виде CSV-файла, то, что мы видим в терминале R
зеркалируется в формате файлового хранилища. Это хранилище строк . Это
эффективен для файловых запросов, таких как

 SELECT * FROM table_name WHERE id == 2
 

Мы просто переходим ко второй строке и извлекаем эти данные. Это также очень легко
чтобы добавить строки в набор данных — мы просто добавляем строку в конец
файл. Однако, если мы хотим просуммировать данные в столбце age , то это
потенциально неэффективен. Нам нужно определить, какое значение на
каждая строка связана с age и извлекает это значение.

Паркет использует хранилище столбцов. В макетах столбцов данные столбцов хранятся
последовательно.

 1 2 3
n1 n2 n3
20 35 62
 

При таком макете такие запросы, как

 SELECT * FROM dd WHERE id == 2
 

теперь неудобны. Но если мы хотим суммировать все эпохи, мы просто идем к
третью строку и сложите числа.

Чтение и запись файлов паркета

В R мы читаем и записываем файлы паркета с помощью пакета {arrow}.

 # install.packages("стрелка")
библиотека ("стрелка")
версия пакета ("стрелка")
#> [1] '6.0.1'
 

Для создания паркетной пилки используем write_parquet()

 # Использовать набор данных пингвинов
данные (пингвины, пакет = "пальмерпингвины")
# Создаем временный файл для вывода
паркет = временный файл (fileext = ".parquet")
write_parquet (пингвины, раковина = паркет)
 

Чтобы прочитать файл, мы используем read_parquet() . Одно из преимуществ использования
паркет, есть небольшие размеры файлов. Это важно при работе с большими
наборы данных, особенно после того, как вы начнете учитывать стоимость облачных
хранилище. Уменьшение размера файла достигается двумя способами:

• Сжатие файлов. Это указывается через аргумент сжатия .
  в write_parquet() . По умолчанию
  быстрый .
• Умное хранение значений (следующий раздел).

Используете ли вы профессиональные продукты Posit? Если да, ознакомьтесь с нашими управляемыми услугами Posit.

Parquet Encoding

Поскольку паркет использует столбцовое хранилище, значения одного и того же типа являются числовыми.
хранятся вместе. Это открывает целый мир оптимизационных трюков, которые
недоступны, когда мы сохраняем данные в виде строк, например. CSV-файлы.

Кодирование длины цикла

Предположим, что столбец содержит только одно значение, повторяющееся в каждой строке.
Вместо того, чтобы хранить один и тот же номер снова и снова (как файл CSV),
мы можем просто записать «значение X, повторенное N раз» . Это означает, что даже
когда N становится очень большим, затраты на хранение остаются небольшими. Если бы у нас было больше
чем одно значение в столбце, то мы можем использовать простую справочную таблицу. В
паркет, это известно как кодировка серий . Если у нас есть
следующий столбец

 с(4, 4, 4, 4, 4, 1, 2, 2, 2, 2)
#> [1] 4 4 4 4 4 1 2 2 2 2
 

Это будет сохранено как

• значение 4, повторенное 5 раз
• значение 1, повторяется один раз
• значение 2, сообщается 4 раза

Чтобы увидеть это в действии, давайте создадим простой пример, где символ
повторяется несколько раз в столбце фрейма данных:

 x = data. frame(x = rep("A", 1e6))
 

Затем мы можем создать пару временных файлов для нашего эксперимента

 паркет = временный файл (fileext = ".parquet")
csv = временный файл (fileext = ".csv")
 

и записать данные в файлы

 arrow::write_parquet(x, сток = паркет, сжатие = "несжатый")
readr::write_csv(x, файл = csv)
 

Используя пакет {fs}, мы извлекаем размер

 # Также можно использовать file.info()
fs::file_info(c(паркет,csv))[ "размер"]
#> # Блокнот: 2 × 1
#> размер
#> 
#> 1 1014
#> 2 1,91 млн.
 

Мы видим, что файл паркета крошечный, тогда как файл CSV почти
2 МБ. На самом деле это 500-кратное сокращение файлового пространства.

Кодировка словаря

Предположим, у нас есть следующий вектор символов

 c("Jumping Rivers", "Jumping Rivers", "Jumping Rivers")
#> [1] «Прыгающие реки» «Прыгающие реки» «Прыгающие реки»
 

Если мы хотим сэкономить место, то можем заменить Jumping Rivers на
номер 0 и иметь таблицу для сопоставления между 0 и Прыжки через реки .
Это значительно уменьшит объем памяти, особенно для длинных векторов.

 x = data.frame(x = rep("Прыгающие реки", 1e6))
arrow::write_parquet(x, раковина = паркет)
readr::write_csv(x, файл = csv)
fs::file_info(c(паркет,csv))[ "размер"]
#> # Блокнот: 2 × 1
#> размер
#> 
#> 1 1,09 тыс.
#> 2 14.31M
 

Дельта-кодирование

Это кодирование обычно используется вместе с метками времени. раз
обычно хранятся в виде времени Unix, которое представляет собой количество
секунд, прошедших с
1 января, 1970. Этот формат хранения не особенно полезен для
люди, поэтому, как правило, это красиво напечатано, чтобы сделать его более привлекательным для
нас. Например,

 (время = Sys.time())
#> [1] "2022-03-16 17:47:36 GMT"
некласс (время)
#> [1] 1647452856
 

Если у нас есть большое количество меток времени в столбце, один метод для
уменьшение размера файла заключается в том, чтобы просто вычесть минимальную метку времени из всех
ценности. Например, вместо хранения

 c(1628426074, 1628426078, 1628426080)
#> [1] 1628426074 1628426078 1628426080
 

мы бы сохранили

 c(0, 4, 6)
#> [1] 0 4 6
 

с соответствующим смещением 1628426074 .

Другие кодировки

Паркет использует еще несколько приемов. Их GitHub
страница
дает полное представление.

Если у вас есть паркетная пилка, вы можете использовать
паркет-мистер, чтобы исследовать
кодировка, используемая в файле. Тем не менее, установка инструмента не тривиальна
и занимает какое-то время.

Перо против паркета

Очевидный вопрос, который приходит на ум при обсуждении паркета, заключается в том, как
это сравнивается с форматом пера. Перо оптимизировано для скорости,
тогда как паркет оптимизирован для хранения. Также стоит отметить, что
апачи
Стрелка
формат файла это перо.

Parquet против форматов RDS

Формат файла RDS, используемый readRDS()/saveRDS() и load()/save() .
Это родной для R формат файла, который может быть прочитан только R.
Преимущество использования RDS заключается в том, что он может хранить любые объекты R — среды,
списки и функции.

Если нас интересуют исключительно прямоугольные структуры данных, т.е. данные
кадров, то причины для использования файлов RDS

• формат файла существует уже давно и вряд ли будет
  изменять. Это означает, что он обратно совместим
• не зависит ни от каких внешних пакетов; просто база

р.

Преимущества использования паркета

• размер файлов паркетных файлов немного меньше. Если вы хотите
  сравните размеры файлов, убедитесь, что вы установили сжатие = "gzip" в
  write_parquet() для честного сравнения.
• паркетные пилки кроссплатформенные
• в моих экспериментах паркетные пилки, как и следовало ожидать, слегка
  меньше. В некоторых случаях может оказаться полезной дополнительная экономия в размере 5%.
  это. Но, как всегда, это зависит от ваших конкретных вариантов использования.