Excel отлично справляется со многими повседневными задачами. Но время от времени вы сталкиваетесь с одним из его недостатков: размером с электронную таблицу. Если вам нужно знать, как уменьшить электронную таблицу Excel или разделить большой CSV, мы вам поможем.
Достижение предела количества строк в электронной таблице само по себе является довольно серьезной задачей. Текущий предел строки таблицы Excel составляет 1 048 576. Это верно — более 1 миллиона строк и столько же столбцов.
Но достижение этого ограничения на самом деле невероятно легко при выполнении определенных задач. Если вы торгуете по электронной почте, вы можете импортировать файл CSV. импортировать содержащий миллионы адресов электронной почты. Единственная проблема заключается в том, как вы на самом деле управляете электронной таблицей с таким количеством адресов? Кроме того, что если кто-то отправит вам CSV, который уже превысил лимит (из другой программы)?
Что ж, я покажу вам, как разбить этот огромный CSV на легко управляемые куски.
(У вас нет большого CSV под рукой? Есть несколько довольно больших наборов данных CSV на data.gov . Я собираюсь использовать список сравнения больниц из 260 000 строк, чтобы вы могли использовать тот же файл.)
1. Используйте программу
Существует множество полезных программ для разветвления CSV. Я покажу вам два лучших.
CSV Chunker — это разветвитель CSV с открытым исходным кодом. Он может обрабатывать большие файлы, быстро разбивая их на куски по вашему выбору. Потребовалось около 3 секунд, чтобы разделить наш CSV для больниц сравнения на 106 блоков, каждый из которых содержит 2500 строк.
CSV Splitter — наш второй инструмент. Он предлагает почти такую же функциональность CSV Chunker, хотя и с немного более гладким дизайном. CSV Splitter потребовалось около 4 секунд, чтобы разделить нашу CSV для больниц сравнения на 106, снова содержащую 2500 строк в каждой.
2. Используйте пакетный файл
Далее, программируемый пакетный файл пакетный файл Мы можем использовать пакетный файл для обработки CSV на более мелкие порции, настраивая файл для доставки разных порций.
Откройте новый текстовый документ. Скопируйте и вставьте следующее:
@ эхо выключено setlocal ENABLEDELAYEDEXPANSION REM Отредактируйте это значение, чтобы изменить имя файла, который нужно разделить. Включите расширение. SET BFN = HCAHPSHospital.csv REM Отредактируйте это значение, чтобы изменить количество строк в файле. SET LPF = 2500 REM Отредактируйте это значение, чтобы изменить имя каждого короткого файла. За ним последует номер, указывающий, где он находится в списке. SET SFN = HosptialSplitFile REM Не меняйте за этой линией. SET SFX =% BFN: ~ -3% SET / A LineNum = 0 SET / A FileNum = 1 Для / F "delims ==" %% l in (% BFN%) Do ( SET / A LineNum + = 1 echo %% l >>% SFN%! FileNum!.% SFX% если! LineNum! EQU! LPF! ( SET / A LineNum = 0 SET / A FileNum + = 1 ) ) Endlocal Пауза
Вам нужно будет настроить пакетный файл перед запуском. Я расскажу вам, что делает каждая команда, и вы можете изменить ее в соответствии с размером вашего пакетного файла, а также с требуемым выводом.
- «SET BFN =» должен указывать на CSV, который нужно разбить
- « SET LPF =» — это количество строк, которое вы хотите ограничить новым файлом
- «SET SFN =» — это новая схема именования ваших разделенных файлов.
После того, как вы ввели свои переменные, перейдите в Файл> Сохранить как. Выберите имя файла и выберите Сохранить. Затем выберите только что сохраненный текстовый файл и нажмите F2, чтобы переименовать его. Замените расширение TXT на BAT и нажмите OK, когда появится предупреждение. Теперь вы можете разделить свой большой CSV!
Я предупреждаю вас, хотя, этот метод занимает некоторое время. Возможно, вам лучше использовать один из вышеупомянутых сплиттеров.
Оригинальный сценарий и тему можно найти здесь .
3. Используйте скрипт PowerShell
Пакетные файлы удобны. Вы можете использовать их для широкого круга повседневных задач. Но сценарии PowerShell в целом быстрее, особенно для этого типа обработки и деления.
Следующий скрипт быстро нарежет ваш большой CSV на более мелкие файлы. Опять же, я использовал CSV для больниц в качестве примера. Выполнение команды заняло около 3 секунд. Откройте Windows PowerShell ISE. Если вы не знаете, как это сделать, введите powershell ise в поиск меню «Пуск» и выберите соответствующий параметр. Когда PowerShell ISE открыт, выберите стрелку « Показать сценарий» , расположенную в верхнем правом углу (выделено красным на изображении ниже).
Скопируйте и вставьте следующую команду в панель сценариев в верхней части экрана.
$ I = 0; Get-Content C: \ Users \ Gavin \ Downloads \ Hospital_Revised_Flatfiles \ HCAHPSHospital.csv -ReadCount 2500 | % {$ I ++; $ _ | Исходный файл C: \ Users \ Gavin \ Downloads \ Hospital_Revised_Flatfiles \ split \ splitfile_ $ i.csv}
Во-первых, вам нужно изменить местоположение вашего входного файла. Во-вторых, вам нужно указать, сколько строк должны содержать ваши выходные файлы. Наконец, укажите местоположение выходного файла. Я оставил там свои пути к файлам, чтобы проиллюстрировать ситуацию. Кроме того, ваше выходное имя файла должно иметь суффикс «_ $ i.csv», соответствующий моему. В противном случае ваши выходные файлы не будут правильно нумерованы.
Когда вы отредактировали файл со своими собственными данными, нажмите CTRL + S, чтобы сохранить ваш скрипт.
Оригинальный сценарий можно найти здесь .
4. Загрузите его в модель данных
Наше окончательное решение фактически не разбивает большой CSV на более мелкие части. Видите ли, Хосе Баррето, член команды OneDrive, недавно проиллюстрировал, как именно вы можете загрузить большой файл CSV в Excel. В этом случае, большое значение превышает предел строки в 1 048 567 строк. В учебном пособии он объясняет, что вместо фактической загрузки файла Excel 2016 может создать ссылку на данные для файла CSV.
Данные из исходного CSV будут доступны пользователю в рамках модели данных. Баррето создал сводную таблицу, используя «до 8,5 миллионов строк без каких-либо проблем». Приведенное выше изображение взято из сообщения в блоге Баррето (см. Ссылку ниже), отображающего в Excel 2 миллиона строк. (Узнайте, как использовать сводную таблицу для анализа данных .)
Если это решение подходит вам, следуйте подробному руководству Хосе Баррето прямо здесь . Помните, что это не разделяет CSV, но это означает, что вы можете манипулировать своими данными в определенных инструментах Excel. Если вы обращаетесь к вашим данным для непосредственного взаимодействия с ними, стоит попробовать.
Сломай!
Мы перечислили четыре решения для разрушения ваших массивных файлов CSV, включая два разных инструмента.
Из четырех решений пакетный файл, вероятно, самый медленный. Скрипт PowerShell быстрый и легко настраиваемый, а два приложения просты в использовании из коробки. Наконец, у вас есть возможность напрямую импортировать ваши данные в Excel миллионами строк.
Чтобы узнать больше об уловках Excel, ознакомьтесь с разделением имен и фамилий в Excel. разделить имена и фамилии в Excel. разделить имена и фамилии
Кредит изображения: lucadp / Depositphotos