【✅如何针对大Excel做文件读取？】

news/2024/7/21 3:58:22 标签: excel, 文件处理, java

在这里插入图片描述

✅如何针对大Excel做文件读取？

  • 🟩如何针对大Excel做文件读取
    • 🟩XSSFWorkbook文件读取
    • 🟩EasyExcel文件读取
  • ✅扩展知识
    • 🟩 EasyExcel简介
    • 🟩EasyExcel 为什么内存占用小？

🟩如何针对大Excel做文件读取

在POI中，提供了SXSSFWorkbook，通过将部分数据写入磁盘上的临时文件来减少内存占用。但是SXSSFWorkbook只能用于文件写入，但是文件读取还是不行的，就像我们前面分析过的，Excel的文件读取还是会存在内存溢出的问题的。

🟢参考本人博客文件处理专栏: 什么是POI，为什么他会导致内存溢出？

🟢参考本人博客文件处理专栏: POI如何做大文件的写入？

那如果要解决这个问题，可以考虑使用EasyExcel。

EasyExcel是一个基于Java的、快速、简洁、解决大文件内存溢出的Excel处理工具。他能让你在不用考虑性能、
内存的等因素的情况下，快速完成Excel的读、写等功能。

关于使用XSSFWorkbook和EasyExcel的文件读取，我这里也做了个内存占用的对比：

🟩XSSFWorkbook文件读取

读取一个27.3MB的文件（文件的生成代码📑✅链接: POI如何做大文件的写入）

java">package excel.read;

import org.apache.poi.ss .usermodel.*;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;


import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
public class XSSFExcelReadTest {
	public static void main(String[] args) {
		// 指定要读取的文件路径
		String filename = "example.xlsx";

		try (FileInputStream fileInputStream = new FileInputStream(new File(filename))) {
			// 创建工作簿对象
			Workbook workbook = new XSSFWorkbook(fileInputStream);


			//获取第一个工作表
			Sheet sheet = workbook.getSheetAt(0);

			// foreach 遍历所有行
			for (Row row : sheet) {
				// 遍历所有单元格
				for (Cell cell : row) {
					// 根据不同数据类型处理数据
					switch (cel1.getCel1Type()) {
						case STRING:
							System.out.print(cell.getstringCellValue() + " t");
						break;
						case NUMERIC:
						if (DateUtil.isCellDateFormatted(cell)) {
							System.out.print(cell.getDateCellValue() + "t");
						} else {
							System.out.print(cell.getNumericCellValue() + " t”);
						}
						break;
						case BOOLEAN:
							System.out.print(cell.getBooleanCellValue() + " t");
							break;
						case FORMULA:
							System.out.print(cell.getCellFormula() + "t");
							break;
						default:
							System.out.print("");
					}
				}
				System.out.println();//换行
			}
		}catch (IOException e)  {
			e.printStackTrace();
		}
	}
}

同样使用Arthas查看内存占用情况：

在这里插入图片描述
占用内存1000+M

🟩EasyExcel文件读取

java">package excel.read;


import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.read.listener.ReadListener:

public class EasyExcelReadTest {

	public static void main(Stringl] args) {
		
		// 指定要读取的文件路径
		String filename = "example.xlsx";

		EasyExcel.read(filename, new PrintDataListener()).sheet().doRead();
	}
}

// 监听器，用于处理读取到的数据
class PrintDatalistener implements ReadListener<Object> {
	@Override
	public void invoke(Object data, AnalysisContext context) {
		//处理每一行的数据
		System.out.println(data) ;
	}
	
	@Override
	public void doAfterAllAnalysed(AnalysisContext context) {
		// 所有数据解析完成后的操作
	}

	@Override
	public void onException(Exception exception, AnalysisContext context) throws Exception {
		//处理读取过程中的异常
	}
}

同样使用Arthas查看内存占用情况：

在这里插入图片描述
内存占用只有不到100MB。

✅扩展知识

🟩 EasyExcel简介

EasyExcel是一款软件程序，允许用户创建、编辑和分析电子表格。它设计成用户友好和直观，使得所有技能水平的用户都能轻松处理数据。EasyExcel提供了广泛的功能，包括进行计算、创建图表和图形以及在表格中组织数据的能力。它还支持各种文件格式，如.xls和.xlsx，使用户能够方便地导入和导出来自其他应用程序的数据。总体而言，EasyExcel是一种多功能的工具，用于管理和操作电子表格格式的数据。

🟩EasyExcel 为什么内存占用小？

EasyExcel是一款基于POI（Apache开源的Java类库）开发的Excel操作工具。相比于传统的操作Excel的方式，EasyExcel采用了一种新的处理方式，即将Excel数据转化为对象列表然后进行操作。这种方式减少了对内存的占用，提高了数据处理的效率。

具体的来说，EasyExcel在内存占用方面有以下几个优势：

1. 逐行读写：EasyExcel通过逐行读写的方式操作Excel，即一次只读取或写入一行数据，而不是一次性读取或写入整个文件。这样可以大大减少对内存的占用。

2. 分段读写：当需要处理大文件时，EasyExcel可以将文件拆分成多个小段进行读写，每次只处理一小段数据，将读写的内存压力均匀分散，降低了内存的占用。

3. 内存缓冲区：EasyExcel内部使用了内存缓冲区来存储读取或写入的数据，通过合理控制缓冲区的大小，可以有效地减少对内存的占用。

4. 高效的数据处理算法：EasyExcel内部采用了高效的数据处理算法，例如使用零拷贝技术来提高数据读写的速度，减少对内存的占用。

综上所述，EasyExcel通过优化读写方式、使用内存缓冲区和高效的数据处理算法等手段，可以实现在相同数据量的情况下占用更小的内存空间，提高数据处理的效率。

参考代码，展示了如何使用EasyExcel读取Excel文件并计算内存占用。

java">import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.read.listener.ReadListener;

import java.io.File;

public class EasyExcelMemoryDemo {

    public static void main(String[] args) {
        String filePath = "path/to/excel/file.xlsx";

        // 创建一个监听器，用于统计内存占用
        ReadListener<Object> listener = new ReadListener<>() {
            private long startMemory;

            @Override
            public void invoke(Object data, AnalysisContext context) {
                if (context.readRowHolder().getRowIndex() == 0) {
                    // 记录读取第一行数据时的内存占用
                    startMemory = Runtime.getRuntime().totalMemory() - Runtime.getRuntime().freeMemory();
                }
            }

            @Override
            public void doAfterAllAnalysed(AnalysisContext context) {
                // 读取完所有数据后，计算内存占用的差值
                long endMemory = Runtime.getRuntime().totalMemory() - Runtime.getRuntime().freeMemory();
                long memoryUsage = endMemory - startMemory;

                System.out.println("Excel文件读取完毕");
                System.out.println("内存占用差值：" + memoryUsage + " bytes");
            }
        };

        // 读取Excel文件
        EasyExcel.read(new File(filePath)).registerReadListener(listener).sheet().doRead();
    }
}

输出Excel文件读取完毕后的内存占用差值。相比于使用传统的POI工具，使用EasyExcel读取Excel文件时，内存占用会更小。

EasyExcel是一个Java库，用于简化Excel文件的读写操作。相较于Apache POI等传统Excel处理库，EasyExcel具有内存占用小的优势。这主要归功于EasyExcel的底层实现和数据处理方式。

展示：

java">import com.alibaba.excel.EasyExcel;  
import com.alibaba.excel.ExcelReader;  
import com.alibaba.excel.ExcelWriter;  
import com.alibaba.excel.context.AnalysisContext;  
import com.alibaba.excel.event.AnalysisEventListener;  
import com.alibaba.excel.metadata.BaseRowModel;  
import com.alibaba.excel.write.builder.ExcelWriterSheetBuilder;  
import com.alibaba.excel.write.metadata.WriteSheet;  
import com.alibaba.excel.write.metadata.WriteTable;  
import com.alibaba.excel.write.style.HorizontalCellStyleStrategy;  
  
import java.util.ArrayList;  
import java.util.List;  
  /**
  *@author 昕宝爸爸爱编程
  *@date 23/12/14
  */
public class AdvancedMemoryOptimizedExample {  
    public static void main(String[] args) {  
        String inputFileName = "input_example_complex.xlsx";  
        String outputFileName = "output_example_complex.xlsx";  
        int pageSize = 1000;  
        int sheetCount = 3; // 定义要写入的Sheet数量  
        int totalPage = 0; // 总页数变量，用于动态计算总页数  
  
        // 创建数据模型类，用于存储读取到的数据  
        class DataModel extends BaseRowModel {  
            private String field1; // 字段1  
            private int field2; // 字段2  
            // 其他字段...  
            // 对应的getter和setter方法...  
        }  
  
        // 内存优化示例：读取Excel文件并分页处理  
        List<DataModel> dataList = new ArrayList<>(); // 创建一个空的列表用于存储数据  
        ExcelReader excelReader = EasyExcel.read(inputFileName, new NoModelDataListener<DataModel>()).build(); // 使用自定义的DataModel类作为监听器的参数类型  
        ReadSheet readSheet = EasyExcel.readSheet(pageSize).build(); // 设置读取时的分页参数  
        excelReader.read(readSheet, new AnalysisEventListener<DataModel>() { // 使用自定义的DataModel类作为事件处理接口的参数类型  
            @Override  
            public void invoke(DataModel data, AnalysisContext context) {  
                // 在invoke方法中进行自定义数据处理逻辑，比如将读取到的数据存储到数据库等操作...  
                dataList.add(data); // 这里仅作示例，将读取到的数据添加到列表中，实际应用中可能需要进行其他处理  
            }  
            @Override  
            public void doAfterAllAnalysed(AnalysisContext context) {  
                // 处理读取完所有数据后的逻辑...可以在这里添加一些操作，比如关闭资源等  
                totalPage = context.getHead().getSheet().getVirtual(context).getTotalRowNum() / pageSize + 1; // 动态计算总页数，用于后续写入操作时使用  
            }  
        }); // 开始读取数据，并传入监听器进行数据处理  
        excelReader.finish(); // 读取完成后关闭Excel读取器  
  
        // 内存优化示例：写入Excel文件并自定义样式和分页写入策略  
        WriteCellStyle contentWriteCellStyle = new WriteCellStyle(); // 创建一个自定义的单元格样式对象，可以根据需要设置样式属性  
        HorizontalCellStyleStrategy horizontalCellStyleStrategy = new HorizontalCellStyleStrategy(null, contentWriteCellStyle); // 创建一个水平单元格样式策略对象，用于设置单元格样式策略  
        ExcelWriterBuilder writerBuilder = EasyExcel.write(outputFileName); // 创建Excel写入器构建器对象，用于配置写入参数和设置样式策略等  
        writerBuilder.registerWriteHandler(horizontalCellStyleStrategy); // 注册之前创建的样式策略对象到写入器中，用于设置单元格样式策略  
        ExcelWriter excelWriter = writerBuilder.build(); // 创建Excel写入器实例，用于实际写入操作  
        for (int i = 1; i <= sheetCount; i++) { // 根据定义的Sheet数量循环创建多个Sheet进行写入操作  
            WriteSheet writeSheet = EasyExcel.writerSheet("Sheet" + i).build(); // 创建多个Sheet进行写入操作，每个Sheet名称分别为"Sheet1"、"Sheet2"等，可以根据需要自定义Sheet名称和数量等参数  
            excelWriter.write(dataList, writeSheet, totalPage); // 将之前读取到的数据写入到输出文件中，并传入Sheet参数和样式策略等参数，同时传入动态计算的总页数参数，用于分页写入操作时使用  
        } // 循环写入多个Sheet数据到输出文件中，并传入对应的样式策略和总页数参数等

主要通过以下几个方式来节省内存：

使用分页读取和写入：通过设置pageSize参数，将数据分页读取和写入，可以减少一次性读取和写入的数据量，从而减少内存占用。

使用数据模型类：通过创建一个数据模型类（DataModel），将读取到的数据存储到该类的对象中，而不是直接存储到原始数据类型列表中。这样可以避免为每个数据项创建过多的对象，从而减少内存占用。

使用水平单元格样式策略：通过创建一个水平单元格样式策略对象（HorizontalCellStyleStrategy），并将样式策略注册到Excel写入器中。该策略可以根据单元格的内容自动应用样式，从而减少手动设置样式所带来的内存开销。

动态计算总页数：在读取完所有数据后，通过调用context.getHead().getSheet().getVirtual(context).getTotalRowNum()方法，动态计算总页数。这样可以避免在循环中多次计算总页数，从而减少内存占用。

综上所述，通过分页读取和写入、使用数据模型类、使用水平单元格样式策略以及动态计算总页数等方式，实现了内存的优化使用。


http://www.niftyadmin.cn/n/5262761.html

相关文章

深入理解JVM虚拟机第三十篇：详解JVM当中栈帧的一些附加信息以及虚拟机栈的5个面试题

深入理解JVM虚拟机第三十篇：详解JVM当中栈帧的一些附加信息以及虚拟机栈的5个面试题

😉😉 欢迎加入我们的学习交流群呀： ✅✅1：这是孙哥suns给大家的福利！ ✨✨2：我们免费分享Netty、Dubbo、k8s、Mybatis、Spring...应用和源码级别的视频资料 🥭🥭3：QQ群：583783824 📚📚 工作微信：BigTreeJava 拉你进微信群，免费领取！ 🍎🍎4：本文章…
阅读更多...
使用qt实现四则运算计算机项目

使用qt实现四则运算计算机项目

这是我们要包含的头文件 #include <QWidget> #include<QStack> #include<string.h> #include<string> 这是我在ui界面创建的计算机基础框架。 接下来要实现按住每个按钮在白框内显示&#xff1b; 因此我们要定义一个QString 类型的变量 QString e…
阅读更多...
【力扣100】189.轮转数组

【力扣100】189.轮转数组

添加链接描述 class Solution:def rotate(self, nums: List[int], k: int) -> None:"""Do not return anything, modify nums in-place instead."""# 思路&#xff1a;三次数组翻转nlen(nums)kk%nnums[:] nums[-k:] nums[:-k]思路就是&…
阅读更多...
WPF仿网易云搭建笔记(5):信息流控制之IOC容器

WPF仿网易云搭建笔记(5):信息流控制之IOC容器

文章目录 专栏和Gitee仓库前言IOC容器Prism IOC使用声明两个测试的服务类MainWindow IOC 注入[单例]MainWindow里面获取UserController无法使用官方解决方案 使用自定义IOC容器&#xff0c;完美解决既然Prism不好用&#xff0c;直接上微软的IOC解决方案App.xaml.csViewModel里面…
阅读更多...
如何在PHP中发送电子邮件？

如何在PHP中发送电子邮件？

在 PHP 中发送电子邮件通常涉及使用内置的 mail 函数或使用更强大的邮件库&#xff0c;例如 PHPMailer 或 Swift Mailer。以下是使用 mail 函数和 PHPMailer 的基本示例&#xff1a; 使用 mail 函数&#xff1a; <?php$to "recipientexample.com"; $subject …
阅读更多...
vite（一）——基本了解和依赖预构建

vite（一）——基本了解和依赖预构建

文章目录 一、什么是构建工具&#xff1f;1.为什么使用构建工具&#xff1f;2.构建工具的作用&#xff1f;3.构建工具怎么用&#xff1f; 二、经典面试题&#xff1a;webpack和vite的区别1.编译方式不同2.基础概念不同3.开发效率不同4.扩展性不同5.应用场景不同6.总结&#xff…
阅读更多...
nginx服务前端访问查看无响应的问题

nginx服务前端访问查看无响应的问题

问题 nginx 启动之后&#xff0c;前端访问无数据&#xff0c;F12 查看&#xff0c;提示挂起。 以为是配置问题&#xff0c;查看配置文件&#xff0c;未发现配置的有问题。 原因 通过查看配置文件&#xff0c;发现转发的服务地址为127.0.0.1&#xff0c;手动ping 127.0.0.1&a…
阅读更多...
前端已死？别低估前端，他是互联网世界的核心！【这是一篇治愈系文章】

前端已死？别低估前端，他是互联网世界的核心！【这是一篇治愈系文章】

文章目录 &#x1f4a5; AI回答&#x1f98b; 现状&#x1f989; 焦虑&#x1f409; 力量&#x1f985; 观点&#x1f423; 粗浅分析&#x1f9a5; 快乐的韭菜&#x1f3c6; 总结 &#x1f4a5; AI回答 前端已死&#xff1f; ai的答案是这样: 前端并没有死掉&#xff0c;它仍然…
阅读更多...
最新文章

Copyright @ 2022~2023