用Node.js遍历多级目录处理文件

在日常开发中，处理大量的文件操作是一个常见的需求，特别是在图像处理和存档管理领域。设想一个场景：运营团队需要快速处理数千张产品图片，并将它们整理到公司的存储系统中。然而，这些图片通常分布在多个子文件夹中，且文件结构复杂。如果手动完成这个过程，不仅费时费力，还容易出错。因此，开发一个自动化脚本来处理这项任务显得尤为重要。

需求如下：

遍历文件夹及其子文件夹：脚本需要能够递归遍历指定的主目录，检查所有子目录中的文件。
筛选图片文件：只处理常见格式的图片文件，如 .jpg、 .jpeg、 .png、 .gif、 .bmp、 .svg。
保持目录结构：在复制图片文件到目标目录时，需保留其在原目录中的相对路径，以便于后续查找和管理。
异步处理：由于文件操作可能涉及大量 I/O 操作，脚本应采用异步处理，以提高执行效率和响应速度。
错误处理：在遍历和复制过程中，任何错误（如文件不可读或目标目录不可写）应被记录下来，避免脚本崩溃。

通过Node脚本，运营团队只需提供图片存储的主目录和目标目录，便可一键完成图片的整理和归档，显著提升工作效率。同时，保留目录结构的做法也确保了图片管理的有序性，为后续的检索和使用提供了便利。这种自动化工具不仅可以用于电商平台，也适用于任何需要批量处理文件的场景，如数字资产管理、媒体存档等。

主要步骤

引入模块: 使用 fs.promises 代替 fs 以便使用 Promise 风格的异步方法。
定义图片扩展名: 创建一个数组 imageExtensions，包含常见的图片文件扩展名。
异步遍历文件夹的函数 traverseDirectory:
- 使用 await fs.readdir(inputDir) 读取目录内容。
- 遍历目录中的每个文件和文件夹。
- 使用 await fs.stat(inputFilePath) 检查每个条目的状态（文件还是文件夹）。
- 如果是文件夹，递归调用 await traverseDirectory(inputFilePath, newOutputDir, callback)，并确保目标目录存在。
- 如果是文件，检查扩展名是否在 imageExtensions 数组中，如果是则调用 await callback(inputFilePath, outputFilePath)。
使用示例: 定义输入和输出目录，并调用 traverseDirectory，在回调函数中复制每个图片文件并保持目录结构。
主函数 main: 定义一个主函数来调用 traverseDirectory 并处理回调逻辑，包括复制文件和输出日志。
执行主函数: 调用 main() 开始执行。

完整代码

 1const fs = require('fs').promises;
 2const path = require('path');
 3
 4// 定义支持的图片扩展名
 5const imageExtensions = ['.jpg', '.jpeg', '.png', '.gif', '.bmp', '.svg'];
 6
 7// 遍历文件夹的异步函数
 8async function traverseDirectory(inputDir, outputDir, callback) {
 9  try {
10    const files = await fs.readdir(inputDir);
11
12    for (const file of files) {
13      const inputFilePath = path.join(inputDir, file);
14      const stats = await fs.stat(inputFilePath);
15
16      if (stats.isDirectory()) {
17        // 如果是文件夹，递归遍历
18        const newOutputDir = path.join(outputDir, file);
19        await fs.mkdir(newOutputDir, { recursive: true });
20        await traverseDirectory(inputFilePath, newOutputDir, callback);
21      } else if (stats.isFile()) {
22        // 如果是文件，检查是否是图片
23        const ext = path.extname(file).toLowerCase();
24        if (imageExtensions.includes(ext)) {
25          const outputFilePath = path.join(outputDir, file);
26          await callback(inputFilePath, outputFilePath);
27        }
28      }
29    }
30  } catch (err) {
31    console.error(`Error processing directory ${inputDir}:`, err);
32  }
33}
34
35// 使用示例
36const inputDirectory = '/path/to/your/input/directory'; // 修改为你的输入文件夹路径
37const outputDirectory = '/path/to/your/output/directory'; // 修改为你的输出文件夹路径
38
39// 主函数，处理文件遍历和复制
40async function main() {
41  await traverseDirectory(inputDirectory, outputDirectory, async (inputFilePath, outputFilePath) => {
42    // 替换成真实业务图片操作，这里简单拷贝
43    try {
44      await fs.copyFile(inputFilePath, outputFilePath);
45      console.log(`Copied ${inputFilePath} to ${outputFilePath}`);
46    } catch (err) {
47      console.error(`Error copying ${inputFilePath} to ${outputFilePath}:`, err);
48    }
49  });
50}
51
52// 执行主函数
53main();
54

使用方法

将上述代码保存到一个 JavaScript 文件中，例如 copyImagesWithStructure.js。
修改 inputDirectory 和 outputDirectory 变量为你要遍历的输入目录和目标输出目录路径。
在命令行中运行 node copyImagesWithStructure.js。

这段代码会按顺序遍历指定输入目录及其子目录中的所有图片文件，复制到目标目录并保持原有的目录结构。