很大排序失败-寻求建议

吉米切尔

大家好

我刚被分配了这个问题。我们的工作需要对非常大的文件进行排序。输入文件包含略多于3.5亿个822字节的记录。我们在z / OS 02.04.00环境中使用DFSORT V2R4。

我们的JCL设置有来自TAPE3480的SORTIN，以及来自TAPE3480的SORTOUT。我们将SORTWK01-SORTWK92分配给SORTDA，SPACE =（CYL，（500,500），RLSE）。上周，按分类能力中止的生产超过了99％的完成水平。我们知道这最终会发生。生产控制部门添加了SORTWK93-SORTWK99来解决此问题。成功的排序仅花费了超过6个小时的挂钟和9分钟的CPU时间即可完成。

此外，排序卡如下所示：SORT FIELDS =（1,8，A，9,8，A），FORMAT = BI。

我的一些问题是：

1-是否将2个字段放在一起作为单独的“排序”字段会使效率降低？我应该将其更改为（1,16，A），FORMAT = BI吗？ BI格式有帮助吗？

2-我知道我可以使用诸如SORTWKA1-SORTWKZ9之类的名称将Sort Works的数量增加到255。我应该添加几个？

3-如果添加更多的排序工作，是否应该减少主要分配？

4-是否应该将文件拆分为较小的子部分（例如输入文件的10％），对每个文件进行排序，然后将它们全部合并在一起？

5-我应该将“排序作品”减少到32个并让它们进入TAPE3480吗？

6-还有其他建议吗？

预先感谢您分享您的智慧！

德法斯

对我来说有一段时间了，但这可能会有所帮助

www.ibm.com/search?lang=zh_CN&cc=us&q =排序％20huge％20files％20dfsort

乔格·芬代森

从JCL中删除静态SORTWK，使用DYNALLOC =（SYSALLDA，<n>）。为SORTWK数据集提供额外的单独存储，因为它们有些特殊。利用DYNAPCT =<n>并检查您是否能够使用新引入的ZSORT选项。

罗希特·乌马尔吉卡（Rohit Umarjikar） · 发表：2021年1月21日星期四5:57 pm

选择4是拥有它的长期解决方案。同比销量可能会增加，并且您会不断出现这些异常变化。

另外，请尝试在此步骤中提供更高的区域，与您的存储团队联系，以查看他们是否可以使用STORCLAS选项代替这些SORTWK。

阅读本文可能会进一步帮助-
www.ibm.com/support/pages/system/files/inline-files/$FILE/SORTASKP.pdf

乔格·芬代森

STORCLAS不会做任何事情。就像我说的那样尝试-为那些DSN单独分配SGRP。

罗希特·乌马尔吉卡（Rohit Umarjikar）

我仍然更喜欢Option-4解决方案，完整的证明和长期的方式。
当遇到此类问题时，我们使用STORCLAS = COMPRESS，但我不记得与此同时发生了什么更改。我不同意尝试使用DYNALLOC =（SYSALLDA，<n>).

乔格·芬代森 · 发表：2021年1月22日星期五12:03 pm

跳过FILSZ参数，DFSORT通过自己的机制对数据了解更多。 // SORTDIAG应该具有SYSOUT = *以提供用于分析的数据。

皮特·威尔逊 · 发表：2021年1月22日星期五10:43 pm

如果必须使用SORTWK（或任何systemp文件），则不能将其压缩或扩展格式。它们作为大幅面文件可以更好地工作，可以在最大16个范围内将其增长为任意大小。
（JCL中的DSNTYPE = LARGE）

我几乎每次都发现以下作品非常大的种类（例如>在一种情况下有90亿条记录），并且未指定任何SORTWK DD。可以根据可用资源调整DYNALLOC和REGION。

// *
// *对于以下EXEC PARMS的真正大文件来说是最佳的
// *
// * EXEC PGM = SORT，PARM ='DYNALLOC =（，24），DSPSIZE = MAX'，REGION = 512M
// *
// *注意：
// *
// * 1. DYNALLOC值不应超过
// *工作空间量。
// *
// * 2.区域应具有较大的值以允许更多的存储
// * SORT使用的控制信息。
// *
// * 3. DSPMAX分配最大可能的数据空间
// *