上传和替换数据文件中的换行符

拉斐尔·隆戈（Rafael Longo）

我需要将Windows中的数据文件上传到mvs，然后，使用teradata fastload实用程序将数据加载到数据库中。

目前，我正在使用Windows ftp实用程序将文件上传到作业创建的数据集中。

当我将其快速加载到Teradata中时，就会出现问题。只要记录没有任何带有换行符（CR / LF）的文本字段，所有数据都将正确加载到表中。当记录确实具有CR / LF时，它将分成多个记录，每个记录都从CR / LF字符后的第一个字符开始.

我需要的是一种避免打破记录的方法。也许我可以用空格或类似的东西替换CR / LF。

威廉·汤普森

如何使用FTP中使用的代码页的修改版本？

超级

我糊涂了。使用术语，EBCDIC MVS数据集不包含“换行符（CR / LF）”。

该数据是否以二进制传输模式上传，并且是否以ASCII格式存储在数据集中？

迪克·谢勒

您好，

在windoes系统上如何创建文件？

拉斐尔·隆戈（Rafael Longo）

感谢您的答复。

它是使用DTS导出实用程序从SQL Server数据库导出的文件。
这是一个ASCII文件，而不是EBCDIC。

这是ftp命令：

的openmvs
用户用户名密码
放置file.txt DSNAME
退出

威廉，您能详细说明一下代码页解决方案吗？我不明白你的想法。

请告诉我您是否需要更多信息...

超级

我将使用带有ALTSEQ参数的SORT将不需要的字符转换为所需的字符。这些论坛上有很多例子。

迪克·谢勒 · 发表：2007年7月25日，星期三7:18 pm

您好，

我相信您想确定为什么只有某些记录具有cr / lf并在sqlserver导出中将其消除-您可能必须进行一些稍微的修改。 cr / lf是否总是以相同的位移出现？如果您在基于Win的系统上查看文件，导出文件是否具有cr / lf？

将文件放在大型机上之后，再尝试加载之前，文件是什么样的？ cr / lf在哪里？可能是有些记录比创建的文件长，并且被“包裹”而不是异常结束。

如果它们不是引起换行而只是“垃圾”并且不占用额外的字节，则可以按照之前的建议替换它们。就个人而言，当我发送文件时，请确保我知道所有内容的来源-以后保存惊喜。

拉斐尔·隆戈（Rafael Longo）

谢谢大家的帮助...

Dick--

是的，当我在Windows系统上查看文件时，cr / lf在那里。

不，他们永远不在同一个地方。在某些记录中，有一些导出的字段并非全部具有cr / lfs。

当我在mvs中查看文件时，记录被包装在cr / lfs所在的位置。

数据集的记录长度正确，并且与上载文件中所有记录的长度匹配。（它是一个固定长度的文件）。因此，我们可以假设这不是问题。

超级

谢谢你的提示。我将看一下SORT命令。这里有人建议我也去看看SYNCSORT ...你怎么看？

拉斐尔·隆戈（Rafael Longo）

好，朋友们，

我创建了一个Visual Basic程序，该程序会在文件上传之前删除不需要的cr / lfs。一切正常。

但是现在我被要求在MVS中进行所有处理。因此，我正在寻找创建程序在Mainframe环境中执行此操作的最佳方法。就像我在Windows环境中使用VB一样。

我试图寻找一种使用SORT和ALTSEQ的方法，就像SUPERK建议的那样，但我做不到。如果有人可以提供一段代码或链接来说明我，我将非常感激。

我当时在想，也许我可以使用一种语言来创建程序（例如COBOL，Assembler，REXX等）。你们有什么感想？哪种语言更适合呢？

任何建议/评论将不胜感激...

非常感谢！
拉斐尔·隆戈（Rafael Longo）

迪克·谢勒

您好，

您是否能够确定为什么这些cr / lf出现在dts出口的输出中？我相信，如果您可以确定发生这种情况的原因并消除出口中的原因，那么您将遥遥领先。

在大型机上处理将更加繁琐，因为ftp已经在“破坏”数据并创建新记录。

将“损坏的”记录上载到主机后，主机文件的属性是什么？如果上载的记录分为2个大型机记录，cr / lf是“第一”记录的最后2个字节吗？

您可以张贴这些损坏的大型机记录中的一两个，以便我们看到“中断”吗？如果它们包含敏感数据，则可以在发布前替换敏感内容。

拉斐尔·隆戈（Rafael Longo）

感谢您的答复，迪克。

关于样本，由于我正在上传文件的更正版本，因此现在还没有。我将上传未更正的版本，如果您仍然想查看，我可以稍后发布...

但是cr / lfs的来源是存储在SQL Server上的自由文本字段。我们对此无能为力。用户可以自由地在此字段上换行，我们必须对其进行处理。

“第一”记录的最后2个字节不是CR / LF。当您说FTP已经损坏记录时，您是对的。

有没有办法（让它变得乏味..

）编写程序来重新组成这些记录？在这种情况下，您会建议使用哪种编程语言？

迪克·谢勒

别客气。

还有几个问题-不一定需要答案，但可能有助于澄清。

最大拆分会导致2条记录吗？还是由一个“中断”记录创建的记录数量无法预测？

cr和lf始终保持相同的记录，还是它们也可能分裂？

数据中是否有某些东西可以标识“记录的开始”，“记录的结束”，或者可以作为文字直接放在导出中？

如果您可以轻松地发布示例，则可能会有帮助，但可能没有必要。

如果我要这样做，我很可能会使用COBOL，因为更多的人可以轻松地维护它-我的工作是确保仅因为我是某件事的作者，我才不会“永远”地依赖它。

上载后的文件的dcb信息和“更正”的文件的dcb信息也将有所帮助。

您可以尝试执行的一个简单操作是确保大型机文件的lrecl更长（更长）

），然后查看“中断”是否停止。由于cr / lf不在“中断”记录的末尾，因此可能是lrecl导致了中断-如前所述。

用户最初放置在数据中的cr / lf控件应该怎么办？

拉斐尔·隆戈（Rafael Longo）

斯托多拉斯

ASCII码->EBCDIC正在FTP服务器中发生。如果您没有在FTP流中发出BI命令，它将被转换为带有CR / LF的EBCDIC，从而强制中断大型机上的新记录。我认为，如果向MVS FTP服务器发出正确的“ SITE”命令，这样它就不会在CR / LF上中断，您也许可以解决此问题。我会调查的。

如果您压缩文件，将其二进制传输并在大型机上解压缩，记录仍在CR / LF上中断，会发生什么？

有时，在大型机上运行的要求不是一个明智的业务决策。

<RANT - not to hijack>
举个例子。我们的大型机上只有COBOL（REXX也是如此，但只有Sysprogs对此一无所知）。我希望他们能启用C ++和Java编译器。我去过25年以上的主管说：“这个过程将在大型机上进行。”因此，我不得不从COBOL查询LDAP服务器。为此，我在程序中创建了一个TSO环境，然后读取输入文件并从COBOL程序中调用TCP / IP gldsearch应用程序。因为它在大型机上并与COBOL配对，所以10,000条记录的运行时间已延长到2个小时。如果我们在z / OS中启用了Java，它知道如何与LDAP通讯并且可以与目标MS SQL Server通讯（我希望是这样），那么这显然会更快。

当前过程
（每天在MF上）生成输入文件
（在MF上夜间）对输入数据进行重复数据删除，读取重复数据文件，按1进行LDAP查询，然后将输出文件写入ftp到lan [2小时10,000个记录，大部分在查询步骤中]
（LAN上的N）从MF加载SQL Server读取文件，触发大型机作业
（在MF上为N）将电子邮件发送到服务器以触发向客户发出新的网络发票的通知

在我看来，还是更好（共享得太少）。
（每天在MF上）生成输入文件
（夜间在MF上）排序至重复数据删除，ftp至局域网
（LAN上的N）从MF重复数据删除读取文件，查询LDAP并直接插入SQL Server，触发大型机作业
（在MF上为N）将电子邮件发送到服务器以触发向客户发出新的网络发票的通知

</RANT>

我愿意就改进该流程提出建议。

我现在来看一下FTP SITE命令。

迪克·谢勒

你好拉斐尔，

斯托多拉斯

迪克

这是CR / LF素材上发生的情况。希望这有道理...

来自PC端的文件，我将逗号分隔。

斯托多拉斯

PC上的Whoops rec 2应该是这个

斯托多拉斯

拍我需要上床睡觉。...REC 1，不是REC 2 WOW

请更正这些帖子中的第一篇，并删除第二篇2

谢谢

拉斐尔·隆戈（Rafael Longo）

感谢您的插图stodolas。这正是发生的情况。

我也想说明一下，迪克：

记录结构
-----------
职位1至12：员工姓名
位置13至23：缺陷类型
位置24至280：根本原因
LRECL = 280字节

Windows中的文本文件：
---------------------------
-记录1
拉斐尔·隆戈（Rafael Longo）Process缺少要求。 CR / LF要求不准确。
-记录2
拉斐尔·隆戈（Rafael Longo）Non-ProcessSetup问题
---------------------------------

将文件通过FTP传输到Mainframe之后，我们有以下内容
MVS上的数据集：
-------------------
--Rec1
拉斐尔·隆戈（Rafael Longo）Process缺少要求。
--Rec2
要求不准确。
--Rec3
拉斐尔·隆戈（Rafael Longo）Non-ProcessSetup问题
----------------------

但是这是我们应该拥有的：
-------------------
--Rec1
拉斐尔·隆戈（Rafael Longo）Process缺少要求。要求不准确。
--Rec2
拉斐尔·隆戈（Rafael Longo）Non-ProcessSetup问题
----------------------

这正是发生的情况。迪克，这使事情更清楚了吗？让我知道您是否需要更多信息...

有什么新想法吗？

关于编程语言，就像您所说的，我们应该使用最合适的语言，不仅要考虑语言的资源，还要考虑我们的能力。但是，即使我不熟练使用汇编程序或Cobol之类的语言，我也可以学习并完成它。但是，由于我要进行一些研究（包括从比我更流利的人们那里获得帮助），因此我需要首先选择哪种语言是实现此目标的最佳方法。这就是为什么我试图确定Cobol是否真的是最好的方法（这里有些与Cobol合作的人告诉我，这不是执行此类任务的最明确的语言）。

Stodolas在大型机上提到了有关C ++的一些知识。例如，这将是完美的，因为我更精通C ++。 Java也会很棒。是否可以在大型机上使用这些语言？如果是，我需要设置它们吗？与Cobol相比，Rexx和Assembler如何执行此任务？

Stodolas，您是否在SITE命令上找到任何可以避免FTP记录中断的内容？

感谢所有帮助人员，希望我不要让你厌倦我...

斯托多拉斯

我看着SITE命令，什么也没找到。

其他一些注意事项：
如果您传输二进制文件，则不会有任何记录中断，并且您必须自己使用选择的语言将ASCII转换为EBCDIC，然后自行拆分为不同的记录。

对于Java或C ++，您需要确保编译器可用。除此之外，我不知道。除了大型机上的Cobol之外，人们谈论的不多。

我的意见对提出要求的人并不重要，但是在小型服务器上进行预处理并将记录保持在一起可能是最好的解决方案。由于您在此处输出ASCII，因此只有在本机编码为本地的系统上使用ASCII才有意义。

拉斐尔·隆戈（Rafael Longo）

如果我将文件传输为二进制文件，您可以提供有关如何进行转换的任何指导吗？

我认为这是一个有趣的解决方案，因为使用数据集可以很好地打破记录，因为数据集的LRECL恰好是记录的大小（固定长度）。之后，我只是不知道如何转换为“文本”（ascii或ebcdic？）...

斯托多拉斯

您需要加载一个转换表，其中包含ASCII中所有十六进制值以及EBCDIC中您希望其匹配的十六进制值。然后遍历每个二进制记录进行转换。那样可能会很糟糕，因为您基本上需要检查二进制字符串中的每个字符并将其替换。在这方面的处理时间和CPU可能不是很漂亮。

例

拉斐尔·隆戈（Rafael Longo）

是的，我的每月文件大小约为2.5 GB ...

即使让我问：您将如何在您的环境中执行此翻译脚本？您将使用cobol程序，还是仅使用JCL就能做到？

如果我的要求不高，您可以为此提供代码示例吗？（不需要工作或任何东西……只是草稿供我用作开始研究的指导）

斯托多拉斯

嗯..您也许可以通过带有转换表的DFSORT来完成此操作，但是我不确定。我不确定弗兰克是否观看了论坛的这一部分。

超级

我对其他人一无所知，但是我想看到十六进制转储格式的几行原始ASCII数据的实际样本。东西没有加起来。