第三章 德塔 ETL 人工智能可视化数据流分析引擎系统. 基础应用： 元基催化与肽计算 编译机的神经元模拟机 知识来源, 作者第一次接触节点编码是在上海的章鑫杰公司2009年, 作者的工作任务是基于Knime, 进行eclipse 插件开发Knime的节点, 当时是作者第一次用Java进行工作编码, 作为ESIEE的pascal助理partner, 参与flech元音法语邮件的文本分析. 作者这里要感谢罗瑶林2009年教作者使用eclipse进行1断点调试和knime插件的2单例迭代编码方法, 用于区别java和c, 当时用qq的远程操作. 同时也要感谢章鑫杰在堂弟教了断点调试后第2天也重复教了作者import 和 export 开发包和eclipse进行断点调试, 也是用qq的远程操作. 章鑫杰给了作者和张继斌( 后离开上海帆腾去了美国花旗银行就职数据分析员) 关于C#的数据分析软件, 作者记得内含另一种ETL风格的窗口组件.作者在学校接触Weka API, 这是作者见过的第三种Pipeline 节点分析模块, 后设计甲骨文数据库, 又自学了甲骨文的节点流ETL, 之后又在谷歌搜索上自学了Orange和 Kettle ETL, 分享一个秘密, 作者的波浪曲线模拟神经元链接箭头便是来自Orange的灵感,只是Orange更细腻。 这些ETL的文档阅读,安装和使用,丰富了作者在 ETL领域的应用和研发知识。再分享大家一个秘密,作者在2013年设计ETL Unicorn一开始准备想用C#来设计,模拟章总送的那个ETL的样子,而作者的计算机视觉作业是Java写的API,最后,作者用Java写ETL Unicorn了。作者一边设计,一边教旁边的李妙环,内心很有成就,,引擎界面一出来,作者2014年去波音面试给Andrew. K. Yoo先生展示了下,后上班(因涉及军事,本人仅仅面试见了Andrew 1次面,从未在波音任职,也没有和波音员工私下接触过1次面,之前的领英号我有加他。盲分离声音邮件材料谷歌上一搜一大把,不是Andrew给作者的。) 去了就淡忘了。 因为养疗经的设计,2019年又重新开始ETL优化编码。另外,感谢下作者人生第一次用batch line 来执行Java调用exec批处理脚本指令,是章鑫杰教的。 罗瑶光 1 德塔ETL 又叫 ETL UNICORN, 是一个数据节点流计算的可视化操作工具. refer page 267 2 最早由作者在路德大学设计java卷积视觉包, 为了方便 像素矩阵流的流水观测. refer page 186 3 德塔ETL采用APPLET, 可以嵌入在网页上作为 rich web架构, 与flash应用相似. refer page 287 4 德塔ETL已成为当前的PLETL, 和元基花模拟神经元计算的基础组件. refer page 774 界面 1 德塔ETL 的界面采用Jsplitpane分区 主要包含节点显示树区, 节点画布操作区, 计算状态反馈区 和系统配置区. refer page 286~ 2 节点的显示区 采用Jtree进行鼠标操作, 左键选择, 右键弹框. refer page 286~ 3 画布操作区 的 节点采用画线描点实现, 操作为左键拖拽, 右键连线和弹框. refer page 311~早期的节点处理界面弹框 设计成inner弹框模式作者发现关闭按钮被屏蔽了, 于是就改成frame组件跳出canvas画布来显示节点处理界面. 4 状态反馈与系统配置区用于实时了解ETL的运行状态. refer page 见jtextPanel,最新 养疗经 版本, 作者将状态数据的jtextpanel 写在了元基枝全局变量进行集成, 如果要单独将etl做插件使用, 要区别这个 函数, 可以改写下. ETL引擎的设计逻辑架构图 ETL引擎图的的鼠标操作逻辑描述 作者采用一种极为简练的傻瓜操作方法对引擎画布有效的鼠标操作, 首先, 在节点的树形界面操作, 鼠标左键为确定当前选择, 右键为当前选择的功能展开. 举例 鼠标左键点击选中一个节点, 右键点击于是出现弹窗, 点击add添加, 于是右边主画布画出节点图形. 其次, 画布的节点操作, 鼠标左键的功能为选中一个节点, 持续鼠标左键按下可以进行节点的移动拖拽功能. 鼠标右键的功能包含非移动拖拽和移动拖拽, 在选中一个节点后, 非移动拖拽, 可以弹出节点操作功能jframe面板, 如配置configuration, 执行execute, 展示 view, 删除当前节点 delete, 删除当前节点的关联链接箭头线 delete. 鼠标左键点击功能项可以进行节点详细操作. 关于右键的持续按下移动拖拽为节点的箭头链接拖拽操作, 指在非移动节点的情况下, 进行拖拽所指引的目标节点进行连线. 细节为右键拖拽需要将鼠标指向 节点的关联点区域, 如图中节点左侧的上中下链接点. 描述人 罗瑶光 Implements of mouse manipulations of ETL unicorn. The author adopted a succinct way of effect mouse manipulations of ETL unicorn. To keep It way of simple, firstly built the tree manipulations where to make a classify of ETL nodes. Once did an expanded window to add the node into a canvas board by mouse clicks. The mainly canvas will present this related node branch and Its manipulations by mouse-click. The left-mouse-click could well choose the ETL node, to make a moving and dragging of the related node. The right-mouse-click could well drag the ETL node arrow, to make a line-link, which connected to the object node. The details of line connection, meant It kept an endpoint of arrow which aimed to the hook-area of each node. For example the node in picture, which contained three hook-areas of up, middle and bottom on left side. Also the right-mouse-click with non-moving condition, could well click out a jumped JFrame component. This component contained four operations of configuration, execute, view and delete, to the continued manipulations. ETL unicorn 计算节点的设计描述 作者一开始设计etl节点已经有了基于knime的sdk应用近3年的实际研发经验, 当时因为knime 2009年 只支持表格 输入与输出, 不支持object传输, 于是作者设计etl的 unicorn pipe line 主要动机是进行ReinHart 的计算机视觉作业中能将图片像素, object, 和后来作者音频处理也能将 java sound的音频的计算传输. 在函数计算的过程中, 输出就比较唯一了, 即一个object 就能够解释一切, 于是作者最后将 节点 设计成 一种 编码机 的结构, 编码机的意思是 输入可以多种多样如3个input , 但输出仅仅只有一个格式, 具体的编码解码知识点, 作者的编码机知识点来自于印度基督大学 jpsir的 digital logic 数字逻辑课学习. 描述人 罗瑶光 Implements of the trace of ETL unicorn The author started a development of ETL unicorn after he had three years of good experience of Knime SDK, at 2009. The most two reasons for only table I/O format, and non-support of object values, The author needed a ImageIO object to finish his dream of convolutional pipes after <> class by Dr.ReinHart. The author had to build a new ETL to support all kinds of input objects. Seem the ETL unicorn did a well demostribution, and now became an engine of Tinshell nero-pipes. 皮肤 1 德塔ETL 皮肤采用bitmap实现, 可以自由替换. refer page 333, 334 关于ETL节点的神经元皮肤文字描述 作者在linkedin中阅读了牛津大学的牛顿霍华德教授的几张人类的真实神经元图片, 于是想把自己的ETL 的皮肤设计成这个神经元的样子, 觉得很高大上. 于是用bitmap的矩阵来描绘出神经元的边界. 图中的左边红绿蓝神经组织图片来自牛顿霍华德的linkedin 发布. 作者 节点皮肤设计形状 发散思维联想 借鉴了红色圆圈内的神经元结构. 作者跟随牛先生做一些疾病病人的非盈利技术研究, 如阅读障碍病人的思维模式研究., 循序渐进的思维研究学者模式. 作者和巴黎一大的学生数据处理, 最后研究有一定的成果. 1 作者识别了关于男性和女性的思维方式 平均密度集, 和遇到问题的思维波动方式, 2 阅读障碍主要的体现方式, 如 阅读点和时间面, 阅读频率等细节上, 以及阅读障碍高峰 产生的时候, 思维的混乱程度, 波形抑制程度等.作者现在的阅读能力很大概率得益于经常在研究, 工作和学习中有效的避开这些阅读问题细节. 对牛先生是感激的. 描述人 罗瑶光 Implements of nero-cell-skin of ETL unicorn nodes. The original nero-cell picture here and the author referred Dr.Newton Howard. At 2015, the author followed Mr.Newton to do a dyslexia analyzing project, and partner with Paris I's student. Finally got 2 development results lists of. 1 The density of nero computings between women and wen, and Its mean of ratios about Alpha-brain wavelet. 2 The PCA of dyslexia and ICA of each patient, especially in a dyslexia-peak domain of messy mind, lowpass catching and frequent reading. And these theories of almost are changed from the author's thinking when at that times. (之后我会进行代码的优化优化, 将 bitmap的表达形式 array[][] swap成 array[]+ array[], 这样50*50的界面 含有200个点, 2500次遍历 就变成了200次, 界面刷新时间缩减到原来的十分之一甚至更短. 罗瑶光) 写清楚点, array[10行][10位]= 1 or true 如果坐标矩阵第10行第10位 是像素显示标记1, 那么可以swap成 array[0]=10行, + array[0]=10位, 这样极大的减少计算array的内存buffer占用. 再举例 array[13行][9位]= 1 or true 如果坐标矩阵第13行第9位 是像素显示标记1, 那么可以接下来swap成 array[1]=13行, + array[1]=9位, 方便理解. Their has a new method of computing way of bitmap matrix. For example array[weight][height] was a matrix, made It into an array[n]+ array[n]. So the 200 points of 50 heights* 50 weights of array[50][50], meant the ordinary perform were 50* 50= 2500 times, and now was 200 times of arrayofx[200]+ arrayofy[200]. The optimizational effect ratio was 2500/200= 12.5. Made a well example of input array[10][10], which equals true, so swapped for arrayofx[0]= 10 and arrayofy[0]= 10, then the next input array[13][9], which could swap for arrayofx[1]= 13 and arrayofy[1]= 9, It seems fast and cool. 2 德塔ETL 皮肤包含指标, 箭头, 连线, 节点外形, 控间外形设计. refer page 332, 319~ 3 德塔ETL 的控件采用jdk的组件 componient进行2次开发. refer page 334~ 4 德塔ETL 的引擎界面的描点画线基于AWT Swing的canvas 画布系统实现. refer page 311~ 另外德塔早期曾用界面 LYG-AI 如下： 流存储 1 德塔ETL的流存储是一个object类, 可以包含多种状态. refer page 329~332 2 德塔ETL的流采用单例的this. clone, 确定了中间态存储模式. refer page 见 节点 clone() 3 德塔ETL的流可保存, 可观测, 但不可逆. refer page 329, 330 节点 1 德塔ETL的节点作为一个计算单元, 模拟神经元作为最小单位计算. refer page 327~ 2 德塔ETL的节点存在UI多样化, 可界面设计如orange, knime, weka那样. refer page 335 3 德塔ETL的节点也可以语言化, 如PLETL的语句IO模式研发设计. refer page 774~, 790 4 德塔ETL的节点大体为从左到右的IO模式, 节点流计算目前可循环但不可逆. refer page 329~332 插件 Gitee 20190626 感想：关于作者 ETL unicorn 的 OSGI 思想灵感动机来自 liferay 的 theme 控件, 关于liferay的启发作者有必要描述下：2012 年作者在路德大学学习网络课程用liferay来做, 当时看见liferay的皮肤比较漂亮, 心想如果自己能做个视觉软件 也能有皮肤多好. 作者在网络课上 专门做了个 presentation 关于liferay theme做视频集成的文档架构. 作者欣赏spring的整体性, 在这里给个大大的赞. 作者当年美国上班, 有3年时间都和spring 的应用打交道. 作者想到这里, 2012年准备自己做个网站, 于是在加州路德大学的图书馆借了一本 《cgi 网站建设 C语言基础》, 并模拟了c做所有HTTP, web, cgi, socket, tcp, ssh, router等 网站网络通信原理实现. 在阅读和学习这些各种各样的网络通讯协议中作者对环, 令牌码, 字节, 套接字, 掩码, 波特率, 压缩, 冗余检测方式有了综合整体的系统观, 发现对象继承的重要性(000~888之间的各种PROTOCOL协议不都是一层层的继承么), 那些独立节点只要继承这个注册属性, 不就自适应了么. 于是我就那样做了. Implements of OSGI Notes on Gitee 2019-06-26 The author's inspirition behind OSGI could trace the liferay-theme applications and presentations at class of , 2012. Then the development of ETL unicorn. The author thought that canvas, which needed Its own theme-skins such likes Liferay. Then try to build unicorn-theme-UI by using original JDKs. And now became an UI parts of YangLiaoJing software. The author appreciated the spring and Its systematically. Since 2012, the author simulated CGI webs by using C at Callutherans, It emphasizes on HTTP, Web, CGI, Socket, TCP, SSH and Router. He considered an object oriented of web protocols of 000~888, which could be used in an optimizational inheritance of socket registrations. And now became a procedure parts of VPCS schedules. 1 德塔ETL的插件类似OSGI的jar开发模式. 严谨的说只是继承的classloader模式. refer page 286, 290, 777 2 德塔ETL的插件可以加元基标识认证组件, 避免错误插件扩展. refer page 290, 777, 779 3 德塔ETL目前支持插件进行平台配置, 页面扩展和节点扩展. refer page 286, 290 4 德塔ETL目前的3元基文件名索引肽化支持插件的分类管理和加密标识. refer page 781 关于作者插件思维溯源描述. 作者2009年第一次接触OSGI的思维来自Knime SDK 节点插件设计, 但一直没有时间进行跟进节点插件编码领域的研究, 因为作者早年迫于生计, 一直在互联网商业公司和Spring MVC + MySQL 架构体系打交道. 2012年作者第一次思考OSGI的模型是在加州路德大学实验室, 作者在写计算网络课 香港教授的 web架构论文的时候, 有用到Liferay小窗口体系, 觉得这是个趋势, 作者开始下 Mini OSGI 关于Camel的WEB 部署用法, 因为API是现成封装的, 作者部署了几个RPC Demo 之后就莫名毕业了, 没有再跟进研究. 2013年作者设计完 ETL Unicorn , 没有采用OSGI技术, 仅仅是继承实现同类接口节点扩展 基于override 和overloader. 2017年 作者面试Infosys 持续长达2个月, 被面试官电话频繁问关于classloader的技术, 作者准备了标准答案关于Java jni native调用C/C++ 的 Object Scan 技术原理, 面试官说OK, next question. . . 2019年之后, 作者有时间开始用classloader 将2013年的ETL Unicorn继承方式设计成插件方式(所以作者的节点设计一直不在作者ETL著作权内. 之后作者采用TinShell 新作品统一化设计节点. ). 目前作者的插件接口开始三元pdc语义编码索引插件文件名肽化标识, 用于之后的元基新陈代谢应用进化探索. 描述人 罗瑶光 Implements of the trace of unicorn's plugins. The author first times to touch the OSGI, does since he the first time to develop the Knime SDK, 2009. Then touched the Camel and mini OSGI rpc applications of 2012, He had been working as backend developer by using Spring+ Mysql during 2014~2017. The inheritance of ETL node classes were simple like the template-modes of overrides and overloaders during 2013~2014. After the 2 month-duration and exceed 30 times of Infosys interviews and frequently be asked of how about the classloader, Object Scan and JNI native parts by new JDKs, The author thought the ETL needed a change of Its node extensions by YangLiaoJing integrated. And now these classloader-plugin file-names became a 3 metas-PDC(deta sixteen meta base, Initons char-code) word branches of DNA indexing and encoding. 感想Gitee 20200427, 关于osgi功能的注释： 一开始作者不想做成插件方式的主要原因是这个ETL极其轻巧, 主要针对嵌入式系统, 插件的过多会增大系统整体体积, 后来在设计华瑞集的时候, 作者理解了一个思想：万物皆为插件, 于是觉得, 以后过度到第二代电子医院系统, 作者会将所有功能全部进行插件化, 因为华瑞集不是嵌入式系统, 严格的说它是一个巨系统, OSGI思想在这里用到非常合适, 于是没有多想 , 就做了. Implements of the theory of 'Universe Inheritation/万物皆为插件', Notes on Gitee 2020-04-27. Initially, the author built an ETL unicorn for where be used in embedded system. In order to make the ETL to small and smart, therefore he didn't use the OSGI plugin theory to make a widely extension and only an ETL kernel instead. And now became an OSGI extension parts of YangLiaoJing software. Seem the OSGI extensions could fit a big system of YangLiaoJing. The author considers an OSGI extension does more better than object oriented inheritance in this situation. 档案 1 德塔ETL的档案包含节点流信息和节点配置信息. refer page 279, 282 2 德塔ETL的存储采用节点的画布状态单例信息存储方式. refer page, 279, , 282 3 单例信息包含画布中节点的坐标, 名称, ID, 连线, 配置信息等实体信息. refer page 282 4 德塔ETL的流存储用文件读写形式. etl后缀存储. refer page 282 5 德塔ETL的存储可支持加密和batch模式运行. refer page 养疗经应用略 Deta的 ETL 加密采用自主研发的元基加密方式. 作者20220403认为这些一个个档案便是一个个神经组织区间. 拓扑 1 德塔ETL的拓扑体现在节点的神经元模拟计算观测. refer page 273 2 节点的神经元模拟拓扑体现在从左到右的从高到低拓扑模式. refer page 273 3 第2点或许是个拓扑缺陷, 但是却因此又确定了固有 的向量方位. refer page 273 关于拓扑的描述 1一对一拓扑作者之后的TSP极速商旅坐标欧拉路径计算的早期版本也是通过拓扑循环计算优化而来的. 2一对多拓扑作者认为是组合数学的基础. 用真实的例子举例, 作者的DNA概率钥匙加密体系便是一种概率组合数学的应用. 3拓扑是神经网络的基础. 在计算机领域, 拓扑学的价值不菲, 用真实的例子举例, 作者的ETL节点链接是一种计算机图形学上的UI拓扑结构. 4 作者的第六章数据预测 有力的证明坐标团非线性计算 充斥这拓扑学术的影子. 举例如 团中心轨迹链接和趋势计算, 以及切裂团的向量压力标识. 总结, 因为这种1 欧拉拓扑与 2 组合拓扑的思维, 量变催化出作者研发出极速高阶欧拉融聚商旅团TSP路径算法. 另外欧拉路径拓扑与邻接矩阵拓扑变换, 量变催化为作者的十六进制元基排列打下了基础. 描述人 罗瑶光 Implements of tupe. Tupe one per one for the Deta Ouler TSP, and Its ordinary editions, were based on this descreted and tuped combinations. More examples of one per many tuped combinations, were Deta DNA encrypted system, and PDE probabilistic key. The author considered the tupe was a foundament of nero-network. For examples of ETL unicorn pipe UI, Deta unlined Ouler TSP, and trace the central weights of each fissile group. Now became a powerful proof in Ouler TSP and adjacent way of Deta hexadecimal meta base Initons. 神经网络 1 德塔ETL的神经网络计算在流数据计算中有实际价值. refer page 274 2 德塔ETL神经网络在PLETL和tinshell中逐渐体现其更多学术价值. refer page 783 3 德塔ETL的向量拓扑模式确定了神经网络的加权方式. refer page 274 4 德塔ETL的神经网络可循环不可逆. refer page 274 一键执行 1 德塔ETL支持 一键保存 . refer page 277, 282 2 德塔ETL支持 一键读取. refer page 302 3 德塔ETL支持 一键执行. refer page 308 4 德塔ETL支持 一键清空. 德塔的一键执行最早作者想设计成Knime的那种batch的批处理脚本节点流那样, 随着作者TinShell出来后, 作者觉得批处理跨语言, 既繁琐又没效率. 于是想做成JAVA脚本语言, 伴随这个思路, 目前作者设计了TinShell语言和元基花语言. At the first time, the author try to build a batch script to do the time schedules such as Knime. But is seeming did lower effectives and much more messy computings by using multi-languages( mixed of Java, C, Shell, or others like Python and Ruby etc) . Once the TinShell done, seem could be unified and conducted. Because It all based on Java. Now became an evolutionary-language script of DNA Initons-dandelion. Gitee 20190618感想, 刚把这个一键档案执行的 线程版本进行了完善下, 我是这个思考的, 将线程进行单例类执行方便运维分类, 同时我还能进行OSGI 思想继承运行不同种类的档案. 每一个档案作为一个线程, 这个线程我定义为神经流线程, 线程的全局对象引用, 非常方便多个神经流蜂群计算形成神经组织. 也是海量并发计算的基础, 我现在思考的方法是每一种 特定神经组织 一个 skivvy管理, vpcs管理层过多, 每一个线程作为一个sleeper服务对象, 我是这样想的, 我觉得有必要这样做, 现在的条件能做, 我动手了. 我要做个set类出来, 把线程处理的数据载体分离开, 不能因为线程死了, 运算的中间态数据就直接仍垃圾桶了. 高效节能环保是主题. Notes on Gitee 2019-06-18, Once done the 'one-button' of ducument-execution. The author considered the pipe execution of each document where could be a single nero-cell's organization-flow. And these documents or flows, could be arranged by VPCS schedures of skivvy management of memories, hallkeeper registations of processes, sleeper performs of schedures, and dream sets of garbages collection. Meant a higher effeciency of the environmental protection about energetical computing-optimizations. 关于 PLETL 与 ETL Unicorn函数分类的 文字描述 一开始作者把ETL 的节点操作设计成普遍的UI界面操作模式, 这个问题来自于作者2008年发现knime的界面智能用其自身的SDK或者SWT来实现. 作者设计了ETL Unicorn, 便直接Swing+AWT来跟进实现界面即可, 永久告别第三方包, 自从TinShell的脚本语言项目搭建诞生, 作者开始用文字命令来实现节点功能操作, 认为所有的节点可以统一成一种界面结构, 即输入部分和输出部分, 输入脚本命令, 输出结果. 于是节点就被格式化简便了, 减少了美工研发时间. ETL 引擎函数的维护比较稳定. 从某种意义上来说, TinShell的出现, 永久告别了 市面千奇百怪的节点设计. 节点框架开始走向统一. 描述人 罗瑶光 Implements of ETL Unicorn and PLETL nodes. At the beginning, the author made an ETL node which almost similar with the Knime node, because the Knime node is a standard ETL node(with orange, WEKA, oracle, kettle and etc are almost the same) which contains an operating UI. Based on this self UI, the user could do more interactions between ETL nodes and assignments. for example, Knime user uses the SWT techenology to build all kinds of the procedure UI by using the Knime of eclipse plugin SDK. Once the Tinshell script was build, the author thought It could be integrated in the ETL work flows such as PLETL, thus, each Tinshell ETL could only have had one type of procedure UI, which means Tinshell UI-- A top Text input for scripting Tinshell commands, and a bottom Text output for responding results of Tinshell executions. The author once said: all of ETL node UI could be the same type as Tinshell node in the future AI. 涉及著作权文件： 1.罗瑶光. 《德塔ETL人工智能可视化数据流分析引擎系统 V1.0.2》. 中华人民共和国国家版权局， 软著登字第4240558号. 2019. 2.罗瑶光，罗荣武. 《类人DNA与 神经元基于催化算子映射编码方式 V_1.2.2》. 中华人民共和国国家版权局，国作登字-2021-A-00097017. 2021. 3.罗瑶光，罗荣武. 《DNA元基催化与肽计算第二卷养疗经应用研究20210305》. 中华人民共和国国家版权局，国作登字-2021-L-00103660. 2021. 4.罗瑶光，罗荣武. 《DNA 元基催化与肽计算 第三修订版V039010912》. 中华人民共和国国家版权局，国作登字-2021-L-00268255. 2021. 5.罗瑶光. 《DNA元基索引ETL中文脚本编译机V0.0.2》. 中华人民共和国国家版权局，SD-2021R11L2844054. 2021. （登记号:2022SR0011067）软著登字第8965266号 6.类人数据生命的DNA计算思想 Github [引用日期2020-03-05] https://github.com/yaoguangluo/Deta_Resource 7.罗瑶光，罗荣武. 《DNA元基催化与肽计算 第四修订版 V00919》. 中华人民共和国国家版权局，SD-2022Z11L0025809. 2022. 罗瑶光