数据控|突破是我们的每一步datahold.cn

【新闻报道】CIMMYT访问简要总结
　　大家好，青年教师张敖在一万公里外的墨西哥，送来小小的问候——Buenos días（发音：波依no丝地呀丝，译：早上好）。转瞬间，我已经在墨西哥进修了将近2年的时间，成果不多，只有一篇即将被Crop Journal接收的文章和申请的两个专利。成果少，源于自己的才疏学浅，尤其是英语，阻碍了我将数据转化成文章的效率。还有，对于统计学基本原理的缺失，让我在理解模型和解释数据的意义上，遇到了很大障碍。因此，远在大洋彼岸，我有意识的在逐渐提高这两方面的能力，希望通过日积月累，达到新的高度，对世界有更深层次的认识，更好的教导学生。
　　国际玉米与小麦改良中心（CIMMYT）是个神奇的地方，在这里，我不仅收获了学术成果，还在其他很多方面有了提高。
　　在CIMMYT，有一个叫Crossa的老先生，七十多岁，是国际顶级的数量遗传学家。他很喜欢跑到我的办公室，让我叫上国内来的学者们，听他讲统计学方面的知识。可惜，我的英文水平有限，理解的不是很透彻。
　　2019年末，国内爆发了新冠疫情，墨西哥华人学者联谊会、CIMMYT的科学家和留学人员自发的向祖国捐款，用于购买抗疫物资寄回国内。此次活动，我毫不犹豫的捐款2000比索。随后，国内疫情好转，墨西哥成为重灾区，我开始了长达十几个月的居家生活。2021年3月，中国疫苗抵达墨西哥，大使馆组织墨西哥留学人员注射疫苗，让我深深的感受到了祖国的关怀。
　　祖国不仅关心我们的身体健康，心理健康同样受到重视。大使馆为了排解我们长期闷在家里的压力，组织了“2020在墨留学人员征文大赛”和“2020墨西哥留学生/汉语教师微视频大赛”。我积极参与，借助CIMMYT这块神奇的地方，分别获得了征文大赛三等奖，微视频大赛团体一等奖和个人三等奖。
　　可能由于在几次大赛中的突出表现，新华社记者找到我，先后拍摄了2021年新年十二个国家留学人员十二生肖拜年视频，2021中国青年的“国际范”视频，发布在新华社微信小程序和APP上，浏览量超过一百三十万。此外，我还参与了外交部#此心安处是吾乡-我在国外过大年活动，作品《CIMMYT过大年》在外交部微博播放。
　　CIMMYT这个神奇的地方也给了我人脉上的巨大收获。在这里，我帮助四川农业大学、河南农业大学、中国农业科学院、黑龙江省农科院、扬州农科院、上海农科院、新疆农业大学等的访问学者和合作伙伴分析数据或提供程序代码，以第三作者至第八作者发表多篇SCI论文。
　　此外，我在CIMMYT这个神奇的地方，用R语言编写了“基因型数据合并工具”、“GO数据多行合并工具”、“Tassel结果的曼哈顿图绘制工具”、“G矩阵画PCA图工具”、“遗传相似性计算工具”、“自交系亲本推测工具”、“基因组标记密度热图绘制工具”等程序，发布在https://datahold.cn网站上。方便自己和他人在今后的科研中使用。
　　写诗是我的业余爱好，这两年，我写了十五首古诗词，大多写给回国临行前的访问学者们。2020年的10月1日恰逢国庆节和中秋节，借着双节的气氛，在墨西哥华人学者联谊会微信群与教授们斗诗也别有一番风趣。
　　一提起诗，就勾起了我强烈的思乡之情。我已迫不及待的想回到学校尽一份力了。最后以我写的一首词做结尾：
浣溪沙·秋夜
2020.10.2 0:20
低楼独窗寻月光，
秋风无怨泪沾裳（cháng）。
乡思萦绕故土芳。
古昔玄奘越千荒，
今朝学才渡海江。
何人倚窗共月光。
张敖
2021.5.25
2021年5月27日
R语言快速获取HMP文件SNP的等位基因信息
该代码主要用到剪切板和不同软件的灵活运用。
```
SNPs <- read.table("clipboard",header=F)

refere <- read.table("clipboard",header=T)

res <- refere[which(rownames(refere) %in% SNPs[,1]),]
write.table(res,"clipboard",sep="\t",quote=F,col.names=F,row.names=F)
```
运行步骤
1. 复制需要获得等位基因信息的SNP名称列表。例如：
S2_44435558
S3_151630215
S3_144885149
S4_181062027
S7_141142136
S9_76535431
S9_115952576
S10_137204131
2. 运行代码的第一行。
3. 用EmEditor打开基因型文件（HMP格式），选择制表符分隔，复制前两列。
4. 运行第三行到最后的代码。
5. 在需要的地方粘贴皆可。
2021年5月27日

EXCEL获取SNP的bin物理位置

前人的研究，已经将每条染色体分成了10个左右的bin区域，用于粗定位基因的物理位置。本工具用于将GWAS或QTL Mapping的位置信息转换成bin位置区域。

【我写好的excel下载】

https://dataholdcn.cn/excel/B73%20RefGen_v2%20bin%20physical%20position_tool_za.xlsx

【使用方法】

在 “Reslut”工作表中，替换SNP名称即可。

【实现过程】

首先，我们需要bin区域的物理信息，这里以B73 RefGen v2为例。将下表数据保存到excel文件的“Clean Table“工作表。Bin列表示物理位置bin区段，Chr是染色体号，Size是区段大小，Start是起始位置，End是结束位置，Index是用于查找的信息。

Bin	Chr	Size (Mbp)	Start	End	Index
1.00	Chr1	2.04	1	2039901	S1_1
1.01	Chr1	10.36	2039901	12398949	S1_2039901
1.02	Chr1	16.86	12398949	29258944	S1_12398949
1.03	Chr1	22.89	29258944	52152777	S1_29258944
1.04	Chr1	30.42	52152777	82574898	S1_52152777
1.05	Chr1	93.09	82584786	175670048	S1_82584786
1.06	Chr1	23.22	175670048	198887570	S1_175670048
1.07	Chr1	29.4	198854443	228254156	S1_198854443
1.08	Chr1	21.84	228254156	250093155	S1_228254156
1.09	Chr1	17.77	250093155	267860952	S1_250093155
1.10	Chr1	15.33	267860952	283188047	S1_267860952
1.11	Chr1	14.78	283259156	298039872	S1_283259156
1.12	Chr1	3.39	297960525	301354135	S1_297960525
2.00	Chr2	1.55	1	1551442	S2_1
2.01	Chr2	2.64	1551442	4187615	S2_1551442
2.02	Chr2	10.82	4187615	15005045	S2_4187615
2.03	Chr2	13.75	15016290	28771109	S2_15016290
2.04	Chr2	42.97	28771109	71742767	S2_28771109
2.05	Chr2	81.4	71742767	153140073	S2_71742767
2.06	Chr2	34.04	153140073	187179001	S2_153140073
2.07	Chr2	17.72	187179001	204896812	S2_187179001
2.08	Chr2	18.42	204896812	223320002	S2_204896812
2.09	Chr2	12.15	223320002	235471439	S2_223320002
2.10	Chr2	2.42	234646685	237068873	S2_234646685
3.00	Chr3	1.73	1	1729470	S3_1
3.01	Chr3	2.16	1729470	3888321	S3_1729470
3.02	Chr3	4.71	3888331	8599890	S3_3888331
3.03	Chr3	4.5	8598772	13102315	S3_8598772
3.04	Chr3	113.15	13109892	126255823	S3_13109892
3.05	Chr3	42.15	126255823	168409685	S3_126255823
3.06	Chr3	22.7	168409685	191113733	S3_168409685
3.07	Chr3	14.26	191113733	205370271	S3_191113733
3.08	Chr3	10.5	205370271	215869148	S3_205370271
3.09	Chr3	16.29	215846541	232140174	S3_215846541
3.10	Chr3	0.07	232074985	232140174	S3_232074985
4.00	Chr4	0.69	1	694004	S4_1
4.01	Chr4	4.35	694004	5045991	S4_694004
4.02	Chr4	6.36	5045991	11403953	S4_5045991
4.03	Chr4	10.2	11403953	21605708	S4_11403953
4.04	Chr4	10.67	21605708	32280422	S4_21605708
4.05	Chr4	118.83	32251206	151082840	S4_32251206
4.06	Chr4	19.96	151110020	171066103	S4_151110020
4.07	Chr4	8.77	171066103	179834540	S4_171066103
4.08	Chr4	25.3	179834540	205136045	S4_179834540
4.09	Chr4	32.11	205136045	237246237	S4_205136045
4.10	Chr4	2.74	237246237	239987981	S4_237246237
4.11	Chr4	2.04	239987981	242029974	S4_239987981
5.00	Chr5	3.32	1	3323880	S5_1
5.01	Chr5	4.67	3323880	7997002	S5_3323880
5.02	Chr5	6.86	8008060	14870573	S5_8008060
5.03	Chr5	65.95	14853619	80804839	S5_14853619
5.04	Chr5	91.59	80804839	172395871	S5_80804839
5.05	Chr5	22.92	172438770	195358319	S5_172438770
5.06	Chr5	9.3	195305700	204605587	S5_195305700
5.07	Chr5	7.12	204659857	211775643	S5_204659857
5.08	Chr5	3.75	211775643	215521293	S5_211775643
5.09	Chr5	2.41	215465694	217872852	S5_215465694
6.00	Chr6	8.27	1	8274025	S6_1
6.01	Chr6	78.67	8276813	86946680	S6_8276813
6.02	Chr6	9.89	86946680	96840186	S6_86946680
6.03	Chr6	7.78	96840186	104619429	S6_96840186
6.04	Chr6	16.41	104619429	121033444	S6_104619429
6.05	Chr6	32.92	121033444	153956114	S6_121033444
6.06	Chr6	7.37	153762257	161129826	S6_153762257
6.07	Chr6	5.76	161129826	166892211	S6_161129826
6.08	Chr6	2.29	166885247	169174353	S6_166885247
7.00	Chr7	4.71	1	4707470	S7_1
7.01	Chr7	9.15	4712353	13861507	S7_4712353
7.02	Chr7	114.31	13861507	128175453	S7_13861507
7.03	Chr7	27.88	128175453	156050470	S7_128175453
7.04	Chr7	12.28	156050470	168334968	S7_156050470
7.05	Chr7	6.07	168334968	174407842	S7_168334968
7.06	Chr7	2.4	174362351	176764762	S7_174362351
8.00	Chr8	1.83	1	1831964	S8_1
8.01	Chr8	8.24	1831964	10072434	S8_1831964
8.02	Chr8	11.08	10072434	21153183	S8_10072434
8.03	Chr8	87.54	21153183	108690693	S8_21153183
8.04	Chr8	13.79	108690693	122478285	S8_108690693
8.05	Chr8	23.95	122478285	146426603	S8_122478285
8.06	Chr8	18.84	146426603	165267974	S8_146426603
8.07	Chr8	4.07	165267974	169336170	S8_165267974
8.08	Chr8	3.63	169336170	172961960	S8_169336170
8.09	Chr8	2.39	172961960	175347686	S8_172961960
9.00	Chr9	3.31	1	3312268	S9_1
9.01	Chr9	8.47	3312268	11781894	S9_3312268
9.02	Chr9	11.49	11781894	23268159	S9_11781894
9.03	Chr9	78.48	23268159	101747879	S9_23268159
9.04	Chr9	25.44	101747879	127192550	S9_101747879
9.05	Chr9	9.61	127192550	136806801	S9_127192550
9.06	Chr9	11.43	136806801	148241346	S9_136806801
9.07	Chr9	6.63	148241346	154869700	S9_148241346
9.08	Chr9	2.15	154599322	156750706	S9_154599322
10.00	Chr10	2.65	1	2650397	S10_1
10.01	Chr10	2.36	2650397	5008368	S10_2650397
10.02	Chr10	8.55	5008368	13559627	S10_5008368
10.03	Chr10	74.79	13559627	88348445	S10_13559627
10.04	Chr10	39.61	88348445	127958713	S10_88348445
10.05	Chr10	9.35	127936624	137286408	S10_127936624
10.06	Chr10	5.5	137311961	142812228	S10_137311961
10.07	Chr10	6.82	142812228	149627545	S10_142812228

新建“Reslut”工作表，第一行的前4列分别命名为：

SNP

Chr

Position

Bin

对应的公式为：

S1_191524962

=”Chr”&MID(A2,2,FIND(“_”,A2)-2)

=MID(A2,FIND(“_”,A2)+1,LEN(A2))

=XLOOKUP(A2,’Clean Table’!F:F,’Clean Table’!A:A,,-1,1)

第一列用于填写SNP名称，第二列用于获得染色体信息，第三列获取物理位置信息，第四列通过查找获取bin位置。

接下来只需要修改第一列的名称，其他列下拉就可获得每个SNP的bin位置。

若要修改参考基因组，替换“Clean Table”工作表即可。

2021年5月27日

Word表格按照小数点对齐
先选中数值部分，然后点击段落设置。
选择制表位。
在制表位位置输入：2字符，选择小数点对齐，再确定，完工。
结果：
若都是2位小数，可以直接使用右对齐功能，效果一样。
2021年5月22日
墨西哥检车
在墨西哥，一般半年检车一次。
检车网站：https://citaverificacion.edomex.gob.mx/RegistroCitas/
网站上会标识，车牌最后一位的检车期限。如图：
检车预约选择第一个：
选择第一个，新预约，并填写验证码，验证码区分大小写。
需要填写车牌，行车卡上的NIV（第三个），第五个选汽油。几乎所有信息都在行车卡上。
城市选TEXCOCO，里面有3个地点，917在市中心附近，比较近。
最后，点那个日历，选择日期和时间。
确认信息后，会有一个下载按钮，下载为PDF，打印出来，带着去检车。
上面所选检车地址：

若没有按时间检车，去检车时会给一个罚款单，去任何银行都可以缴费（OXXO不能缴费），缴费后3个工作日再预约检车。
检车需要带行车卡、一个粉色头的单据、预约单和身份证件，下图为按顺序排列。
大致流程为：
1. 直接开车排队进入检车区。
2. 将材料交给过来询问的工作人员。
3. 根据提示将车开到指定地点。
4. 接到检车工人召唤后，将车开进检车线，下车到交款处。
5. 可能需要等一段时间，交款后在等候区等待。
6. 工作人员带着去贴标，然后离开。
2021年5月22日
【里程碑】修完英文写作课程
coursera-7h39nh5anarz 下载
2021年5月13日
【新闻报道】全球连线｜中国青年的“国际范”
https://xhpfmapi.zhongguowangshi.com/vh512/share/9955963?channel=weixin
http://www.xinhuanet.com/english/2021-05/04/c_139924260.htm
2021年5月4日

Powershell 文件操作

创建文件夹，用到new-ite命令，-path参数用来指定位置，-itemtype用来指定类型，本例为目录。若已经同名目录会报错。

new-item -path 'd:\temp' -itemtype directory

同理，我们可以用以上命令新建一个TXT文本。

new-item -path 'd:\temp\demo.txt' -itemtype file

copy-item用于文件夹或文件夹的复制。

new-item -path 'd:\temp\temp1' -itemtype directory
new-item -path 'd:\temp\temp1\demo1.txt' -itemtype file
copy-item 'd:\temp\temp1\demo1.txt' 'd:\temp\temp2\demo1.txt'

把一个文件夹下的文件复制到另一个文件夹。

copy-item 'd:\temp\temp1\' -recurse 'd:\temp\temp2\'

把一个文件夹下的指定类型文件复制到另一个文件夹。

copy-item -filter *.txt 'd:\temp\temp1' -recurse 'd:\temp\temp2'

把一个文件夹及其内的文件复制到另一个文件夹下。

copy-item 'd:\temp\temp1' -destination 'd:\temp\temp2'
copy-item 'd:\temp\temp1' -destination 'd:\temp\temp2'-recurse

删除一个文件夹包括里面的文件。

remove-item 'd:\temp\temp2' -recurse

删除文件。

remove-item 'd:\temp\temp1\demo1.txt'

文件夹的移动，文件夹里面的文件也会被移动。

move-item d:\temp\temp1 d:\temp\temp2

文件的移动，只能在已有的文件夹下才能移动，否则出错。

new-item 'd:\temp\temp2' -itemtype directory
move-item d:\temp\temp1\demo1.txt d:\temp\temp2\demo1.txt

重命名文件或文件夹。

rename-item d:\temp\temp2\demo1.txt d:\temp\temp2\demo3.txt
rename-item d:\temp\temp2 d:\temp\temp3

显示文档内容。

get-content d:\temp\temp3\demo3.txt

显示文件内容的行数。

(get-content d:\temp\temp3\demo3.txt).length

检查某文件或文件夹是否存在。

test-path d:\temp\temp2
test-path d:\temp\temp1\demo2.csv

向文本文件写入内容。注意：原有内容会被抹掉。

 set-content d:\temp\temp3\demo3.txt 'Hello world!'

创建CSV文件，并写入内容。

 new-item d:\temp\temp1\demo1.csv -itemtype file
 get-content D:\temp\temp1\demo1.csv

清除文件内容。

clear-content d:\temp\temp1\demo1.csv
get-content d:\temp\temp1\demo1.csv

添加多行数据。

set-content d:\temp\temp1\demo1.csv 'Hello,world!'
add-content d:\temp\temp1\demo1.csv 'A,b'

数据去掉重复后写入文件。sort是排序（字符串按照字母顺序），get-unique是保留唯一值（去重复）。

$list="one","two","two","three","four","five"
$list|sort|get-unique
add-content d:\temp\temp1\demo1.csv $list
get-content d:\temp\temp1\demo1.csv

查看文件对象的详细信息。-character统计字符，-line统计行，-word统计单词。

add-content d:\temp\temp1\demo1.csv "good or bad"
get-content d:\temp\temp1\demo1.csv
get-content d:\temp\temp1\demo1.csv|measure-object -character -line -word

文件或目录的对象查看操作。

cd d:\temp\temp1\
get-childitem
get-childitem|measure-object

两个文件的比较。-includeequal显示相同的部分。

compare-object -referenceobject $(get-content d:\temp\temp1\demo1.csv) -differenceobject $(get-content d:\temp\temp1\demo2.csv)
compare-object -referenceobject $(get-content d:\temp\temp1\demo1.csv) -differenceobject $(get-content d:\temp\temp1\demo2.csv) -IncludeEqual

2021年5月1日

如何让word中一个空格占一个中文宽度
有些人的word一个空格占一个英文字母的宽度，有些人的word可以占一个中文字的宽度。在写毕业论文时，通常我们需要一个空格表示1个中文字母的宽度，但在一些情况，我们又希望一个空格是一个英文字母宽。下面就来介绍一下如何修改这个值。
以word2019为例，依次选择文件→选项→语言，在Office 创作语言和校对选项卡，将中文设置成默认，则一个空格占一个中文字符；若设置成英文默认，则一个空格占一个英文字符。
2021年4月21日

sommer包做全基因组预测

（1）自交系预测

模型：

y = Xβ + Zu + ε

代码：

# sommer的GS预测
library(sommer)   # 加载sommer包，第一次安装请先运行install.packages("sommer")
data(DT_wheat)
DT <- DT_wheat
GT <- GT_wheat
colnames(DT) <- paste0("X",1:ncol(DT))   # 列名为X1~X4
DT <- as.data.frame(DT)   # 转换为数据框
DT$id <- as.factor(rownames(DT))   # 把行号作为列并作为因子
# select environment 1
rownames(GT) <- rownames(DT)   # 给基因型赋值相同的行号（名称）
K <- A.mat(GT) # additive relationship matrix
colnames(K) <- rownames(K) <- rownames(DT)   # K的行列相同，都赋值名称
# GBLUP pedigree-based approach
set.seed(12345)
y.trn <- DT
vv <- sample(rownames(DT),round(nrow(DT)/5))   # 抽取20%作为验证群体（被预测）
y.trn[vv,"X1"] <- NA
head(y.trn)
## GBLUP
ans <- mmer(X1~1,
            random=~vs(id,Gu=K),
            rcov=~units,
            data=y.trn, verbose = FALSE) # kinship based
ans$U$`u:id`$X1 <- as.data.frame(ans$U$`u:id`$X1)
rownames(ans$U$`u:id`$X1) <- gsub("id","",rownames(ans$U$`u:id`$X1))
cor(ans$U$`u:id`$X1[vv,],DT[vv,"X1"], use="complete")
## rrBLUP
ans2 <- mmer(X1~1,
             random=~vs(list(GT)),
             rcov=~units,
             data=y.trn, verbose = FALSE) # kinship based
u <- GT %*% as.matrix(ans2$U$`u:GT`$X1) # BLUPs for individuals
rownames(u) <- rownames(GT)
cor(u[vv,],DT[vv,"X1"]) # same correlation

数据使用的是CIMMYT的全球小麦项目组提供的数据，共有599个个体。y.trn表示籽粒产量，每一列表示一个环境，共有4个环境，例子中只计算了80%预测20%的结果。

（2）杂交种的预测

杂交种的预测使用GCA效应和SCA效应。数据来自1254年测定的玉米单交试验。123个dent和86个flint，用测定的1254材料预测未测定的9324个材料。例子中只计算了第一个性状GY。

模型：

y = Xβ + Zu1 + Zu2 + ZuS + ε

代码：

library(sommer)
data(DT_technow)
DT <- DT_technow   # 表型数据
Md <- Md_technow   # dent马齿基因型矩阵
Mf <- Mf_technow   # flint硬粒基因型矩阵
Ad <- Ad_technow   # dent的加性效应矩阵
Af <- Af_technow   # flint的加性效应矩阵
y.trn <- DT
vv1 <- which(!is.na(DT$GY))   # 获得有数据的材料行号
vv2 <- sample(vv1, 100)   # 在有数据的材料行号中随机选择100个材料
y.trn[vv2,"GY"] <- NA   # 将抽取的100个材料设为NA
anss2 <- mmer(GY~1,   # 固定效应
              random=~vs(dent,Gu=Ad) + vs(flint,Gu=Af),   # 随机效应，并指定方差协方差矩阵
              rcov=~units, 
              data=y.trn, verbose = FALSE)
summary(anss2)$varcomp
zu1 <- model.matrix(~dent-1,y.trn) %*% anss2$U$`u:dent`$GY
zu2 <- model.matrix(~flint-1,y.trn) %*% anss2$U$`u:flint`$GY
u <- zu1+zu2+anss2$Beta[1,"Estimate"]
cor(u[vv2,], DT$GY[vv2])

               VarComp VarCompSE    Zratio Constraint
u:dent.GY-GY  16.06423 2.5737578  6.241548   Positive
u:flint.GY-GY 11.42070 2.1591718  5.289390   Positive
units.GY-GY   16.81801 0.7689509 21.871368   Positive
> cor(u[vv2,], DT$GY[vv2])
[1] 0.922328

预测时，所有有数据的个体作为建模群体，这里随机减去100个个体的测定值用于验证，即建模群体是有数据的个体-100。zu1是模型中的Zu1，Z是model.matrix(~dent-1,y.trn)，即dent的设计矩阵；u1是anss2$U$u:dent$GY是GY性状dent的BLUP值。相应的，zu2是flint的设计矩阵×GY性状flint的BLUP。

anns2$Beta[1,”Estimate”]是固定效应的BLUP。

最后，100个个体的测定值和这100个个体的BLUP值的相关系数作为预测结果。

上面的例子只使用了GCA进行预测，因为SCA在这里面没有对预测精度起到多大的影响，相反，由于使用了很大的矩阵，导致计算时间明显增加。

2021年4月16日

运行步骤

（1）自交系预测

（2）杂交种的预测