Nott's Notes

1-based

programming language:
1). R

software:
1). samtools;
2). annovar;
3). stringtie (gtf file,gene_abundance file);
4). blast (blastn,tblastn)

file format:
1). vcf：只有第二列为POS信息；
2). sam/bam：只有第四列为POS信息；
3). gff (闭区间)：第四列和第五列给定开始和结束
1. gff格式还要注意其strand（正负链）和phase（要从该feature开头移走的碱基个数）
2. 这个维基百科网页（https://en.wikipedia.org/wiki/General_feature_format）在说和bed一样为half-open（半开），估计误导了一大片人。
4). the Description of Sequence Variants (nomenclature)
5). gencode: 第四列和第五列给定开始和结束
6). ANNOVAR input file

==========================================

0-based

software:
1). blat(output: psl);

file format:
1). bed（左闭右开）：
1. 注意给strand;
2. 第二列和第三列给定开始和结束 (比如3 5，包含的是第4个碱基到第5个碱基之间的序列[这里的第4和第5是在1-based的坐标语境中]，一共2个碱基);

2). psl（左闭右开）：
1. blat在用

1. 命令别名：doskey
   doskey ls = dir
   doskey vi=vim $*: 如果没有$*，敲击缩写时的参数不会被传递给缩写。
   https://docs.microsoft.com/en-us/windows-server/administration/windows-commands/doskey
2. @：在命令开头加@可以关闭运行本命令时打印本命令。
   @echo foo: 不会先打印echo foo，再打印foo；而是直接打印foo。
3. cmd启动时自动运行一个bat脚本
   1. 创建一个.bat文件，假设保存在/c/a.bat
   2. win+r, regedit, 启动注册表编辑器
   3. 找到下面的位置：
   计算机\HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Command Processor
   4. 右键-新建-字符串值，名字“AutoRun”，数值数据，“/c/a.bat”
   5. 这样，以后启动cmd的时候，就会先运行这个bat
4. dafds

1.清华镜像站：
https://mirrors.tuna.tsinghua.edu.cn/

2.北京外国语大学
https://mirrors.bfsu.edu.cn/

1. 安装glibc-2.29 (系统：Linux version 2.6.32)

GNU libc requires kernel header files from Linux 3.2.0 or later to be installed before configuring. checking installed Linux kernel header files… missing or too old!

2. libc.so.6 GLIBC_

3. 动了GLIBC，可能会出现：
1. conda无法工作
2. R无法编译
3. 系统工具无法工作

4.

1. acrobat 不支持修改快捷键，只能使用默认的快捷键。

2. adobe有一个fast web view，如果pdf启用了，每次保存速度非常慢。当我在学习一个文档时，会常常保存，每次保存我都无法操作pdf，且需要等待很久。所以，我需要关闭这个功能。
编辑->首选项->文档，在保存设置下，关闭，另存为优化快速web查看。最后点击确认。

1. 坐标系: By default, 1-based coordinate system is used.

2. 核心程序: annotate_variation.pl

3. 注释类型: gene-based (-geneanno), region-based (-regionanno) and filter-based (-filter) annotations.

4. 输出结果:
a. The first file contains annotation for all variants, by adding two columns to the beginning of each input line.
b. The second output file contains the amino acid changes as a result of the exonic variant.

5. 重点定位：
What about GFF3 file for new species?（http://annovar.openbioinformatics.org/en/latest/user-guide/gene/）

gff3ToGenePred                                                                               （http://hgdownload.soe.ucsc.edu/admin/exe/linux.x86_64/）

6.特别注意：
annovar注释以后，会把InDel的坐标改了。比如：
原来是，    133，ACTG->A，
修改后是，134，CTG->-。

1. ^M=ctrl v+ctrl m
2. wc -l 根据换行符统计行数，如果最后一行没有换行符，就会统计少一行。
   如何为最后一行补充换行符？
   sed -i -s ‘$s/$/\n/;P;d;’ file
   #sed命令解读
   #-i: 原地编辑，具体实现为，输出到一个新的文件，输出结束后，使用mv修改名字为原文件
   #-s: 不要将参数中给定的多个文件视作一个文件，而是单独看待
   #‘$s/$/\n/;P;d’: 第一个$是定位符，只处理最后一行；P，输出模式空间内容，单截止于第一个回车符；d删除模式空间，直接开始下一次cycle。
   #补充说明：sed有一个默认操作，开始时移除当前行末的所有换行符，结束时输出模式空间，如果移除过换行符，补回换行符。
3. foobar

1. framework: keras, xgboost…

2. hyperparameters: tune

3. rationale: 多层感知机、卷积神经网络、自编码器…

将原理使用框架实现出来，并找到尽可能优秀的参数。

保存网页的时候，会有各种不如意的地方，找不到令人满意的工具。现在记录下来各种问题，以后有机会自己开发一款趁手好用、小巧的网页转pdf的工具。

1. 保存的网页会被自动切成好几个小块，切的地方会让后续的阅读很困扰，比如从图片中间切，从一个重要的段落中间切。

2. 保存的网页字体很难看

3. 滚动截屏速度很慢

4. chrome, devtools, screenshot, 保存的图片分辨率较低

year:language:creator:compiler
1972:c:Dennis Ritchie:assembly language on a PDP-7
1979:c++:Bjarne Stroustrup:C
1987:perl:Larry Wall:C
1991:python:吉多*范罗苏姆(Gudio van Rossum):C

https://en.wikipedia.org/wiki/Sensitivity_and_specificity

link: https://casrai.org/credit/

1. 提交

git add .

git commit -m “your comments about this submission”

git push origin master

2. 同时开发，解决冲突

背景：
实际工作中，一定会出现多个人共同开发一个软件，但是大家负责不同的功能。基于git，大家可以各自创建一个分支，完成自己的分支工作后，再merge回去。

问题：
如果同事A修改了某个文件F的格式，但是同事B依赖该文件原来的格式。A先提交成功了，B再提交，B就无法运行成功了，因为F的格式变了。任何一个人，merge之前应该先做测试，证明merge后能够正常运行，才能真正merge。又或者，大家应该有一个约定，有的文件是不能动的。

3. git clone

4. windows下git对路径名长度存在限制，即使win10系统本身解除了这个限制。
git config –global core.longpaths true
但是没用，仍然报错：fatal: ‘$GIT_DIR’ too big

5. foobar

1. plink常用格式:
https://www.cog-genomics.org/plink/1.9/formats#ped
ped, map
bed, bim, fam

2. plink gwas

3. plink homepage:
1.07: http://zzz.bwh.harvard.edu/plink/index.shtml
1.9 & 2.0: https://www.cog-genomics.org/plink/

#snp2bedbimfam
plink –23file JPT-NA19001.snp JPT ID002 –out JPT-NA19001

#去除有问题的snp
plink –bfile JPT-NA19001 –exclude merge.missnp –make-bed –out new

#merge单个文件
plink –bfile source1 –bmerge source2_trial –make-bed –out merged_trial

#merge多个文件
plink –merge-list merge_list –make-bed –out merge

1. 使用conda install安装时，如果下载到一半，断网中断了安装；下次再安装就会core dump;
   解决办法：删除 $(which conda)/../../pkgs 下面的中断的时候正在下载的包即可。
2. foobar

1. 使用$(command)，将command的返回值作为另一个命令的组成部分
   grep $(head -n1 a.txt) a.txt
2. daily & sophisticated shell built-in commands
   
   Shell

   1. compgen -b：display all built-in commands (completion of command) 2. type command: determine whether the command is a built-in command 3. pushd/popd: add/remove directories from stack 4. help command: display the help message of the command

   1 2 3 4

   1. compgen -b：display all built-in commands (completion of command) 2. type command: determine whether the command is a built-in command 3. pushd/popd: add/remove directories from stack 4. help command: display the help message of the command

3. sed [stream editor]
   
   sed '$,$ d' input > output #删除最后一行

   1	sed '$,$ d' input > output #删除最后一行

4. $’string’
   
   https://www.gnu.org/software/bash/manual/html_node/ANSI_002dC-Quoting.html Words of the form $'string' are treated specially. The word expands to string, with backslash-escaped characters replaced as specified by the ANSI C standard. alias s=$'ls | perl -ne \'chomp();my $str = $_;print "$str\n"\' | sort -k4' #1.单引号内继续用单引号：解决方案：$'string',string内的单引号用反斜线转义 #2.'\n'并未被传递给perl，传递给perl的是一个有换行的字符串。 #因为perl支持一句话写在多行，所以这里才能没问题

   1 2 3 4 5 6 7 8 9

   https://www.gnu.org/software/bash/manual/html_node/ANSI_002dC-Quoting.html Words of the form $'string' are treated specially. The word expands to string, with backslash-escaped characters replaced as specified by the ANSI C standard. alias s=$'ls | perl -ne \'chomp();my $str = $_;print "$str\n"\' | sort -k4' #1.单引号内继续用单引号：解决方案：$'string',string内的单引号用反斜线转义 #2.'\n'并未被传递给perl，传递给perl的是一个有换行的字符串。 #因为perl支持一句话写在多行，所以这里才能没问题

   
    
5. set -x
   
   set指令能设置所使用shell的执行方式，可依照不同的需求来做设置 <strong>　+&lt;参数&gt; 　取消某个set曾启动的参数。</strong> 　-a 　标示已修改的变量，以供输出至环境变量。 　-b 　使被中止的后台程序立刻回报执行状态。 　-C 　转向所产生的文件无法覆盖已存在的文件。 　-d 　Shell预设会用杂凑表记忆使用过的指令，以加速指令的执行。 使用-d参数可取消。 　-e 　若指令传回值不等于0，则立即退出shell。　　 　-f　 　取消使用通配符。 　-h 　自动记录函数的所在位置。 　-H Shell 　可利用"!"加&lt;指令编号&gt;的方式来执行history中记录的 指令。 　-k 　指令所给的参数都会被视为此指令的环境变量。 　-l 　记录for循环的变量名称。 　-m 　使用监视模式。 　-n 　只读取指令，而不实际执行。 　-p 　启动优先顺序模式。 　-P 　启动-P参数后，执行指令时，会以实际的文件或目录来取代符号 连接。 　-t 　执行完随后的指令，即退出shell。 　-u 　当执行时使用到未定义过的变量，则显示错误信息。 　-v 　显示shell所读取的输入值。 　-x 　执行指令后，会先显示该指令及所下的参数。

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

   set指令能设置所使用shell的执行方式，可依照不同的需求来做设置 <strong>　+&lt;参数&gt; 　取消某个set曾启动的参数。</strong> 　-a 　标示已修改的变量，以供输出至环境变量。 　-b 　使被中止的后台程序立刻回报执行状态。 　-C 　转向所产生的文件无法覆盖已存在的文件。 　-d 　Shell预设会用杂凑表记忆使用过的指令，以加速指令的执行。 使用-d参数可取消。 　-e 　若指令传回值不等于0，则立即退出shell。　　 　-f　 　取消使用通配符。 　-h 　自动记录函数的所在位置。 　-H Shell 　可利用"!"加&lt;指令编号&gt;的方式来执行history中记录的 指令。 　-k 　指令所给的参数都会被视为此指令的环境变量。 　-l 　记录for循环的变量名称。 　-m 　使用监视模式。 　-n 　只读取指令，而不实际执行。 　-p 　启动优先顺序模式。 　-P 　启动-P参数后，执行指令时，会以实际的文件或目录来取代符号 连接。 　-t 　执行完随后的指令，即退出shell。 　-u 　当执行时使用到未定义过的变量，则显示错误信息。 　-v 　显示shell所读取的输入值。 　-x 　执行指令后，会先显示该指令及所下的参数。

6. I/O重定向
   
   &gt;| filename：即使noclobber选项已开启，仍然强制将标准输出写到 文件filename之中，即将filename文件覆盖掉。 noclobber When setting 'noclobber' overwriting the content of an existing file by the '&gt;' redirection operator will not be possible. You might have typed '&gt;' to redirect the output of a certain command to an existing file, while you intended to use '&gt;&gt;' redirection operator.

   1 2 3 4 5 6 7 8 9 10

   >| filename：即使noclobber选项已开启，仍然强制将标准输出写到 文件filename之中，即将filename文件覆盖掉。   noclobber When setting 'noclobber' overwriting the content of an existing file by the '>' redirection operator will not be possible. You might have typed '>' to redirect the output of a certain command to an existing file, while you intended to use '>>' redirection operator.

7. 在双引号内使用单引号，不需要加反斜线；使用双引号需要加反斜线；
8. eval
9. xargs
10. awk [Aho Weinberger Kernighan]
11. truncate last line
    
    if [ $# == 0 ];then      echo "USAGE:sh $0 filename is_there_newline"      exit 0 fi LAST=$(tail -n 1 $1) let TRUNCATE_SIZE="${#LAST} + $2" truncate -s -"$TRUNCATE_SIZE" $1

    1 2 3 4 5 6 7 8

    if [ $# == 0 ];then      echo "USAGE:sh $0 filename is_there_newline"      exit 0 fi   LAST=$(tail -n 1 $1) let TRUNCATE_SIZE="${#LAST} + $2" truncate -s -"$TRUNCATE_SIZE" $1

12. 12

1. 清除无用内核及其对应的modules等文件

2. 修改grub参数

3. 添加仓库

4. 安装X11

4. foobar

1. 统计所有sheet的总列数

2. foobar

编程操作pdf文件

https://acrobatusers.com/actions-exchange

I want a gamma function and try to install Math::GammaFunction package in Perl but fail finally.
The last update of this package is 2007.1.
I can guess the grammar of this package is far from the current standard.
Finally I decide to use Python.

该系数（斯皮尔曼等级相关系数）是一种技术，能够被用于总结两个变量之间关系的强度和方向（负相关或正相关）。计算出来的数值在-1到1之间。

1. 计算该系数的方法：

• Create a table from your data.

• Rank the two data sets. Ranking is achieved by giving the ranking ‘1’ to the biggest number in a column, ‘2’ to the second biggest value and so on. The smallest value in the column will get the lowest ranking. This should be done for both sets of measurements.
• Tied scores are given the mean (average) rank. For example, the three tied scores of 1 euro in the example below are ranked fifth in order of price, but occupy three positions (fifth, sixth and seventh) in a ranking hierarchy of ten. The mean rank in this case is calculated as (5+6+7)/3 = 6.
• Find the difference in the ranks (d): This is the difference between the ranks of the two values on each row of the table. The rank of the second value (price) is subtracted from the rank of the first (distance from the museum).
• Square the differences (d²) To remove negative values and then sum them (d²).
• Calculate the coefficient (Rs) using the formula below. The answer will always be between 1.0 (a perfect positive correlation) and -1.0 (a perfect negative correlation).

Now to put all these values into the formula.

• Find the value of all the d² values by adding up all the values in the Difference column. In our example this is 285.5. Multiplying this by 6 gives 1713.
• Now for the bottom line of the equation. The value n is the number of sites at which you took measurements. This, in our example is 10. Substituting these values into n³ – n we get 1000 – 10
• We now have the formula: R_s = 1 – (1713/990) which gives a value for R_s:

1 – 1.73 = -0.73

2. 检验该关联的显著性

这里网页上直接提供了，计算好的各个显著性的r值，让我们用自己算出来的r值与之对比。没有提供计算方法。

维基百科（https://en.wikipedia.org/wiki/Spearman%27s_rank_correlation_coefficient#Determining_significance）提供了三种算法。

更多信息参考网页：https://geographyfieldwork.com/SpearmansRank.htm (谷歌搜索推荐位为1)

1. MACS2: https://github.com/taoliu/MACS
2.