杭州PostgreSQL用户交流召集

 其他内容  1 Response »
十 102011
 

帮公司同事做个广告。。。
杭州, 2011年10月29日, PostgreSQL 用户交流
时 间: 2011年10月29日 周六
地 点: 杭州市紫荆花路2号联合大厦B座11楼, (西溪国家湿地公园附近)
费 用: AA (估计50-80元)
报名方式: digoal@126.com (邮件内容请注明公司,姓名,职位,联系方式)
联 系 人: Digoal.Zhou, QQ:276732431
主 题:
杭州及附近地区PostgreSQL用户互相认识交流的首次聚会, 彼此交流各自PG的使用情况, 促进PostgreSQL技术社区在中国地区的发展.
活动流程:
13:00 - 13:30 签到
13:30 - 14:00 开场, 自我介绍环节
14:00 - 14:55 PostgreSQL使用经验分享
15:00 - 15:55 PostgreSQL 9.1体验 (Digoal.Zhou)
16:00 - 16:55 预留主题, 有兴趣分享PostgreSQL相关主题的朋友请与我联系
17:00 - 17:45 预留主题, 有兴趣分享PostgreSQL相关主题的朋友请与我联系
17:45 - 18:00 拍照留念
18:00 - 20:00 用餐 及 自由交流
用餐地点:
联合大厦B座2楼外婆家

http://wiki.postgresql.org/wiki/PG_Events_in_China

 Posted by 三少（David.Guo） at 11:13 上午

hadoop安装后的测试

 Hadoop  No Responses »
九 262011
 

hadoop安装完成后，需要对hadoop进行一些安装后的测试，证明hadoop确实安装成功。以下内容记录一些hadoop的安装后的基本测试：

1：format namenode

安装完成后，用如下命令进行namenode的format

 [root@master dfs]# hadoop namenode -format
 DEPRECATED: Use of this script to execute hdfs command is deprecated.
 Instead use the hdfs command for it.
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = master.localdomain/172.16.3.217
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 0.21.0
STARTUP_MSG: classpath = /root/jz/hadoop-0.21.0/bin/../conf:/usr/java/jdk1.6.0_27/lib/tools.jar:/root/jz/hadoop-0.21.0/bin/..:/root/jz/hadoop-0.21.0/bin/../hadoop-common-0.21.0.jar:/root/jz/hadoop-0.21.0/bin/../hadoop-common-test-0.21.0.jar:/root/jz/hadoop-0.21.0/bin/../hadoop-hdfs-0.21.0.jar:/root/jz/hadoop-0.21.0/bin/../hadoop-hdfs-0.21.0-sources.jar:/root/jz/hadoop-0.21.0/bin/../hadoop-hdfs-ant-0.21.0.jar:/root/jz/hadoop-0.21.0/bin/../hadoop-hdfs-test-0.21.0.jar:/root/jz/hadoop-0.21.0/bin/../hadoop-hdfs-test-0.21.0-sources.jar:/root/jz/hadoop-0.21.0/bin/../hadoop-mapred-0.21.0.jar:/root/jz/hadoop-0.21.0/bin/../hadoop-mapred-0.21.0-sources.jar:/root/jz/hadoop-0.21.0/bin/../hadoop-mapred-examples-0.21.0.jar:/root/jz/hadoop-0.21.0/bin/../hadoop-mapred-test-0.21.0.jar:/root/jz/hadoop-0.21.0/bin/../hadoop-mapred-tools-0.21.0.jar:/root/jz/hadoop-0.21.0/bin/../lib/ant-1.6.5.jar:/root/jz/hadoop-0.21.0/bin/../lib/asm-3.2.jar:/root/jz/hadoop-0.21.0/bin/../lib/aspectjrt-1.6.5.jar:/root/jz/hadoop-0.21.0/bin/../lib/aspectjtools-1.6.5.jar:/root/jz/hadoop-0.21.0/bin/../lib/avro-1.3.2.jar:/root/jz/hadoop-0.21.0/bin/../lib/commons-cli-1.2.jar:/root/jz/hadoop-0.21.0/bin/../lib/commons-codec-1.4.jar:/root/jz/hadoop-0.21.0/bin/../lib/commons-el-1.0.jar:/root/jz/hadoop-0.21.0/bin/../lib/commons-httpclient-3.1.jar:/root/jz/hadoop-0.21.0/bin/../lib/commons-lang-2.5.jar:/root/jz/hadoop-0.21.0/bin/../lib/commons-logging-1.1.1.jar:/root/jz/hadoop-0.21.0/bin/../lib/commons-logging-api-1.1.jar:/root/jz/hadoop-0.21.0/bin/../lib/commons-net-1.4.1.jar:/root/jz/hadoop-0.21.0/bin/../lib/core-3.1.1.jar:/root/jz/hadoop-0.21.0/bin/../lib/ftplet-api-1.0.0.jar:/root/jz/hadoop-0.21.0/bin/../lib/ftpserver-core-1.0.0.jar:/root/jz/hadoop-0.21.0/bin/../lib/ftpserver-deprecated-1.0.0-M2.jar:/root/jz/hadoop-0.21.0/bin/../lib/hsqldb-1.8.0.10.jar:/root/jz/hadoop-0.21.0/bin/../lib/jackson-core-asl-1.4.2.jar:/root/jz/hadoop-0.21.0/bin/../lib/jackson-mapper-asl-1.4.2.jar:/root/jz/hadoop-0.21.0/bin/../lib/jasper-compiler-5.5.12.jar:/root/jz/hadoop-0.21.0/bin/../lib/jasper-runtime-5.5.12.jar:/root/jz/hadoop-0.21.0/bin/../lib/jdiff-1.0.9.jar:/root/jz/hadoop-0.21.0/bin/../lib/jets3t-0.7.1.jar:/root/jz/hadoop-0.21.0/bin/../lib/jetty-6.1.14.jar:/root/jz/hadoop-0.21.0/bin/../lib/jetty-util-6.1.14.jar:/root/jz/hadoop-0.21.0/bin/../lib/jsp-2.1-6.1.14.jar:/root/jz/hadoop-0.21.0/bin/../lib/jsp-api-2.1-6.1.14.jar:/root/jz/hadoop-0.21.0/bin/../lib/junit-4.8.1.jar:/root/jz/hadoop-0.21.0/bin/../lib/kfs-0.3.jar:/root/jz/hadoop-0.21.0/bin/../lib/log4j-1.2.15.jar:/root/jz/hadoop-0.21.0/bin/../lib/mina-core-2.0.0-M5.jar:/root/jz/hadoop-0.21.0/bin/../lib/mockito-all-1.8.2.jar:/root/jz/hadoop-0.21.0/bin/../lib/oro-2.0.8.jar:/root/jz/hadoop-0.21.0/bin/../lib/paranamer-2.2.jar:/root/jz/hadoop-0.21.0/bin/../lib/paranamer-ant-2.2.jar:/root/jz/hadoop-0.21.0/bin/../lib/paranamer-generator-2.2.jar:/root/jz/hadoop-0.21.0/bin/../lib/qdox-1.10.1.jar:/root/jz/hadoop-0.21.0/bin/../lib/servlet-api-2.5-6.1.14.jar:/root/jz/hadoop-0.21.0/bin/../lib/slf4j-api-1.5.11.jar:/root/jz/hadoop-0.21.0/bin/../lib/slf4j-log4j12-1.5.11.jar:/root/jz/hadoop-0.21.0/bin/../lib/xmlenc-0.52.jar:/root/jz/hadoop-0.21.0/bin/../lib/jsp-2.1/*.jar:/root/jz/hadoop-0.21.0/hdfs/bin/../conf:/root/jz/hadoop-0.21.0/hdfs/bin/../hadoop-hdfs-*.jar:/root/jz/hadoop-0.21.0/hdfs/bin/../lib/*.jar:/root/jz/hadoop-0.21.0/bin/../mapred/conf:/root/jz/hadoop-0.21.0/bin/../mapred/hadoop-mapred-*.jar:/root/jz/hadoop-0.21.0/bin/../mapred/lib/*.jar:/root/jz/hadoop-0.21.0/hdfs/bin/../hadoop-hdfs-*.jar:/root/jz/hadoop-0.21.0/hdfs/bin/../lib/*.jar
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.21 -r 985326; compiled by ‘tomwhite’ on Tue Aug 17 01:02:28 EDT 2010
************************************************************/
11/09/26 14:12:29 INFO namenode.FSNamesystem: defaultReplication = 3
11/09/26 14:12:29 INFO namenode.FSNamesystem: maxReplication = 512
11/09/26 14:12:29 INFO namenode.FSNamesystem: minReplication = 1
11/09/26 14:12:29 INFO namenode.FSNamesystem: maxReplicationStreams = 2
11/09/26 14:12:29 INFO namenode.FSNamesystem: shouldCheckForEnoughRacks = false
11/09/26 14:12:29 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/09/26 14:12:29 INFO namenode.FSNamesystem: fsOwner=root
11/09/26 14:12:29 INFO namenode.FSNamesystem: supergroup=supergroup
11/09/26 14:12:29 INFO namenode.FSNamesystem: isPermissionEnabled=true
11/09/26 14:12:29 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
11/09/26 14:12:30 INFO common.Storage: Image file of size 110 saved in 0 seconds.
11/09/26 14:12:30 INFO common.Storage: Storage directory /hadoopdata/dfs/name has been successfully formatted.
11/09/26 14:12:30 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at master.localdomain/172.16.3.217
************************************************************/
2:检查格式化好后的文件系统的状态：
Continue reading »

 Posted by 三少（David.Guo） at 2:50 下午

HADOOP安装

 Hadoop  No Responses »
九 222011
 

最近有时间看看hadoop的一些东西，而且在测试的环境上做了一些搭建的工作。仅记录之；
首先，安装前需要做一些准备工作。
1：准备三台虚拟机。使用一台pcserver作为测试服务器，同时使用Oracle VM VirtualBox来作为虚拟机的服务器。
新建了三个虚拟机以后，安装linux，我安装的linux的版本是redhat linux 5.4 x64版本。安装完成以后，
设置其中的ip地址，master服务器为：172.16.3.217；slave01为172.16.3.218；slave02为172.16.3.219；
2：给虚拟机安装java环境，由于hadoop推荐使用java的1.6版本。而实际上redhat 5.4自带的为1.4.2，
因此要先删除，然后再安装心的版本；java 1.6的版本到java的官方网站下载即可。下载到java的安装包以后。
首先删除系统自带的java 1.4.2；
在root用户下执行：
rpm -qa|grep gcj
能看到回显的结果中有类似：
java-1.4.2-gcj-compat-1.4.2.0-40jpp.115这样的内容
然后
rpm -e java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
这个有可能无法执行成功，提示有依赖关系，这个时候，加上–nodeps再执行，就能成功了；
然后安装jdk 1.6，方法如下：
执行下载下来的bin文件：
./jdk-6u27-linux-x64-rpm.bin
然后安装生成的rpm文件：
rpm -ivh jdk-6u27-linux-amd64.rpm
等到安装完成以后，检查java安装的情况
java -version
一般会得到类似如下的信息：
java version “1.6.0_27″
Java(TM) SE Runtime Environment (build 1.6.0_27-b07)
Java HotSpot(TM) 64-Bit Server VM (build 20.2-b06, mixed mode)
安装完成以后，需要修改系统的文件让java的路径输出给所有的用户，一般修改的是/etc/profile,在这个文件中增加如下的内容：
export JAVA_HOME=/usr/java/jdk1.6.0_27
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE INPUTRC
export HADOOP_HOME=/root/jz/hadoop-0.21.0
export PATH=$HADOOP_HOME/bin:$PATH
在三个机器上都安装好java以后，可以继续下面的操作了；
3：在hadoop的官方网站 http://www.apache.org/dist/hadoop/common/hadoop-0.21.0/
下载文件hadoop-0.21.0.tar.gz 这个文件是hadoop 0.21.0版本的安装文件了。下载下来以后，
在master机器上的/root下新建一个jz目录，将hadoop的文件拷贝到这个目录下；
4：配置master到slave01和slave02的互信；
在master上执行：
ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
执行完成以后，会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对出现，
类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
这个时候，如果你执行
ssh localhost
应该是不需要密码的。这表明你对本机的ssh互信成功。现在需要把这个文件拷贝给slave01和slave02
以下的操作需要对两个slave机器都做一次。以slave01为例：
scp id_dsa.pub root@172.16.3.218:/root/
然后到slave01上执行：
cat id_dsa.pub >> .ssh/authorized_keys
现在从master上直接ssh登陆slave01应该无需密码的，如果还是需要密码，要确保互信成功才能继续下面的操作；
5：修改master机器上的hosts文件为如下内容：
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
172.16.3.217 master master.localdomain
172.16.3.218 slave01 slave01.localdomain
172.16.3.219 slave02 slave02.localdomain
6：将下载的hadoop文件解压：
tar -xvf hadoop-0.21.0.tar
7：修改hadoop的配置
修改/root/jz/hadoop-0.21.0/conf/目录下的master文件，内容如下：
172.16.3.217
修改/root/jz/hadoop-0.21.0/conf/目录下的slaves文件，内容如下：
172.16.3.218
172.16.3.219
修改/root/jz/hadoop-0.21.0/conf/hadoop-env.sh文件的环境变量：
# The java implementation to use. Required.
export JAVA_HOME=/usr/java/jdk1.6.0_20
修改/root/jz/hadoop-0.21.0/conf/core-site.xml配置文件，内容如下：
< ?xml version=”1.0″?>
< ?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>
<!– Put site-specific property overrides in this file. –>
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoopdata</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
<description>The name of the default file system. A URI whose
scheme and authority determine the FileSystem implementation. The
uri’s scheme determines the config property (fs.SCHEME.impl) naming
the FileSystem implementation class. The uri’s authority is used to
determine the host, port, etc. for a filesystem.</description>
</property>
<property>
<name>dfs.hosts.exclude</name>
<value>excludes</value>
</property>
</configuration>
修改/root/jz/hadoop-0.21.0/conf/hdfs-site.xml配置文件，内容如下：
< ?xml version=”1.0″?>
< ?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>
<!– Put site-specific property overrides in this file. –>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
修改/root/jz/hadoop-0.21.0/conf/mapred-site.xml配置文件，内容如下：
< ?xml version=”1.0″?>
< ?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>
<!– Put site-specific property overrides in this file. –>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
<description>The host and port that the MapReduce job tracker runs
at. If “local”, then jobs are run in-process as a single map
and reduce task.
</description>
</property>
</configuration>
8:将/root/jz/hadoop-0.21.0整个目录拷贝到slave01和slave02上；将/etc/profile拷贝到slave01和slave02上；
将/etc/hosts拷贝到slave01和slave02上；
9：启动和关闭hadoop
启动hadoop：
sh /root/jz/hadoop-0.20.2/bin/start-all.sh
关闭hadoop：
sh /root/jz/hadoop-0.20.2/bin/start-all.sh
如果都成功，则安装hadoop成功。
—未完待续—

 Posted by 三少（David.Guo） at 2:51 下午

oracle 10g load超高 调整hugepage 遭遇ora-29702

 Oracle  1 Response »
八 032011
 

昨天晚上正在家看书，收到应用电话，某个业务的在线用户直线下跌，10分钟跌去了25%，第一反应是数据库有问题了，电话给负责这个数据库的兄弟，说是监控已经有告警，但是他当时不方便处理，那么，我来。

vpn登陆数据库，居然半天都连接不上主机，严重怀疑我家那个破铁通的网络，不过登陆2号节点没问题，还是比较快的。这个时候基本可以判断数据库出问题了；

等到漫长的登陆到数据库以后，发现数据库的load已经超过200，同时，swap使用超过了50%；这是一个由两个36G内存的服务器组建的oracle 10.2.0.4的RAC。

首先分析内存，确实free的只有180MB了，swap使用靠近8GB，系统的负载150左右。然后看看IO，本来这套系统的IO不咋地，以为是IO的问题，不过发现IO并不象想象中的那么高。首要问题还是内存。
这个机器有36GB内存，SGA给了17GB，当时的连接数，1300左右，根本不算高，内存却消耗殆尽。问题的原因，看起来是内存耗尽引起load高，但是内存又去那里了？

继续分析下去，cat /proc/meminfo 发现，这个系统的page tables使用接近10GB，而且，没有启用huge page。晚上没有机会去重启那个系统，只能等到今天白天了。

白天，我们修改好hugepage的使用，设置了vm.nr_hugepages 然后，尝试重启1号节点，先只重启一个节点，这基本上是我们干RAC数据库的时候的基本流程了，都养成习惯了。

重启以后，发现1号节点起不来。数据库直接给我一个错误：
Wed Aug 3 11:23:48 2011
Error: KGXGN polling error (15)
Wed Aug 3 11:23:48 2011
Errors in file /opt/oracle/admin/skycac/bdump/skycac1_lmon_19132.trc:
ORA-29702: error occurred in Cluster Group Service operation
LMON: terminating instance due to error 29702
这个错误有点意思，说是我们的Cluster可能有问题。

说实话，以前没碰到过这个错误，首先，我怀疑的是我的CRS有问题，看我的CRS status，显示的没什么异常。metalink了下，基本上，也没有太有用的信息。

然后，分析ocssd.log，看到如下信息：

  • [ CSSD]2011-08-03 10:25:42.298 >USER: Copyright 2011, Oracle version 10.2.0.4.0
  • [ clsdmt]Listening to (ADDRESS=(PROTOCOL=ipc)(KEY=db-192-168-173-98-skycacDBG_CSSD))
  • [ CSSD]2011-08-03 10:25:42.298 >USER: CSS daemon log for node db-192-168-173-98-skycac, number 1, in cluster crs_skycac_sd
  • [ CSSD]2011-08-03 10:25:42.311 [1779740768] >TRACE: clssscmain: local-only set to false
  • [ CSSD]2011-08-03 10:25:42.324 [1779740768] >TRACE: clssnmReadNodeInfo: added node 1 (db-192-168-173-98-skycac) to cluster
  • [ CSSD]2011-08-03 10:25:42.334 [1779740768] >TRACE: clssnmReadNodeInfo: added node 2 (db-192-168-173-99-skycac) to cluster
  • [ CSSD]2011-08-03 10:25:42.342 [1137916224] >TRACE: clssnm_skgxninit: Compatible vendor clusterware not in use
  • [ CSSD]2011-08-03 10:25:42.342 [1137916224] >TRACE: clssnm_skgxnmon: skgxn init failed
  • [ CSSD]2011-08-03 10:25:42.347 [1779740768] >TRACE: clssnmNMInitialize: misscount set to (60)
  • [ CSSD]2011-08-03 10:25:42.348 [1779740768] >TRACE: clssnmNMInitialize: Network heartbeat thresholds are: impending reconfig 30000 ms, reconfig start (misscount) 60000 ms
  • [ CSSD]2011-08-03 10:25:42.356 [1779740768] >TRACE: clssnmDiskStateChange: state from 1 to 2 disk (0//dev/raw/raw1)
  • [ CSSD]2011-08-03 10:25:42.356 [1137916224] >TRACE: clssnmvDPT: spawned for disk 0 (/dev/raw/raw1)
  • [ CSSD]2011-08-03 10:25:42.360 [1779740768] >TRACE: clssnmDiskStateChange: state from 1 to 2 disk (1//dev/raw/raw43)
  • [ CSSD]2011-08-03 10:25:42.363 [1148406080] >TRACE: clssnmvDPT: spawned for disk 1 (/dev/raw/raw43)
  • [ CSSD]2011-08-03 10:25:42.366 [1779740768] >TRACE: clssnmDiskStateChange: state from 1 to 2 disk (2//dev/raw/raw85)
  • [ CSSD]2011-08-03 10:25:42.370 [1086122304] >TRACE: clssnmvDPT: spawned for disk 2 (/dev/raw/raw85)
  • [ CSSD]2011-08-03 10:25:44.373 [1086122304] >TRACE: clssnmDiskStateChange: state from 2 to 4 disk (2//dev/raw/raw85)
  • [ CSSD]2011-08-03 10:25:44.376 [1158895936] >TRACE: clssnmvKillBlockThread: spawned for disk 2 (/dev/raw/raw85) initial sleep interval (1000)ms
  • [ CSSD]2011-08-03 10:25:44.378 [1086122304] >TRACE: clssnmReadDskHeartbeat: node(2) is down. rcfg(18) wrtcnt(1609409) LATS(4294194160) Disk lastSeqNo(1609409)
  • [ CSSD]2011-08-03 10:25:44.432 [1148406080] >TRACE: clssnmDiskStateChange: state from 2 to 4 disk (1//dev/raw/raw43)
  • [ CSSD]2011-08-03 10:25:44.432 [1137916224] >TRACE: clssnmDiskStateChange: state from 2 to 4 disk (0//dev/raw/raw1)
  • [ CSSD]2011-08-03 10:25:44.441 [1169385792] >TRACE: clssnmvKillBlockThread: spawned for disk 1 (/dev/raw/raw43) initial sleep interval (1000)ms
  • [ CSSD]2011-08-03 10:25:44.442 [1779740768] >TRACE: clssnmFatalInit: fatal mode enabled
  • [ CSSD]2011-08-03 10:25:44.442 [1179875648] >TRACE: clssnmvKillBlockThread: spawned for disk 0 (/dev/raw/raw1) initial sleep interval (1000)ms
  • [ CSSD]2011-08-03 10:25:44.445 [1137916224] >TRACE: clssnmReadDskHeartbeat: node(2) is down. rcfg(18) wrtcnt(1609409) LATS(4294194230) Disk lastSeqNo(1609409)
  • [ CSSD]2011-08-03 10:25:44.453 [1148406080] >TRACE: clssnmReadDskHeartbeat: node(2) is down. rcfg(18) wrtcnt(1609409) LATS(4294194240) Disk lastSeqNo(1609409)
  • [ CSSD]2011-08-03 10:25:44.453 [1200855360] >TRACE: clssnmClusterListener: Listening on (ADDRESS=(PROTOCOL=tcp)(HOST=db-192-168-173-98-skycac-priv)(PORT=49895))

信息有点多，看起来也很奇怪，仔细看下的时候，发现其中有一行有意思（被我加粗的那行），cssd进程认为节点2宕机。
前面提到过，我检查过CRS的状态，CRS报告说，2号节点正常，该online的都online了。这个信息明显不对，有一个哥们谎报了。
这个时候，登陆到2号节点检查CRS，状态依然是正常的。登陆下sqlplus，我想看看2号节点的数据库发生了什么。居然给我hang了。
这个时候，再去检查下2号节点的alert log，发现其中出现了一段很有意思的信息：

  • Wed Aug 3 09:48:13 2011
  • Errors in file /opt/oracle/admin/skycac/udump/skycac2_ora_7662.trc:
  • ORA-07445: exception encountered: core dump [kcbzib()+447] [SIGSEGV] [Address not mapped to object] [0x7FFF53865650] [] []
  • Wed Aug 3 09:48:14 2011
  • Trace dumping is performing id=[cdmp_20110803094814]
  • Wed Aug 3 09:48:28 2011
  • Process startup failed, error stack:
  • Wed Aug 3 09:48:28 2011
  • Errors in file /opt/oracle/admin/skycac/bdump/skycac2_psp0_15392.trc:
  • ORA-27300: OS system dependent operation:fork failed with status: 12
  • ORA-27301: OS failure message: Cannot allocate memory
  • ORA-27302: failure occurred at: skgpspawn3
  • Wed Aug 3 09:48:28 2011
  • Errors in file /opt/oracle/admin/skycac/udump/skycac2_ora_8035.trc:
  • ORA-07445: exception encountered: core dump [kcbgcur()+22] [SIGSEGV] [Address not mapped to object] [0x7FFF7E3E1FF0] [] []

这个信息说，2号节点的instance出现过7445错误，而出现错误的时间，刚好是1号节点重启的时间。
现在，我可以大胆推测问题的原因了：
1：应用通知说，应用都停了，可以重启数据库了；
2：DBA开始关闭1号节点的instance，但是这个时候数据库连接没有释放完成，1号节点关闭，导致大量的连接漂向2号节点；
3：2号节点受不了如此高的负载，instance hang了。
4：CRS检查2号节点正常；
5：1号节点的CSSD启动的时候，发现2号down了；
6：1号节点的instance重启的时候，认为Cluster异常。

对了，最后的处理方式，这个要说明下，最后怎么解决的：
关闭2号节点的instance，hang住了；关闭2号节点的CRS，hang住了；reboot 2号节点；等到两个节点都重启以后，重新启动HA，CRS，收工。

 Posted by 三少（David.Guo） at 7:10 上午

我的翻墙经历

 Oracle  13 Responses »
二 222011
 

随着最近的GFW越来越厉害，很多国外的技术网站有时候都打不开，打不开的直接后果是，我的技术水平下降一个层次都不止。因此，就试试翻墙了。
首先，要做的事情是，去购买一个ssh帐号，我买了一个，80RMB一年，价格还算能接受，少喝一次酒就足够用好几年的了。
然后要做的，是下载一个MyEnTunnel，这个软件是用来设置连接ssh服务器的。
设置的方法大致就是下面的图了。

然后启动这玩意。

然后，我用的浏览器是google的chrome，要在这个里面下载一个插件switchy！
然后设置它，设置也很简单，下面的设置就够了

然后再设置下：

然后，就感觉不到有啥问题了，

 Posted by 三少（David.Guo） at 8:07 上午
 Older Entries
© 2011 OracleDBA Blog---三少个人自留地 Suffusion theme by Sayontan Sinha