〖wEiCH@°
nneverwei · 共 67 篇文章
HBase启动表卡在PENDING_OPEN的解决记录
小记。 启动时表卡在PENDING_OPEN的原因可能有很多。不同的原因解决方法不同。这里仅针对下列场景。 HBase0.94.1 公司有个孩子在某个环境上给一张表加了" COMPRESSION=>SNAPPY ", 抱歉的是这个环境上并没有SNAPPY.结果如何? HBase启动的时候其他表正常,但是这张表卡在 PENDING_OPEN 了。看日志,找不到SNAPPY库抛异常了。可是抛出了异常,HBase又会重试,就陷入死循环了.(这个是HBase的bug了,又可以给他们提个JIRA了吧。不过近期没有去关注他们的JIRA, 不知道更高版本的解决了没有)。 尝试处理: 重启 --------…
2012-11-27T19:20:36Z · HBase · 评论(0)
HBase region平均split的实现设计
原理相当简单。 就是根据region记录的1/2进行切分 。 过程: 指定要split的目的region, 获得region中的行数,算出中间值,根据regionName和这个中间值做split-point, 利用HBaseAdmin的split接口触发最终的split. 整个过程可能需要依赖几个东西: 1.region中有多少记录? 这个我不知道是否有更直接的方法获得。至少一个直观的方法就是可以利用endpoint对表做快速统计(也是我们目前的实现), 从目标region得到startRow和stopRow, 传入scan, 得到目标数据量。 2. 1/2点(中间点)对应的rowkey怎么…
2012-11-27T19:06:30Z · HBase · 评论(0)
PKI体系简易JAVA实现(二):AES对称加密
PKI体系中关键的一环是 消息体本身的加密传输 。消息的加密可以采用非对称加密和对称加密。 1.概念: 对称密钥加密:又叫 专用密钥加密**,即发送和接收数据的双方必使用相同的密钥对明文进行加密和解密运算。简单的说,就是同一个密钥即可以加密也可以用来解密。常见的算法如DES,AES** **非对称密钥加密:** 采用双钥密码系统的加密方法,在一个过程中使用两个密钥,一个用于加密,另一个用于解密,这种加密方法称为非对称加密,也称为公钥加密,因为其中一个密钥是公开的(另一个则需要保密)。常见算法如RSA 对称加密 速度快,安全性较低 非对称加密 速度较慢,安全性较高 2.为什么用对称加密消息正文…
PKI体系简易JAVA实现
初学者,这两日对CA认证,数字签名等想要稍微了解下,从网上查了不少资料,发现很多文章中对公钥密码加密和鉴别过程(PKI体系)的某个步骤提供了具体的JAVA实现,对我的学习和了解帮助很大, 但还缺少一个完整的例子。下面就是自己动手构建完整例子的过程,如有错误或概念上的误解请指明。 1.一般公钥密码加密和鉴别过程有以下步骤: 1.获取证书 2.计算欲发送的信息或文件 message 的消息摘要(比如用hash获取) 3.发送消息摘要给时间戳服务器TSA, 获得服务器时间签名的时间戳摘要 A 和时间戳 B 4.将有时间戳的消息摘要用发送方的私钥加密(这里使用非对称密钥),生成数字签名 5.发送方随…
2011-11-15T13:41:26Z · CA · PKI · 数字签名 · 对称\非对称密钥 · AES · RSA · 评论(0)
PKI体系简易JAVA实现(一):时间戳服务器TSA
1.时间戳服务器TSA的概念: 作为一个权威的、可信赖的、公正的第三方数字证书颁发机构,其时间戳服务就是将经过时间戳服务器签名的一个可信赖的日期和时间与特定电子数据绑定在一起,为服务器端和客户端应用提供可信的时间证明。 2.网上能看到的泛滥的时间戳工作示意图: 我之前找到的资料里都有这个图。这个图从概念上讲述了时间戳服务的流程。但是如果我们要从代码上模拟一个TSA出来,这个图并没有本质上的帮助。 3.网上能找到的另一个泛滥的"时间戳服务工作流程": 1.用户对文件数据进行Hash摘要处理 2.用户提出时间戳的请求,Hash值被传递给时间戳服务器 3.时间戳服务器对哈希值和一个日期/时间记录进…
2011-11-15T11:54:16Z · CA · PKI · 数字签名 · 对称\非对称密钥 · AES · RSA · 评论(1)
【基础】BASE64小知识
总是听到BASE64,其实对它并不了解。此文记录一些BASE64的基本概念。 1. BASE64是加密? 不,虽然有"加密"后不是明文,但逆编码的规则明确,所以“防君子不防小人”,只是没办法一眼看出内容罢了。它是一种"编码"。 2. BASE64的大概算法: 把3个8位字节(3*8=24)转化为4个6位的字节(4*6=24),之后在6位的前面补两个0,形成8位一个字节的形式。——所以编码后大概会多出1/3的长度 3. BASE64编码没有安全的加密效果,发明这个编码来使消息长度多出1/3,这不是画蛇添足么? 不是的。这得看BASE64的来源。在Email的传送过程中,由于历史原因,Email…
2011-11-14T11:04:06Z · 其他 · 评论(0)
JVM 垃圾回收机制与GC性能调优
一篇还不错的分析。网上可查到很多转载,原文系谁所作已不可考,现只能列出我看到的发布时间最早的链接: 转载自: http://dinghaoliang.blog.163.com/blog/static/12654071420098711273543/ 一、GC概要: JVM堆相关知识 为什么先说JVM堆? JVM的堆是Java对象的活动空间,程序中的类的对象从中分配空间,其存储着正在运行着的应用程序用到的所有对象。这些对象的建立方式就是那些new一类的操作,当对象无用后,是GC来负责这个无用的对象(地球人都知道)。 JVM堆 **(1) 新域:**存储所有新成生的对象 **(2) 旧域:**新…
2011-11-14T10:00:41Z · Java · 评论(0)
Scala排序简写及效率
下面2段代码基本来自《Scala By Example》一书 正常的写法:(scala写的,但逻辑与实现和传统的JAVA排序一致) def sort(xs: Array[Int]){ def swap(i:Int, j:Int){ val t = xs(i); xs(i) = xs(j); xs(j) = t } def sort1(l: Int, r: Int){ val pivot = xs((l + r)/2) var i = l; var j = r; while (i <= j){ while (xs(i) < pivot) i += 1 while (xs(j) > pivot)…
2011-11-11T11:16:01Z · scala · 评论(0)
JS全屏
JS全屏方法,此方法仅对IE有效: var wsh = new ActiveXObject( "WScript.Shell"); wsh.sendKeys("{F11}"); 还有对外部框架的全屏: if(window.top.header.style.display!='none'){ window.top.hidenHeader(); } window.top.footFrame.left.showWindow(false);
2011-11-01T16:12:49Z · javascript · 评论(0)
事务相关总结记录
查问题过程中,仅对一些东西做下记载。 在总体事务结束前: 1.getHibernateTemplate().saveOrUpdate(o)不会提交更改 2.select操作会引发之前所有的insert,update等的提交 3.hibernate回调中的delete,update,insert会提交本身做的更改,不会提交之前堆积下来的insert,update等
2011-09-21T16:35:08Z · Java · 数据库 · Spring · Hibernate · 评论(3)
Extjs更换grid
很基础的东西,在运行的时候更换grid的内容(grid结构,store的记录等) //延时5秒 (function(){ alert("pop out defer 5 seconds"); changeGrid(grid); }).defer(5000); var changeGrid = function(grid){ var index = new Ext.grid.RowNumberer(); var newColumnModel = new Ext.grid.ColumnModel([index, { header : "test once", width : 230, dataIn…
2011-08-10T23:39:28Z · Ext · 评论(0)
JAVA远程调试tomcat、WebSphere
习惯于直接在eclipse里对本地的tomcat进行部署和调试。偶然发现远程调试也相当有意思。 Java的远程调试不仅仅限制于tomcat,基本上所有的中间件都可以。但不论是哪种中间件,远程调试都可以 基于JPDA实现 。(JPDA是啥?问问谷哥)。 下面分tomat和WebSphere来分别记录如何进行eclipse的远程调试。 1. Tomcat (测试用的版本是7.0.2) 远程调试必然是你情我愿的。因此eclipse想调试远程的tomcat,tomcat肯定不能用一般的状态来启动。 本质上,需要为tomcat提供启动参数的配置: -Xrunjdwp:transport=dt_sock…
Ubuntu11.04Server64安装websphere mq 64位
环境: Ubuntu-11.04-Server-64位 IBM WebSphere MQ 7.0.1 64位 在linux上安装mq,其实步骤很简单,不外乎解压,认证,一个一个安装rpm,具体过程可参见 http://qtlkw.iteye.com/blog/744052 在网上能找到的关于ubuntu上装mq的教程也几乎和上面这篇一模一样。大家都很顺利的一步一步的执行下来并且安装。 然而到了我这里,在执行开始的mqlicence.sh认证的时候就抛出了2个异常。即使强制改了sh的脚本绕过认证异常,MQRuntime等的安装过程中也有些小异常,最后安装出来的mq无法使用。 我几乎用了2天的闲…
2011-07-18T15:07:36Z · Java · unix/linux · 评论(1)
websphere调整类加载顺序的真正效果
问题很小,但是也很容易忽略。正如之前反反复复在websphere里设置应用的类加载顺序的时候,从来没去想这个调整真正改变了什么。 1. java的类加载器: JAVA类加载器分为3层——引导加载器、扩展加载器、应用程序加载器,类加载遵循"父委托模式". 引导加载器(Bootstrap): 加载<JAVA_HOME>/jre/lib 下的vm.jar,core.jar等核心 扩展加载器(Extensions): 加载<JAVA_HOME>/jre/lib/ext 或者通过java.ext.dirs 这个系统属性指定的路径下的代码 应用程序加载器(Application): 加载java.cla…
2011-07-06T21:54:43Z · websphere · 评论(0)
操作Clob时抛出Blob may not be manipulated from creating session.
程序上需要将数据库Clob字段转换为String,传到前台显示。因此对Pojo添加了一个String型中间字段用于Clob的转换。 问题就出在这里,我们调用了**Hibernate.createClob(xxx)**将一个String转为Clob用于对象的保存。 但事实上,Hibernate.createClob创建出来的Clob对象与直接从数据库查询出来的Clob对象类型是不同的。 数据库查询出来的Clob与数据库驱动实现具体相关。而createClob返回的是ClobImpl(hibernate的实现)。 翻看ClobImpl的源码,发现hibernate对一些常用的方法,如getSub…
2011-05-03T17:03:31Z · Hibernate · 评论(0)