ITeye博客

雪山飞狐

雪山飞狐 · 共 35 篇文章

[置顶] Mapper输入InputSplit分片数透析

什么是InputSplit InputSplit是指分片,在MapReduce当中作业中,作为map task最小输入单位。分片是基于文件基础上出来的而来的概念,通俗的理解一个文件可以切分为多少个片段,每个片段包括了<文件名,开始位置,长度,位于哪些主机>等信息。map task的数量由输入文件总大小和分片大小确定的;hadoop2.2版本hdfs的数据块默认是128M。若一个文件大于128M,通过将大文件分解得到若干个数据块;若一个文件小于128M,则按它的实际大小组块存储; 因此可以解释为什么hdfs喜欢海量的大文件,而不喜欢海量的小文件: (1)海量的小文件需要namenode存储较多…

2014-09-26 00:30 · Hadoop · 评论(0)

[置顶] Oracle临时表空间使用过高及解决方案

一、Oracle临时表空间作用 在Oracle数据库进行排序、分组汇总、索引等动作时,会产生很多的临时数据,如有一张员工信息表,数据库中是按照记录建立的时间来保存的。如果用户查询是,使用Order BY排序语句指定按员工编号来排序,那么排序后产生的所有记录就是临时数据。通常情况下,Oracle会先将这些临时数据存放到内存的PGA(程序全局区)内。但是这个分区容量是有限的。当这个分区的大小不足以容纳排序后所产生的记录时,数据库系统就会将临时数据存放到临时表空间中。临时表空间消耗的主要原因是需要对查询的中间结果进行排序。临时表空间主要使用在以下几种情况: 1、order by or group …

2014-04-24 10:23 · Oracle · 评论(0)

GC原理及调优

本文介绍 GC 基础原理和理论,GC 调优方法思路和方法,基于 Hotspot jdk1.8,学习之后你将了解如何对生产系统出现的 GC 问题进行排查解决。 内容主要如下: GC 基础原理,涉及调优目标,GC 事件分类、JVM 内存分配策略、GC 日志分析等。 CMS 原理及调优。 GC 问题排查和解决思路。 GC 基础原理 GC 调优目标 大多数情况下对 Java 程序进行 GC 调优,主要关注两个目标: 响应速度(Responsiveness):响应速度指程序或系统对一个请求的响应有多迅速。 比如,用户订单查询响应时间,对响应速度要求很高的系统,较大的停顿时间是不可接受的。调优的重点是在…

2019-11-06 14:25 · java · 评论(0)

SSL错误解决方案

1.问题报告 前两天在客户现场环境的同学,在进行跟第三方业务联调的过程中出现了一个https调用的错误,具体报错信息为 javax.net.ssl.SSLException:Unrecognized SSL message,plaintext connection? 2.问题分析 这个错误意思是说,无法识别 SSL 信息,明文连接?看这个意思是说在使用 https 协议访问网络资源时无法识别 SSL 信息。但是在我们将程序发布客户现场前已经充分测试通过的,为什么在客户现场就会出现这个错误呢? SSL(Secure Socket Layer 安全套接层)是基于HTTPS下的一个协议加密层,最初…

2019-10-16 13:45 · 互联网应用 · 评论(0)

ibatis性能问题

最近在某个项目进行性能测试过程中发现ibatis一个比较严重的性能问题 dump下来的的线程发现大量线程处于BLOCKED状态,都在等待资源0x00000000928ede88,接口大多数为查询功能,按理不应该那么多的sql查询功能的线程处于clocked状态 同时进一步全文搜索被锁住的0x00000000928ede88资源,发现运行状态线程pool-4-thread-1629正在锁住资源0x00000000928ede88 为了分析产生该问题的原因,定位对应源代码发现锁住的资源为net.sf.cglib.core.AbstractClassGenerator$Source 进一步分析发现…

2019-08-20 21:00 · java · 评论(0)

Java-SPI机制

SPI 简介 SPI 全称为 (Service Provider Interface) ,是JDK内置的一种服务提供发现机制。 目前有不少框架用它来做服务的扩展发现, 简单来说,它就是一种动态替换发现的机制, 举个例子来说, 有个接口,想运行时动态的给它添加实现,你只需要添加一个实现, 通过一个简单例子来说明SPI是如何使用的。 首先通过一张图来看看,用SPI需要遵循哪些规范,因为spi毕竟是JDK的一种标准,目前Dubbo框架就基于SPI机制提供扩展功能。 SPI 实现 1、首先,创建spi接口类 我们首先创建spi接口类,如创建HelloInterface样例接口 package org…

2018-01-15 17:42 · java · 评论(0)

POI内存溢出分析及解决方案

在使用POI进行excel操作时,当数据量较大时经常会产生内存溢出异常。下面我们通过分析如何解决该问题 一、POI结构图 二、内存溢出问题 在项目中遇到二十万行数据要写入到excel中时会内存溢出,一般方法是调大tomcat的内存,但是调到2048M还是会内存溢出报错。因此我们分析其原因。我们通过分析其源码,得出其实现步骤为通过InputStream一行行读取到TreeMap类型的HSSFRow结构体中,因此当数据量大时就会造成内存溢出。 public HSSFWorkbook(DirectoryNode directory, boolean preserveNodes) throws IO…

2018-01-11 15:11 · java · 评论(0)

Java网络编程之流--readline()

早两天生产环境遇到这么一个问题,系统日终跑批任务失败,发现停止在远程读取ftp服务文件任务上,实在搞不定了后来回来让我帮忙分析,我经过分析源代码,发现原来是团队的小伙伴在远程网络连接中使用BufferedReader.readline()引起的。因此及时让团队小伙将业务调整为先从ftp下载文件,再在本地读取文件,避免在网络连接中使用BufferedReader.readline()。 BufferedReader.readline()方法有一个隐含的bug,它不一定会把一个回车看作行的结束。相反,readline()只识别换行或回车/换行对。当在流中检测到回车时,readline()会在继续…

2017-09-06 19:42 · 互联网应用 · 评论(0)

清算与结算

清分 Clearing 对交易数据依据机构和交易类型进行分类汇总,并计算结算金额的过程。 清算 Settlement 指根据清分结果对交易数据进行净额轧差和提交并完成资金划拨的全过程。 结算 Settlement of Accounts 指完成客户账户间资金划拨的全过程。 清算主要是指不同银行间的货币收付,可以认为是结算进行之前,发起行和接收行对支付指令的发送、接收、核对确认,其结果是全面交换结算工具和支付信息,并建立最终结算头寸。 结算是指将清算过程产生的待结算头寸分别在发起行、接收行进行相应的会计处理,完成资金转移,并通知收付双方的过程。当前,大多数银行结算业务的完成主要通过两类账户:一…

2017-04-05 21:12 · 金融知识 · 评论(0)

银行等额本息还款算法

等额本息算法公式 每月还款额=[贷款本金×月利率×(1+月利率)^还款月数]÷[(1+月利率)^还款月数-1] /** * 说明:等额本息还款算法 * * @author ljf <liangjf@hundsun.com> * @date 2017-2-6 下午4:28:55 * @version V1.2 */ public class PrincipalAndInterestEquals { /** * @param args */ public static void main(String[] args) { BigDecimal invest = new BigDecimal(13…

2017-04-05 21:12 · java · 评论(0)

贷款四级分类/五级分类

四级分类 正常 正常还款的贷款 逾期 逾期贷款是指逾期未还的贷款,只要超过一天即为逾期 呆滞 呆滞是指逾期两年或虽未满两年但经营停止、项目下马的贷款 呆账 呆账是指按照财政部有关规定确定已无法收回,需要冲销呆帐准备金的贷款 五级分类 正常贷款 借款人能够履行合同,一直能正常还本付息,不存在任何影响贷款本息及时全额偿还的消极因素,银行对借款人按时足额偿还贷款本息有充分把握。贷款损失的概率为0 关注贷款 尽管借款人目前有能力偿还贷款本息,但存在一些可能对偿还产生不利影响的因素,如这些因素继续下去,借款人的偿还能力受到影响,贷款损失的概率不会超过5% 次级贷款 借款人的还款能力出现明显问题,完全依…

2017-04-05 21:07 · 金融知识 · 评论(0)

java笔试题

前段时间我去某知名的医疗领域互联网公司面试架构师,殊不知某司在面试架构师级别人才时也需要做笔试题目 因毫无准备当时我一下子有些懵掉了。结果可想而知,本次面试情况不理想。在此整理一下将题目记录一下。 题目与结果 public class Main implements Comparable<Main> { private int _id; private int _sort; public Main(int id, int sort) { this._id = id; this._sort = sort; } public boolean equals(Object obj) { if (th…

2017-03-15 18:08 · java · 评论(0)

WEB系统安全检测及修复办法

系统安全检测及修复办法 漏洞介绍 SSL/TLS Suffers ‘Bar Mitzvah Attack’漏洞是由于https传输数据加密使用RC4加密算法,存在大约64个字节的明文数据会留给攻击者,存在的安全漏洞较高,主要是由于Web容器开启了SSL/TLS访问方式,并未屏蔽RC4加密算法的。 漏洞检测办法 查看网站是否为脆弱的RC4弱密钥攻击,你可以使用openSSL命令 openssl s_client -connect adobe.com:443 -cipher RC4 如果看到连接握手成功,可以看到证书信息则说明存在该风险漏洞,如果你看到” alert handshake fail…

2015-04-28 20:13 · 安全 · 评论(0)

Git常用命令

备份一张GIT常用命令图,以备查看

2015-04-26 22:43 · java · 评论(0)

Java守护线程学习总结

在Java中有两类线程:User Thread(用户线程)、Daemon Thread(守护线程) 用个比较通俗的比如,任何一个守护线程都是整个JVM中所有非守护线程的保姆: 只要当前JVM实例中尚存在任何一个非守护线程没有结束,守护线程就全部工作;只有当最后一个非守护线程结束时,守护线程随着JVM一同结束工作。 Daemon的作用是为其他线程的运行提供便利服务,守护线程最典型的应用就是 GC (垃圾回收器),它就是一个很称职的守护者。 User和Daemon两者几乎没有区别,唯一的不同之处就在于虚拟机的离开:如果 User Thread已经全部退出运行了,只剩下Daemon Thread存…

2014-12-03 18:20 · java · 评论(0)