티스토리 방명록

댓글쓰기 폼
  • 프로필사진 일 상 생 활 관리자의 승인을 기다리고 있는 댓글입니다 2017.06.15 17:49
  • 프로필사진 Dalton 안녕하세요! 인덕대학교에서 하둡과 sql on hadoop 특강을 들었던 15학번 김학주라고 합니다. 여쭙고 싶은게 있는데 약간 말로 하기엔 제 생각이 잘못 전해질까봐 이렇게 글로 남깁니다. 우선 특강에서 좋은 설명 감사드리고 이해가 쏙쏙 됬는데 HDFS 그러니까 하둡 분산 파일 시스템? 그부분에서 64mb로 파일을 나누어 여러 데이터 노드에 복제 한다 하셨는데 만약 파일의 용량이 적을경우엔 오히려 데이터 노드라는게 손해이지 않을까 생각되어 하둡이 어떻게 처리하는지 궁금해져서 방명록에 남기겠습니다.
    제가 어떻게 말하기에 따라 쓸데없이 공격적인 언사로 들릴수 있을까 생각되어 방명록에 남기겠습니다!
    2015.05.18 20:07 신고
  • 프로필사진 blrunner 방명록을 이제 봤네요. ^^;; 64MB보다 작은 파일을 업로드하더라도, 물리적으로 실제 64MB를 쓰는건 아닙니다. 실제 파일 사이즈에 맞게 파일을 저장한다고 보면 됩니다. 예를 들어 10MB 파일을 하둡에 업로드했다면, 세대의 데이터노드에 10MB씩 저장했다고 이해하시면 됩니다.

    하지만 하둡은 파일과 디렉토리 정보를 메모리에 유지하고, 하둡에 저장할 수 있는 파일 개수가 메모리 사이즈에 제한을 받게됩니다. 그러다보니 작은 파일을 많이 만들게 되면, 그만큼 사용 가능한 파일 개수도 줄어들게 되고, 네임노드에서 불필요한 관리 비용이 들어가게 될 것입니다. 그래서 가능한 작은 파일은 쓰지 않는게 좋습니다.
    2015.08.28 13:53 신고
  • 프로필사진 허성오 안녕하세요!! 여쩌보고 싶어서 이렇게 글을 남깁니다.

    지난번에는 wordcount까지 돌려본 컴퓨터인데, 오늘 다시 시작하니 namenode와 datanode가 실행되지 않습니다.(jps확인시)
    그래서 로그를 확인해보니 datanode는 아무내용이 없고 namenode에서는 '상대편이 연결을 끊음' 이라는 에러가 발생했습니다.

    구글링을 해봐서 /tmp에 있는 data를 지우고 다시 format하거나 아예 tmp말고 경로를 변경한다음에 해도 결과는 마찬가지입니다. 혹시 이 증상을 해결방안을 알고 계시면 답변 부탁드립니다!
    2014.08.13 23:08 신고
  • 프로필사진 blrunner 안녕하세요~ 혹시 여러 대의 서버에 하둡을 설치하셨다면, 각 서버의 호스트 파일이 동일한 지 확인해보세요~ 2015.02.10 10:53 신고
  • 프로필사진 비밀댓글입니다 2013.11.25 04:41
  • 프로필사진 blrunner 독자분이셨군요. 구매 감사드리고요. 다른 계정으로 하둡이 실행되지 않는 이유는, 이미 실행되어 있는 하둡이 하둡의 기본 포트를 사용하고 있기 때문입니다. 두번째 실행되는 하둡의 hdfs-site.xml와 mapred-site.xml에 포트를 수정해서 등록해주셔야 하고요.

    기본 포트는 하둡 홈 디렉토리의 src/hdfs/hdfs-default.xml, src/mapred/mapred-default.xml에 있는 포트 정보를 확인하실 수 있고요.

    해당 default.xml 파일에서 address 혹은 port라고 되어 있는 property를 site.xml에 포트를 바꿔서 적어주시면 됩니다.
    2013.11.25 13:15 신고
  • 프로필사진 초짜 프로그래머 안녕하세요
    컴퓨터 프로그래밍 전공으로하고 있고 얼마전부터 클라우드 컴퓨팅에 흥미를 느껴서 인터넷으로 관련된것을 찾다가

    여기까지 오게 되었습니다. 질문이 있는대...

    하둡과 모바일 클라우딩은 어떤 식으로 관계가 있고 활용이 가능할까요 ?
    2013.05.04 14:30 신고
  • 프로필사진 비밀댓글입니다 2012.08.14 15:25