goodgene's Blog
goodgene

WebSite Mirroring Method - 웹사이트 미러링 방법

w/ Tech Geeks 2009/01/22 22:47 by goodgene


웹사이트를 미러링하기 위한 가장 기본적인 툴은 wget 입니다.
그런데 naver, gmarket, 11st 등의 웹사이트를 로컬에 저장할 목적으로 wget을 이용시 잘 안되더라구요. 이건 매뉴얼을 잘 안보는 본인의 탓일 수도 있지만 보통 추천하는 다음의 명령어도 제대로 수행되지 않았지요.

'wget' is a basic tool to mirror a web site and I usually have used it.
 But I failed to mirror web sites like naver, gmarkget, 11st to save pages as local cache. Maybe the reason of failure is my wrong use but the command that 'man page' gives won't work well.
wget -m -k -K -E -l 2 http://www.daum.net 

그래서 다시 검색, 그 결과 찾은 툴은 httrack 입니다. 이것 아니었으면 몇 시간의 python 삽질 스크립트를 만들 뻔 했으나 다행이도 원하는 일을 잘 해준 고마운 툴입니다.

So I've tried to google, eventually found 'httrack'. Without this cool tool , I could have dig to implement python code. Thanks to httrack !
windows 툴도 제공하니 써있는 그대로 따라하면 됩니다~.
단, recursion depth를 1-2 정도로만 해서 쓰세요. 과한 트래픽 발생으로 귀찮은 문제가 생길지도 모르니~. 

Httrack also supports windows version.
And you should  be sure to use setting as 1-2 recursion depth. Without the setting, you'll see a some noisy problem ;)
TAG wget httrack mirror mirroring
0 Trackback, 0 Comment

Trac Report SQL - View Recent 7 days works of people

w/ Tech Geeks 2008/07/03 17:53 by goodgene
With the help of mix1009's article, I applied our trac system to view our guy's 7 days working summary.
This SQL version is for SQLite, so if u want to apply to MySQL or other DBMS,
you can change 'strftime('%s','now') - 7 * 86400' to use your DBMS's date function.

mix1009님의 글을 보고 '7일간 활동한 작업을 개발자별로 확인하기' 트랙 리포트를 만들어보았습니다.
이 버전은 SQLite를 위한 것이므로 다른 DBMS를 쓸 경우 아래 녹색 부분을 해당 DBMS date function에 맞도록 수정해서 쓰시면 됩니다. SQL 성능은 좀...^^

select
   p.value AS __color__,
   owner AS __group__,
   id AS ticket,
   (CASE status WHEN 'assigned' THEN owner||' *' ELSE owner END) AS owner,
   summary,
   component,
   priority,
   t.type AS type,
   status,
   time AS _created,
   changetime AS modified,
   description AS _description,
   reporter AS _reporter

from (

    SELECT *
    FROM ticket
    where changetime > strftime('%s','now') - 7 * 86400
    order by changetime desc

) t, enum p

where p.name = t.priority AND p.type = 'priority'
order by owner, changetime desc


p.s. Trac's default index schema doesn't gurantee good performance of this script. If u have performance problem, build the indexes after 'explain sql' ;)
TAG trac report sql
0 Trackback, 0 Comment

Find out the max pthread count in Linux box

w/ Tech Geeks 2008/01/15 10:25 by goodgene


리눅스 환경에서 하나의 process 내에서 최대로 생성할 수 있는 pthread 갯수 확인하는 간단한 툴의 소스.
아름답지 못한 코드이므로 충분한 배려가 필요.

These are the source of the utility to find out the max pthread count on Linux.
Please consider not-beautiful prototyping ;)
   
Test Result



goodgene@haneul:~/tmp$ !./

./max_thread 10

ret = 12, Cannot allocate memory

 

default stack size : 8388 KB

goodgene@haneul:~/tmp$ ./max_thread 1

ret = 12, Cannot allocate memory

 

default stack size : 8 MB

applied stack size : 1 MB

total created threads num [3054]

goodgene@haneul:~/tmp$ ./max_thread 10

ret = 12, Cannot allocate memory

 

default stack size : 8 MB

applied stack size : 10 MB

total created threads num [305]

goodgene@haneul:~/tmp$ ./max_thread 100

ret = 12, Cannot allocate memory

 

default stack size : 8 MB

applied stack size : 100 MB

total created threads num [30]



source


#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <errno.h>
#include <pthread.h>
   

pthread_mutex_t lock = PTHREAD_MUTEX_INITIALIZER;
size_t stacksize = 0;


int cnt=0;
void * thread_func(void * arg)
{
    pthread_mutex_lock( &lock );
    ++cnt;
    pthread_mutex_unlock( &lock );
}

int loop( int mbsize )
{

    pthread_mutex_init(&lock, NULL);

    {
    pthread_attr_t attr;
    pthread_attr_init( &attr );
    pthread_attr_getstacksize( &attr, &stacksize );
    }

    int n = 10000;
    while (--n)
    {

        pthread_t thread;
        pthread_attr_t attr;
        pthread_attr_init( &attr );
        pthread_attr_setstacksize( &attr, 1024*1024 * mbsize );

        int ret = pthread_create (&thread, &attr, thread_func, NULL);
        if ( ret != 0 )
        {
            printf("ret = %d, %s\n", ret, strerror(errno) );
            return -1;
        }
    }
    return 0;
}


int main(int argc, char *argv[] )                                                                                
{                                                                                                                
    int mem = 1; /* MB */                                                                                        
    if ( argc > 1 )                                                                                              
        mem = atoi(argv[1]);                                                                                     
                                                                                                                 
    loop( mem );        
    getchar();                                                                                                   
                                                                                                                 
    printf("default stack size : %d MB \n", stacksize/(1024*1024) );
    printf("applied stack size : %d MB \n", mem );
    printf("total created threads num [%d]\n", cnt);
}
                 

TAG pthread setstacksize
0 Trackback, 0 Comment
1 2 
분류 전체보기 (6)
w/ Tech Geeks (6)

공지사항

최근에 올라온 글

최근에 달린 댓글

최근에 받은 트랙백

링크

goodgene's Blog is powered by Daum / Designed by Tistory