ChangwooWiki

사용자 도구

사이트 도구

추적:
research:embeddedpython

차이

문서의 선택한 두 판 사이의 차이를 보여줍니다.

차이 보기로 링크

양쪽 이전 판이전 판
다음 판		이전 판
research:embeddedpython [2014/01/26 19:28] – [세번째 예제] changwooresearch:embeddedpython [2014/10/09 21:24] (현재) – 바깥 편집 127.0.0.1
줄 127: 줄 127:
  
 === C의 데이터를 파이썬의 객체형으로 표현 === === C의 데이터를 파이썬의 객체형으로 표현 ===
-우선 C의 데이터를 파이썬의 객체형으로 표현하는 법에 대해 설명합니다. C에서 파이썬의 문자열을 생성하는 함수는 [[http://docs.python.org/2/c-api/string.html#PyString_FromString|PyString_FromString()]]입니다. 리턴 형은 ''PyObject*''인데 모든 파이썬의 데이터는 이 ''PyObject''입니다. 파이썬의 어떤 자료형이라도 PyObject로 표현되므로, 항상 주의하여야 합니다.+우선 C의 데이터를 파이썬의 객체형으로 표현하는 법에 대해 설명합니다. C에서 파이썬의 문자열을 생성하는 함수는 [[http://docs.python.org/2/c-api/string.html#PyString_FromString|PyString_FromString()]]입니다. 리턴 형은 ''PyObject*''인데 모든 파이썬의 데이터는 이 ''PyObject''입니다. 파이썬의 어떤 자료형이라도 ''PyObject''로 표현되므로, 항상 주의하여야 합니다.
 <code C> <code C>
   char *str = NULL;   char *str = NULL;
줄 148: 줄 148:
 pSysModule = PyImport_Import(pModuleName); pSysModule = PyImport_Import(pModuleName);
 </code> </code>
 +
 === 파이썬의 변수/함수/클래스를 참조하고 호출하기 === === 파이썬의 변수/함수/클래스를 참조하고 호출하기 ===
 파이썬의 변수, 함수, 클래스는 모두 모듈의 '속성(attribute)'입니다. 그러므로 해당 모듈에서 변수, 함수, 클래스 등을 참조하려면, '[[http://docs.python.org/2/c-api/object.html#object-protocol|Object Protocol]]' 섹션의 [[http://docs.python.org/2/c-api/object.html#PyObject_GetAttrString|PyObject_GetAttrString()]]함수를 이용합니다. 이 외에도 여러 함수가 있으므로 문서를 한 번 꼼꼼하게 읽어 둘 필요가 있습니다. 파이썬의 변수, 함수, 클래스는 모두 모듈의 '속성(attribute)'입니다. 그러므로 해당 모듈에서 변수, 함수, 클래스 등을 참조하려면, '[[http://docs.python.org/2/c-api/object.html#object-protocol|Object Protocol]]' 섹션의 [[http://docs.python.org/2/c-api/object.html#PyObject_GetAttrString|PyObject_GetAttrString()]]함수를 이용합니다. 이 외에도 여러 함수가 있으므로 문서를 한 번 꼼꼼하게 읽어 둘 필요가 있습니다.
줄 176: 줄 177:
 PyObject *pArgList; PyObject *pArgList;
  
-pSampleClass = PyObject_GetAttrString("SampleClassModule", "SampleClass");+pSampleClass = PyObject_GetAttrString(pSampleClass, "SampleClass");
 pArgList = Py_BuildValue("sid", arg1, arg2, arg3); /* string, integer, double */ pArgList = Py_BuildValue("sid", arg1, arg2, arg3); /* string, integer, double */
 pInstance = PyObject_CallObject(pSampleClass, pArgList); pInstance = PyObject_CallObject(pSampleClass, pArgList);
줄 195: 줄 196:
 pComplexReturn = PyComplex_AsCComplex(pyComplexObject); pComplexReturn = PyComplex_AsCComplex(pyComplexObject);
 </code> </code>
 +
 +리스트나 딕셔너리에서 값을 가져올 때는 ''PyList_Size(), PyList_GetItem(), PyList_SetItem(), PyDict_Size(), PyDict_GetItem(), PyDict_SetItem()''을 사용합니다. 사용은 매우 직관적입니다.
  
 === 레퍼런스 카운팅 === === 레퍼런스 카운팅 ===
줄 200: 줄 203:
  
 한편 [[http://docs.python.org/2/c-api/list.html#PyList_SetItem|PyList_SetItem()]], [[http://docs.python.org/2/c-api/tuple.html#PyTuple_SetItem|PyTuple_SetItem()]]이 두 함수는 레퍼런스 카운팅을 자기가 차지합니다. 한편 [[http://docs.python.org/2/c-api/list.html#PyList_SetItem|PyList_SetItem()]], [[http://docs.python.org/2/c-api/tuple.html#PyTuple_SetItem|PyTuple_SetItem()]]이 두 함수는 레퍼런스 카운팅을 자기가 차지합니다.
 +
 +
 === 두번째 예제 코드 === === 두번째 예제 코드 ===
 이제 소스 코드를 볼께요. 간단한 함수 호출 하나를 하는데 좀 많이 난리를 쳐야 합니다. 이제 소스 코드를 볼께요. 간단한 함수 호출 하나를 하는데 좀 많이 난리를 쳐야 합니다.
줄 264: 줄 269:
  
 ==== 세번째 예제 ==== ==== 세번째 예제 ====
-세번째 예제는 조금 더 다양하게 가 보도록 하죠. urllib을 이용해 웹페이지의 소스 코드를 가져와, 외부 링크 즉, ''http://''가 사용된 횟수가 몇 번인지 알아 보도록 합니다.+세번째 예제는 조금 더 다양하게 가 보도록 하죠. urllib을 이용해 웹페이지의 소스 코드를 가져와, 외부 링크 즉, ''http...''로 시작되는 URL을 가져오도록 합니다.
  
-===== boost::python 사용하기 =====+<code python count_href.py> 
 +#!/usr/bin/python 
 +import urllib 
 +import re
  
 +href_expr = re.compile(r'<a href=\"(http://.+?)\"', re.DOTALL|re.MULTILINE)
 +
 +class count_href(object):
 + def __init__(self):
 + self.results = []
 +
 + def count(self, url):
 + html = self.get_html(url)
 + found = href_expr.findall(html)
 + d = {"url": url, "links": []}
 + for item in found:
 + d["links"].append(item)
 + self.results.append(d)
 +
 + def get_html(self, url):
 + opened = urllib.urlopen(url)
 + html = opened.read()
 + opened.close()
 + return html
 +
 + def get_result(self):
 + return self.results
 +</code>
 +
 +이 모듈은 이렇게 사용하겠죠.
 +<code python>
 +import count_href
 +
 +if __name__ == '__main__':
 + counter = count_href.count_href()
 + counter.count('http://www.google.com/en')
 + counter.count('http://www.daum.net/')
 + counter.count('http://www.naver.com/')
 +
 + result = counter.get_result()
 + for item in result:
 + print "URL: " + item["url"]
 + print len(item["links"])
 + #for link in item["links"]:
 + # print link
 +</code>
 +
 +이 모듈의 클래스를 C 코드에서 가져오도록 합니다.
 +<code C count_href.c>
 +#include <assert.h>
 +#include <Python.h>
 +
 +void extract(PyObject* instance)
 +{
 + PyObject *returned_object;
 + Py_ssize_t i, list_size;
 +
 + returned_object = PyObject_CallMethod(instance, "get_result", NULL);
 +
 + /* returned_object: list of dicts.
 + every dict has keys: url, links
 + links is also list */
 + list_size = PyList_Size(returned_object);
 +
 + for(i = 0; i < list_size; ++i) {
 +
 + PyObject *dict_item, *url, *links;
 + Py_ssize_t links_size, j;
 +
 + dict_item = PyList_GetItem(returned_object, i);
 + assert(dict_item != NULL);
 +
 + url = PyDict_GetItemString(dict_item, "url");
 + assert(url != NULL);
 +
 + links = PyDict_GetItemString(dict_item, "links");
 + assert(links != NULL);
 +
 + links_size = PyList_Size(links);
 + printf("url: %s\t", PyString_AsString(url));
 + printf("%d entries\n", (int)links_size);
 +
 + for(j = 0; j < links_size; ++j) {
 +
 + PyObject *entry_item = PyList_GetItem(links, j);
 +
 + assert(entry_item != NULL);
 + printf("%s\n", PyString_AsString(entry_item));
 + }
 +
 + Py_DECREF(returned_object);
 + }
 +}
 +
 +int main(int argc, char** argv)
 +{
 + int i;
 + PyObject *module, *class, *instance;
 + int size;
 +
 + if(argc < 2) {
 + fprintf(stderr, "Usage: count_href.out [URLS...]\n");
 + return 1;
 + }
 +
 + Py_Initialize();
 + PyRun_SimpleString(
 + "import sys\n"
 + "sys.path.append('.')\n");
 +
 + module = PyImport_ImportModule("count_href");
 + assert(module != NULL);
 +
 + class = PyObject_GetAttrString(module, "count_href");
 + assert(class != NULL);
 +
 + instance = PyObject_CallObject(class, NULL);
 + assert(instance != NULL);
 +
 + for(i = 1; i < argc; ++i) {
 + printf("count_href: %s\n", argv[i]);
 + PyObject_CallMethod(instance, "count", "s",  argv[i]);
 + }
 +
 + extract(instance);
 + Py_Finalize();
 +
 + return 0;
 +}
 +</code>
 +
 +==== 정리 ====
 +  * 프로그램 시작: Py_SetProgramName(선택적), Py_Initialize
 +  * 모듈 불러오기
 +    * PyImport_Import: PyObject* 를 사용
 +    * PyImport_ImportModule: char* 를 사용
 +    * 주의! 모듈 경로에 현재 디렉토리가 포함되지 않음.
 +      * 해결책
 +        - setenv("PYTHONPATH", ".", 1)
 +        - PyRun_SimpleString("import sys\n" "sys.path.append('.')\n");
 +  * 모듈에서 객체(클래스, 함수) 불러오기
 +    * PyObject_GetAttrString
 +  * 호출 가능한(callable) 객체 부르기
 +    * PyObject_Call: callable에 tuple arg, dictionary kw 인자를 넘김
 +    * PyObject_CallObject: tuple args 인자를 넘김
 +    * PyObject_CallFunction: C fomat을 사용하여 호출
 +    * PyObject_CallMethod: object의 method를 호출
 +    * PyObject_CallFunctionObjArgs: CallFunction과 동일하나 PyObject*를 인자로 넘김
 +    * PyObject_CallMethodObjArgs: CallMethod와 동일하나 PyObject*를 인자로 넘김
 +  * 값 가져오기
 +    * Int, Long, Float, Complex, String: Py[python_type]_As[c_type]
 +    * Dictionary, List: PyDict_GetItem, PyList_GetItem
 +  * 값 설정하기
 +    * Int, Long, Float, Complex, String: Py[python_type]_From[c_type]
 +    * Dictionary, List: PyDict_SetItem, PyList_SetItem
 +  * 레퍼런스 설정하기
 +    * Py_INCREF, Py_DECREF: 레퍼런스 카운트 증가, 감소
 +    * Py_CLEAR: 레퍼런스 카운트를 없앰
 +  * 프로그램 종료: Py_Finalize
 +
 +
 +
 +
 +===== boost.python 사용하기 =====
 +C API를 활용하여 원하는 기능을 구현할 수도 있지만, 간단한 데이터를 가져오는데도 상당히 코드가 많이 필요합니다. API를 간단히 파악하는 정도로 두고, 보다 간결하고 편리하게 쓸 수 있는 라이브러리를 찾아야 할 것 같습니다. 
 +
 +[[https://wiki.python.org/moin/IntegratingPythonWithOtherLanguages | 파이썬 위키]]에 다른 언어와 파이썬을 연동하는 방법이 잘 나와 있습니다. 여기서는 C++의 대표적인 라이브러리인 [[http://www.boost.org/| Boost C++ Libraries]]를 사용하도록 하겠습니다.
 +
 +<code make Makefile>
 +CC = /usr/bin/g++
 +PYTHON_CONFIG = /opt/local/bin/python2.7-config
 +
 +BOOST_INC_PATH = /opt/local/include
 +BOOST_LIB_PATH = /opt/local/lib
 +CFLAGS = `$(PYTHON_CONFIG) --cflags` -I $(BOOST_INC_PATH)
 +LDFLAGS = `$(PYTHON_CONFIG) --ldflags` -L $(BOOST_LIB_PATH) -lboost_python-mt
 +
 +TAR = test.out hello_py.out # 여기에 .out 파일을 추가하세요
 +OBJ = $(TAR:.out=.o)
 +SRC = $(TAR:.out=.cpp)
 + 
 +all: $(TAR)
 +.o.out: $(OBJ)
 + $(CC) $(LDFLAGS)  -o $@ $<
 + 
 +.cpp.o: %.cpp
 + $(CC) $(CFLAGS)  -c $<
 + 
 +clean:
 + rm -rf $(TAR) $(OBJ)
 +</code>
 +
 +==== 첫번째 boost.python 예제 ====
 +<code cpp hello_py.cpp>
 +#include <boost/python/exec.hpp>
 +
 +int main(int argc, char** argv)
 +{
 + Py_Initialize();
 + boost::python::exec("print \'Hello, World!\'\n");
 + Py_Finalize();
 + return 0;
 +}
 +</code>
 +
 +현재는 별다른 것이 없어 보이네요
 +
 +==== 두번째 boost.python 예제 ====
 +
 +<code cpp call.cpp>
 +#include <iostream>
 +#include <boost/python.hpp>
 +
 +namespace bp = boost::python;
 +
 +void workaround_for_local_modules()
 +{
 + PyRun_SimpleString(
 + "import sys\n"
 + "sys.path.append('.')\n");
 +}
 +
 +int main(int argc, char** argv)
 +{
 +    if (argc < 3) {
 +        fprintf(stderr,"Usage: call pythonfile funcname [args]\n");
 +        return 1;
 +    }
 +
 + Py_Initialize();
 + workaround_for_local_modules();
 +
 + try {
 + bp::object module_name;
 + bp::object module;
 + bp::object func;
 +
 + module_name = bp::object(bp::handle<>(PyString_FromString(argv[1])));
 + module = bp::object(bp::handle<>(PyImport_Import(module_name.ptr())));
 + func = module.attr(argv[2]);
 +
 + if(func && PyCallable_Check(func.ptr())) {
 + bp::object tuple;
 +
 + tuple = bp::object(bp::handle<>(PyTuple_New(argc - 3)));
 + for(int i = 0; i < argc - 3; ++i) {
 + PyObject* arg;
 + arg = PyInt_FromLong(atoi(argv[i+3]));
 + PyTuple_SetItem(tuple.ptr(), i, arg);
 + }
 +
 + bp::object valueObj;
 + int value;
 +
 + valueObj = bp::object(bp::handle<>(PyObject_CallObject(func.ptr(), tuple.ptr())));
 + value = bp::extract<int>(valueObj);
 +
 + std::cout << value << std::endl;
 + }
 +
 + } catch(bp::error_already_set const &) {
 + PyErr_Print();
 + }
 +
 + Py_Finalize();
 + return EXIT_SUCCESS;
 +}
 +</code>
 +
 +''PyObject''가 ''boost::python::object''로 래핑되어 있습니다. 또한 ''boost::python::handle<>''을 이용하면 ''PyObject''의 레퍼런스를 관리해 줍니다. ''boost::python''의 대부분의 기능은 extending에 초점이 맞춰져 있고 embedding에는 그다지 많은 기능을 제공하지 않는 편이므로 상당히 많은 부분에서 C API를 그대로 가져와 사용해야 합니다.
 +
 +
 +==== 세번째 boost.python 예제 ====
 +<code cpp count_href.cpp>
 +
 +</code>
 ===== 참고 사이트 ===== ===== 참고 사이트 =====
   * [[http://docs.python.org/2/extending/embedding.html|Embedding Python in Another Application]]   * [[http://docs.python.org/2/extending/embedding.html|Embedding Python in Another Application]]
 +  * [[https://wiki.python.org/moin/IntegratingPythonWithOtherLanguages | Integrating Python With Other Languages]]
 +  * [[http://www.boost.org/doc/libs/1_55_0/libs/python/doc/index.html | Boost.Python Index]]
research/embeddedpython.1390764537.txt.gz · 마지막으로 수정됨: 2014/10/09 21:23 (바깥 편집)
Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki