1 /*
2 * "streamable kanji code filter and converter"
3 *
4 * Copyright (c) 1998,1999,2000,2001 HappySize, Inc. All rights reserved.
5 *
6 * This software is released under the GNU Lesser General Public License.
7 * (Version 2.1, February 1999)
8 * Please read the following detail of the licence (in japanese).
9 *
10 * ◆使用許諾条件◆
11 *
12 * このソフトウェアは株式会社ハッピーサイズによって開発されました。株式会社ハッ
13 * ピーサイズは、著作権法および万国著作権条約の定めにより、このソフトウェアに関
14 * するすべての権利を留保する権利を持ち、ここに行使します。株式会社ハッピーサイ
15 * ズは以下に明記した条件に従って、このソフトウェアを使用する排他的ではない権利
16 * をお客様に許諾します。何人たりとも、以下の条件に反してこのソフトウェアを使用
17 * することはできません。
18 *
19 * このソフトウェアを「GNU Lesser General Public License (Version 2.1, February
20 * 1999)」に示された条件で使用することを、全ての方に許諾します。「GNU Lesser
21 * General Public License」を満たさない使用には、株式会社ハッピーサイズから書面
22 * による許諾を得る必要があります。
23 *
24 * 「GNU Lesser General Public License」の全文は以下のウェブページから取得でき
25 * ます。「GNU Lesser General Public License」とは、これまでLibrary General
26 * Public Licenseと呼ばれていたものです。
27 * http://www.gnu.org/ --- GNUウェブサイト
28 * http://www.gnu.org/copyleft/lesser.html --- ライセンス文面
29 * このライセンスの内容がわからない方、守れない方には使用を許諾しません。
30 *
31 * しかしながら、当社とGNUプロジェクトとの特定の関係を示唆または主張するもので
32 * はありません。
33 *
34 * ◆保証内容◆
35 *
36 * このソフトウェアは、期待された動作・機能・性能を持つことを目標として設計され
37 * 開発されていますが、これを保証するものではありません。このソフトウェアは「こ
38 * のまま」の状態で提供されており、たとえばこのソフトウェアの有用性ないし特定の
39 * 目的に合致することといった、何らかの保証内容が、明示されたり暗黙に示されてい
40 * る場合であっても、その保証は無効です。このソフトウェアを使用した結果ないし使
41 * 用しなかった結果によって、直接あるいは間接に受けた身体的な傷害、財産上の損害
42 * 、データの損失あるいはその他の全ての損害については、その損害の可能性が使用者
43 * 、当社あるいは第三者によって警告されていた場合であっても、当社はその損害の賠
44 * 償および補填を行いません。この規定は他の全ての、書面上または書面に無い保証・
45 * 契約・規定に優先します。
46 *
47 * ◆著作権者の連絡先および使用条件についての問い合わせ先◆
48 *
49 * 〒102-0073
50 * 東京都千代田区九段北1-13-5日本地所第一ビル4F
51 * 株式会社ハッピーサイズ
52 * Phone: 03-3512-3655, Fax: 03-3512-3656
53 * Email: sales@happysize.co.jp
54 * Web: http://happysize.com/
55 *
56 * ◆著者◆
57 *
58 * 金本 茂 <sgk@happysize.co.jp>
59 *
60 * ◆履歴◆
61 *
62 * 1998/11/10 sgk implementation in C++
63 * 1999/4/25 sgk Cで書きなおし。
64 * 1999/4/26 sgk 入力フィルタを実装。漢字コードを推定しながらフィルタを追加。
65 * 1999/6/?? Unicodeサポート。
66 * 1999/6/22 sgk ライセンスをLGPLに変更。
67 *
68 */
69
70 /*
71 * Unicode support
72 *
73 * Portions copyright (c) 1999,2000,2001 by the PHP3 internationalization team.
74 * All rights reserved.
75 *
76 */
77
78 /*
79 *
80 * streamable kanji code filter and converter
81 * mbfl : Multi Byte FiLter Liblary
82 *
83 */
84
85 #ifndef MBFL_MBFILTER_H
86 #define MBFL_MBFILTER_H
87
88 #include "zend.h"
89
90 #include "mbfl_defs.h"
91 #include "mbfl_consts.h"
92 #include "mbfl_encoding.h"
93 #include "mbfl_language.h"
94 #include "mbfl_string.h"
95 #include "mbfl_convert.h"
96
97 /* Prefer local fix, otherwise need to include too much. */
98 #ifndef ssize_t
99 #if defined(_WIN64)
100 #define ssize_t __int64
101 #elif defined(_WIN32)
102 #define ssize_t __int32
103 #elif defined(__GNUC__) && __GNUC__ >= 4
104 #define ssize_t long
105 #endif
106 #endif
107
108 /*
109 * version information
110 */
111 #define MBFL_VERSION_MAJOR 1
112 #define MBFL_VERSION_MINOR 3
113 #define MBFL_VERSION_TEENY 2
114
115 /*
116 * convert filter
117 */
118 #define MBFL_OUTPUTFILTER_ILLEGAL_MODE_NONE 0
119 #define MBFL_OUTPUTFILTER_ILLEGAL_MODE_CHAR 1
120 #define MBFL_OUTPUTFILTER_ILLEGAL_MODE_LONG 2
121 #define MBFL_OUTPUTFILTER_ILLEGAL_MODE_ENTITY 3
122
123 /*
124 * convenience macros
125 */
126 #ifndef MIN
127 #define MIN(a,b) ((a)<(b)?(a):(b))
128 #endif
129
130 /*
131 * buffering converter
132 */
133 typedef struct _mbfl_buffer_converter mbfl_buffer_converter;
134
135 struct _mbfl_buffer_converter {
136 mbfl_convert_filter *filter1;
137 mbfl_convert_filter *filter2;
138 mbfl_memory_device device;
139 const mbfl_encoding *to;
140 };
141
142 MBFLAPI extern mbfl_buffer_converter * mbfl_buffer_converter_new(const mbfl_encoding *from, const mbfl_encoding *to, size_t buf_initsz);
143 MBFLAPI extern void mbfl_buffer_converter_delete(mbfl_buffer_converter *convd);
144 MBFLAPI extern int mbfl_buffer_converter_illegal_mode(mbfl_buffer_converter *convd, int mode);
145 MBFLAPI extern int mbfl_buffer_converter_illegal_substchar(mbfl_buffer_converter *convd, int substchar);
146 MBFLAPI extern size_t mbfl_buffer_converter_feed(mbfl_buffer_converter *convd, mbfl_string *string);
147 MBFLAPI extern int mbfl_buffer_converter_flush(mbfl_buffer_converter *convd);
148 MBFLAPI extern mbfl_string * mbfl_buffer_converter_result(mbfl_buffer_converter *convd, mbfl_string *result);
149 MBFLAPI extern mbfl_string * mbfl_buffer_converter_feed_result(mbfl_buffer_converter *convd, mbfl_string *string, mbfl_string *result);
150 MBFLAPI extern size_t mbfl_buffer_illegalchars(mbfl_buffer_converter *convd);
151
152 /*
153 * encoding detector
154 */
155 typedef struct _mbfl_encoding_detector mbfl_encoding_detector;
156
157 typedef struct {
158 size_t num_illegalchars;
159 size_t score;
160 } mbfl_encoding_detector_data;
161
162 struct _mbfl_encoding_detector {
163 mbfl_convert_filter **filter_list;
164 mbfl_encoding_detector_data *filter_data;
165 int filter_list_size;
166 int strict;
167 };
168
169 MBFLAPI extern mbfl_encoding_detector * mbfl_encoding_detector_new(const mbfl_encoding **elist, int elistsz, int strict);
170 MBFLAPI extern void mbfl_encoding_detector_delete(mbfl_encoding_detector *identd);
171 MBFLAPI extern int mbfl_encoding_detector_feed(mbfl_encoding_detector *identd, mbfl_string *string);
172 MBFLAPI extern const mbfl_encoding *mbfl_encoding_detector_judge(mbfl_encoding_detector *identd);
173
174
175 /*
176 * encoding converter
177 */
178 MBFLAPI extern mbfl_string *
179 mbfl_convert_encoding(mbfl_string *string, mbfl_string *result, const mbfl_encoding *toenc);
180
181
182 /*
183 * identify encoding
184 */
185 MBFLAPI extern const mbfl_encoding *
186 mbfl_identify_encoding(mbfl_string *string, const mbfl_encoding **elist, int elistsz, int strict);
187
188 /* Lengths -1 through -16 are reserved for error return values */
mbfl_is_error(size_t len)189 static inline int mbfl_is_error(size_t len) {
190 return len >= (size_t) -16;
191 }
192
193 /*
194 * strlen
195 */
196 MBFLAPI extern size_t
197 mbfl_strlen(const mbfl_string *string);
198
199 #define MBFL_ERROR_NOT_FOUND ((size_t) -1)
200 #define MBFL_ERROR_ENCODING ((size_t) -4)
201 #define MBFL_ERROR_EMPTY ((size_t) -8)
202 #define MBFL_ERROR_OFFSET ((size_t) -16)
203
204 /*
205 * strpos.
206 * Errors: MBFL_ERROR_NOT_FOUND, MBFL_ERROR_ENCODING, MBFL_ERROR_OFFSET
207 */
208 MBFLAPI extern size_t
209 mbfl_strpos(mbfl_string *haystack, mbfl_string *needle, ssize_t offset, int reverse);
210
211 /*
212 * substr_count
213 */
214 MBFLAPI extern size_t
215 mbfl_substr_count(mbfl_string *haystack, mbfl_string *needle);
216
217 /*
218 * If specified as length, the substr until the end of the string is taken.
219 */
220 #define MBFL_SUBSTR_UNTIL_END ((size_t) -1)
221
222 /*
223 * substr
224 */
225 MBFLAPI extern mbfl_string *
226 mbfl_substr(mbfl_string *string, mbfl_string *result, size_t from, size_t length);
227
228 /*
229 * strcut
230 */
231 MBFLAPI extern mbfl_string *
232 mbfl_strcut(mbfl_string *string, mbfl_string *result, size_t from, size_t length);
233
234 /*
235 * strwidth
236 */
237 MBFLAPI extern size_t
238 mbfl_strwidth(mbfl_string *string);
239
240 /*
241 * strimwidth
242 */
243 MBFLAPI extern mbfl_string *
244 mbfl_strimwidth(mbfl_string *string, mbfl_string *marker, mbfl_string *result, size_t from, size_t width);
245
246 /*
247 * MIME header encode
248 */
249 struct mime_header_encoder_data; /* forward declaration */
250
251 MBFLAPI extern struct mime_header_encoder_data *
252 mime_header_encoder_new(
253 const mbfl_encoding *incode,
254 const mbfl_encoding *outcode,
255 const mbfl_encoding *encoding);
256
257 MBFLAPI extern void
258 mime_header_encoder_delete(struct mime_header_encoder_data *pe);
259
260 MBFLAPI extern mbfl_string *
261 mime_header_encoder_result(struct mime_header_encoder_data *pe, mbfl_string *result);
262
263 MBFLAPI extern mbfl_string *
264 mbfl_mime_header_encode(
265 mbfl_string *string, mbfl_string *result,
266 const mbfl_encoding *outcode,
267 const mbfl_encoding *encoding,
268 const char *linefeed,
269 int indent);
270
271 /*
272 * MIME header decode
273 */
274 struct mime_header_decoder_data; /* forward declaration */
275
276 MBFLAPI extern struct mime_header_decoder_data *
277 mime_header_decoder_new(const mbfl_encoding *outcode);
278
279 MBFLAPI extern void
280 mime_header_decoder_delete(struct mime_header_decoder_data *pd);
281
282 MBFLAPI extern mbfl_string *
283 mime_header_decoder_result(struct mime_header_decoder_data *pd, mbfl_string *result);
284
285 MBFLAPI extern mbfl_string *
286 mbfl_mime_header_decode(
287 mbfl_string *string,
288 mbfl_string *result,
289 const mbfl_encoding *outcode);
290
291 /*
292 * convert HTML numeric entity
293 */
294 MBFLAPI extern mbfl_string *
295 mbfl_html_numeric_entity(mbfl_string *string, mbfl_string *result, int *convmap, int mapsize, int type);
296
297 /*
298 * convert of halfwidth and fullwidth for japanese
299 */
300 MBFLAPI extern mbfl_string *
301 mbfl_ja_jp_hantozen(mbfl_string *string, mbfl_string *result, int mode);
302
303 #endif /* MBFL_MBFILTER_H */
304
