类 Ripper

Ripper 是一个 Ruby 脚本解析器。

您可以使用基于事件的风格从解析器获取信息。例如，Ruby 程序的抽象语法树或简单的词法分析。

用法¶ ↑

Ripper 提供了一个简单的接口，用于将您的程序解析为符号表达式树（或 S 表达式）。

理解解析器的输出可能是一个挑战，建议您使用 PP 来格式化输出以提高可读性。

require 'ripper'
require 'pp'

pp Ripper.sexp('def hello(world) "Hello, #{world}!"; end')
  #=> [:program,
       [[:def,
         [:@ident, "hello", [1, 4]],
         [:paren,
          [:params, [[:@ident, "world", [1, 10]]], nil, nil, nil, nil, nil, nil]],
         [:bodystmt,
          [[:string_literal,
            [:string_content,
             [:@tstring_content, "Hello, ", [1, 18]],
             [:string_embexpr, [[:var_ref, [:@ident, "world", [1, 27]]]]],
             [:@tstring_content, "!", [1, 33]]]]],
          nil,
          nil,
          nil]]]]

您可以在上面的示例中看到，表达式以 :program 开头。

从这里，一个方法定义在 :def，后面是方法的标识符 :@ident。在方法标识符之后是括号 :paren 和方法参数在 :params 下。

接下来是方法体，从 :bodystmt 开始（stmt 表示语句），它包含方法的完整定义。

在我们的例子中，我们只是简单地返回一个字符串，所以接下来我们有 :string_literal 表达式。

在我们的 :string_literal 中，您会注意到两个 @tstring_content，这是 Hello, 和 ! 的文字部分。在两个 @tstring_content 语句之间是 :string_embexpr，其中 embexpr 是一个嵌入式表达式。我们的表达式包含一个局部变量，或 var_ref，其标识符（@ident）为 world。

资源¶ ↑

Ruby 内部

要求¶ ↑

ruby 1.9（仅支持 CVS HEAD）
bison 1.28 或更高版本（其他 yacc 不起作用）

许可证¶ ↑

Ruby 许可证。

常量

事件: 此数组包含所有 ripper 事件的名称。
EXPR_ARG: 换行符有效，+/- 是运算符。
EXPR_ARG_ANY: 等于 (EXPR_ARG | EXPR_CMDARG)
EXPR_BEG: 忽略换行符，+/- 是符号。
EXPR_BEG_ANY: 等于 (EXPR_BEG | EXPR_MID | EXPR_CLASS)
EXPR_CLASS: 紧接在 ‘class’ 之后，没有 here document。
EXPR_CMDARG: 换行符有效，+/- 是运算符。
EXPR_DOT: ‘，没有保留字。
EXPR_END: 换行符有效，+/- 是运算符。
EXPR_ENDARG: 同上，以及未绑定的括号。
EXPR_ENDFN: 同上，以及未绑定的括号。
EXPR_END_ANY: 等于 (EXPR_END | EXPR_ENDARG | EXPR_ENDFN)
EXPR_FITEM: 符号文字作为 FNAME。
EXPR_FNAME: 忽略换行符，没有保留字。
EXPR_LABEL: 标志位，允许标签。
EXPR_LABELED: 标志位，紧接在标签之后。
EXPR_MID: 换行符有效，+/- 是运算符。
EXPR_NONE: 等于 0
EXPR_VALUE: 等于 EXPR_BEG
PARSER_EVENTS: 此数组包含解析器事件的名称。
SCANNER_EVENTS: 此数组包含扫描器事件的名称。
版本: Ripper 的版本

公共类方法

dedent_string(p1, p2) 点击切换源代码

static VALUE
parser_dedent_string(VALUE self, VALUE input, VALUE width)
{
    struct parser_params *p;
    rb_parser_config_t *config;
    struct dedent_string_arg args;

    config = rb_ruby_parser_config_new(ruby_xmalloc);
    rb_parser_config_initialize(config);
    p = rb_ruby_parser_new(config);

    args.p = p;
    args.input = input;
    args.width = width;
    return rb_ensure(parser_dedent_string0, (VALUE)&args, parser_config_free, (VALUE)config);
}

lex(src, filename = '-', lineno = 1, **kw) 点击切换源代码

对 Ruby 程序进行词法分析，并返回一个二维数组，格式为 [[lineno, column], type, token, state]。filename 参数基本被忽略。默认情况下，此方法不会处理 src 中的语法错误，使用 raise_errors 关键字可以为 src 中的错误引发 SyntaxError。

require 'ripper'
require 'pp'

pp Ripper.lex("def m(a) nil end")
#=> [[[1,  0], :on_kw,     "def", FNAME    ],
     [[1,  3], :on_sp,     " ",   FNAME    ],
     [[1,  4], :on_ident,  "m",   ENDFN    ],
     [[1,  5], :on_lparen, "(",   BEG|LABEL],
     [[1,  6], :on_ident,  "a",   ARG      ],
     [[1,  7], :on_rparen, ")",   ENDFN    ],
     [[1,  8], :on_sp,     " ",   BEG      ],
     [[1,  9], :on_kw,     "nil", END      ],
     [[1, 12], :on_sp,     " ",   END      ],
     [[1, 13], :on_kw,     "end", END      ]]

# File ripper/lib/ripper/lexer.rb, line 51
def Ripper.lex(src, filename = '-', lineno = 1, **kw)
  Lexer.new(src, filename, lineno).lex(**kw)
end

lex_state_name(p1) 点击切换源代码

static VALUE
ripper_lex_state_name(VALUE self, VALUE state)
{
    struct parser_params *p;
    rb_parser_config_t *config;
    struct lex_state_name_arg args;

    config = rb_ruby_parser_config_new(ruby_xmalloc);
    rb_parser_config_initialize(config);
    p = rb_ruby_parser_new(config);

    args.p = p;
    args.state = state;

    return rb_ensure(lex_state_name0, (VALUE)&args, parser_config_free, (VALUE)config);
}

new(src, filename="(ripper)", lineno=1) → ripper 点击切换源代码

创建一个新的 Ripper 对象。src 必须是字符串、IO 或具有 gets 方法的 Object。

此方法不会开始解析。另请参见 Ripper#parse 和 Ripper.parse。

static VALUE
ripper_initialize(int argc, VALUE *argv, VALUE self)
{
    struct parser_params *p;
    VALUE src, fname, lineno;
    VALUE (*gets)(struct parser_params*,VALUE);
    VALUE input, sourcefile_string;
    const char *sourcefile;
    int sourceline;

    p = ripper_parser_params(self, false);
    rb_scan_args(argc, argv, "12", &src, &fname, &lineno);
    if (RB_TYPE_P(src, T_FILE)) {
        gets = ripper_lex_io_get;
    }
    else if (rb_respond_to(src, id_gets)) {
        gets = ripper_lex_get_generic;
    }
    else {
        StringValue(src);
        gets = rb_ruby_ripper_lex_get_str;
    }
    input = src;
    if (NIL_P(fname)) {
        fname = STR_NEW2("(ripper)");
        OBJ_FREEZE(fname);
    }
    else {
        StringValueCStr(fname);
        fname = rb_str_new_frozen(fname);
    }
    rb_ruby_ripper_parser_initialize(p);

    sourcefile_string = fname;
    sourcefile = RSTRING_PTR(fname);
    sourceline = NIL_P(lineno) ? 0 : NUM2INT(lineno) - 1;

    rb_ruby_parser_ripper_initialize(p, gets, input, sourcefile_string, sourcefile, sourceline);

    return Qnil;
}

parse(src, filename = '(ripper)', lineno = 1) 点击以切换源代码

解析从 src 读取的给定 Ruby 程序。src 必须是字符串、IO 或具有 gets 方法的对象。

# File ripper/lib/ripper/core.rb, line 18
def Ripper.parse(src, filename = '(ripper)', lineno = 1)
  new(src, filename, lineno).parse
end

sexp(src, filename = '-', lineno = 1, raise_errors: false) 点击以切换源代码

实验性

解析 src 并创建 S-exp 树。返回更易读的树，而不是 Ripper.sexp_raw。此方法主要供开发人员使用。filename 参数大多被忽略。默认情况下，此方法不会处理 src 中的语法错误，在这种情况下返回 nil。使用 raise_errors 关键字为 src 中的错误引发 SyntaxError。

require 'ripper'
require 'pp'

pp Ripper.sexp("def m(a) nil end")
  #=> [:program,
       [[:def,
        [:@ident, "m", [1, 4]],
        [:paren, [:params, [[:@ident, "a", [1, 6]]], nil, nil, nil, nil, nil, nil]],
        [:bodystmt, [[:var_ref, [:@kw, "nil", [1, 9]]]], nil, nil, nil]]]]

# File ripper/lib/ripper/sexp.rb, line 35
def Ripper.sexp(src, filename = '-', lineno = 1, raise_errors: false)
  builder = SexpBuilderPP.new(src, filename, lineno)
  sexp = builder.parse
  if builder.error?
    if raise_errors
      raise SyntaxError, builder.error
    end
  else
    sexp
  end
end

sexp_raw(src, filename = '-', lineno = 1, raise_errors: false) 点击以切换源代码

实验性

解析 src 并创建 S-exp 树。此方法主要供开发人员使用。filename 参数大多被忽略。默认情况下，此方法不会处理 src 中的语法错误，在这种情况下返回 nil。使用 raise_errors 关键字为 src 中的错误引发 SyntaxError。

require 'ripper'
require 'pp'

pp Ripper.sexp_raw("def m(a) nil end")
  #=> [:program,
       [:stmts_add,
        [:stmts_new],
        [:def,
         [:@ident, "m", [1, 4]],
         [:paren, [:params, [[:@ident, "a", [1, 6]]], nil, nil, nil]],
         [:bodystmt,
          [:stmts_add, [:stmts_new], [:var_ref, [:@kw, "nil", [1, 9]]]],
          nil,
          nil,
          nil]]]]

# File ripper/lib/ripper/sexp.rb, line 71
def Ripper.sexp_raw(src, filename = '-', lineno = 1, raise_errors: false)
  builder = SexpBuilder.new(src, filename, lineno)
  sexp = builder.parse
  if builder.error?
    if raise_errors
      raise SyntaxError, builder.error
    end
  else
    sexp
  end
end

slice(src, pattern, n = 0) 点击以切换源代码

实验性

解析 src 并返回与 pattern 匹配的字符串。pattern 应以 Regexp 描述。

require 'ripper'

p Ripper.slice('def m(a) nil end', 'ident')                   #=> "m"
p Ripper.slice('def m(a) nil end', '[ident lparen rparen]+')  #=> "m(a)"
p Ripper.slice("<<EOS\nstring\nEOS",
               'heredoc_beg nl $(tstring_content*) heredoc_end', 1)
    #=> "string\n"

# File ripper/lib/ripper/lexer.rb, line 270
def Ripper.slice(src, pattern, n = 0)
  if m = token_match(src, pattern)
  then m.string(n)
  else nil
  end
end

tokenize(src, filename = '-', lineno = 1, **kw) 点击以切换源代码

对 Ruby 程序进行词法分析并返回一个字符串数组。filename 和 lineno 参数大多被忽略，因为返回值只是词法分析后的输入。默认情况下，此方法不会处理 src 中的语法错误，使用 raise_errors 关键字为 src 中的错误引发 SyntaxError。

p Ripper.tokenize("def m(a) nil end")
   # => ["def", " ", "m", "(", "a", ")", " ", "nil", " ", "end"]

# File ripper/lib/ripper/lexer.rb, line 25
def Ripper.tokenize(src, filename = '-', lineno = 1, **kw)
  Lexer.new(src, filename, lineno).tokenize(**kw)
end

公共实例方法

column → Integer 点击以切换源代码

返回当前解析行的列号。此数字从 0 开始。

static VALUE
ripper_column(VALUE self)
{
    struct parser_params *p = ripper_parser_params(self, true);
    long col;

    if (NIL_P(rb_ruby_parser_parsing_thread(p))) return Qnil;
    col = rb_ruby_ripper_column(p);
    return LONG2NUM(col);
}

debug_output → obj 点击以切换源代码

获取调试输出。

static VALUE
ripper_parser_get_debug_output(VALUE self)
{
    struct parser_params *p = ripper_parser_params(self, false);

    return rb_ruby_parser_debug_output(p);
}

debug_output = obj 点击以切换源代码

设置调试输出。

static VALUE
ripper_parser_set_debug_output(VALUE self, VALUE output)
{
    struct parser_params *p = ripper_parser_params(self, false);

    rb_ruby_parser_set_debug_output(p, output);
    return output;
}

encoding → encoding 点击以切换源代码

返回源代码的编码。

static VALUE
ripper_parser_encoding(VALUE vparser)
{
    struct parser_params *p = ripper_parser_params(vparser, false);

    return rb_ruby_parser_encoding(p);
}

end_seen? → Boolean 点击切换源代码

如果解析的源代码以 +_END_+ 结尾，则返回 true。

static VALUE
ripper_parser_end_seen_p(VALUE vparser)
{
    struct parser_params *p = ripper_parser_params(vparser, false);

    return RBOOL(rb_ruby_parser_end_seen_p(p));
}

error? → Boolean 点击切换源代码

如果解析的源代码有错误，则返回 true。

static VALUE
ripper_error_p(VALUE vparser)
{
    struct parser_params *p = ripper_parser_params(vparser, false);

    return RBOOL(rb_ruby_parser_error_p(p));
}

filename → String 点击切换源代码

返回当前解析的文件名。

static VALUE
ripper_filename(VALUE self)
{
    struct parser_params *p = ripper_parser_params(self, true);

    return rb_ruby_parser_ruby_sourcefile_string(p);
}

lineno → Integer 点击切换源代码

返回当前解析行的行号。此编号从 1 开始。

static VALUE
ripper_lineno(VALUE self)
{
    struct parser_params *p = ripper_parser_params(self, true);

    if (NIL_P(rb_ruby_parser_parsing_thread(p))) return Qnil;
    return INT2NUM(rb_ruby_parser_ruby_sourceline(p));
}

parse 点击切换源代码

开始解析并返回根操作的值。

static VALUE
ripper_parse(VALUE self)
{
    struct parser_params *p = ripper_parser_params(self, true);
    VALUE result;

    if (!NIL_P(rb_ruby_parser_parsing_thread(p))) {
        if (rb_ruby_parser_parsing_thread(p) == rb_thread_current())
            rb_raise(rb_eArgError, "Ripper#parse is not reentrant");
        else
            rb_raise(rb_eArgError, "Ripper#parse is not multithread-safe");
    }
    rb_ruby_parser_set_parsing_thread(p, rb_thread_current());
    result = rb_ensure(ripper_parse0, self, ripper_ensure, self);
    RB_GC_GUARD(self);

    return result;
}

state → Integer 点击切换源代码

返回当前标记的扫描器状态。

static VALUE
ripper_state(VALUE self)
{
    struct parser_params *p = ripper_parser_params(self, true);

    if (NIL_P(rb_ruby_parser_parsing_thread(p))) return Qnil;
    return INT2NUM(rb_ruby_parser_lex_state(p));
}

token → String 点击切换源代码

返回当前标记字符串。

static VALUE
ripper_token(VALUE self)
{
    struct parser_params *p = ripper_parser_params(self, true);
    long pos, len;

    if (NIL_P(rb_ruby_parser_parsing_thread(p))) return Qnil;
    pos = rb_ruby_ripper_column(p);
    len = rb_ruby_ripper_token_len(p);
    return rb_str_subseq(rb_ruby_ripper_lex_lastline(p), pos, len);
}

yydebug → true or false 点击切换源代码

获取 yydebug。

static VALUE
ripper_parser_get_yydebug(VALUE self)
{
    struct parser_params *p = ripper_parser_params(self, false);

    return RBOOL(rb_ruby_parser_get_yydebug(p));
}

yydebug = flag 点击切换源代码

设置 yydebug。

static VALUE
ripper_parser_set_yydebug(VALUE self, VALUE flag)
{
    struct parser_params *p = ripper_parser_params(self, false);

    rb_ruby_parser_set_yydebug(p, RTEST(flag));
    return flag;
}

私有实例方法

compile_error(msg) 点击切换源代码

当解析器发现语法错误时，调用此方法。

# File ripper/lib/ripper/core.rb, line 63
def compile_error(msg)
end

dedent_string(p1, p2) 点击切换源代码

static VALUE
parser_dedent_string(VALUE self, VALUE input, VALUE width)
{
    struct parser_params *p;
    rb_parser_config_t *config;
    struct dedent_string_arg args;

    config = rb_ruby_parser_config_new(ruby_xmalloc);
    rb_parser_config_initialize(config);
    p = rb_ruby_parser_new(config);

    args.p = p;
    args.input = input;
    args.width = width;
    return rb_ensure(parser_dedent_string0, (VALUE)&args, parser_config_free, (VALUE)config);
}

也称为：dedent_string

warn(fmt, *args) 点击切换源代码

当解析器产生弱警告时，调用此方法。fmt 和 args 是 printf 风格。

# File ripper/lib/ripper/core.rb, line 54
def warn(fmt, *args)
end

warning(fmt, *args) 点击切换源代码

当解析器产生强警告时，调用此方法。fmt 和 args 是 printf 风格。

# File ripper/lib/ripper/core.rb, line 59
def warning(fmt, *args)
end