ocrGetElementPositionByText

画面上のテキストの位置を取得します。このコマンドは、指定されたテキストを検索し、Fuse.jsのファジーロジックに基づいて一致を見つけようとします。これは、タイプミスのあるセレクターを指定したり、見つかったテキストが100%一致しなくても、要素を返そうとすることを意味します。以下のログを参照してください。

使い方

const result = await browser.ocrGetElementPositionByText("Username");

console.log("result = ", JSON.stringify(result, null, 2));

出力

結果

result = {
  "dprPosition": {
    "left": 373,
    "top": 606,
    "right": 439,
    "bottom": 620
  },
  "filePath": ".tmp/ocr/desktop-1716658199410.png",
  "matchedString": "Started",
  "originalPosition": {
    "left": 373,
    "top": 606,
    "right": 439,
    "bottom": 620
  },
  "score": 85.71,
  "searchValue": "Start3d"
}

ログ

# Still finding a match even though we searched for "Start3d" and the found text was "Started"
[0-0] 2024-05-25T17:29:59.179Z INFO webdriver: COMMAND ocrGetElementPositionByText(<object>)
......................
[0-0] 2024-05-25T17:29:59.993Z INFO @wdio/ocr-service:ocrGetElementPositionByText: Multiple matches were found based on the word "Start3d". The match "Started" with score "85.71%" will be used.

オプション

text

• 型: string
• 必須: はい

クリックするために検索するテキスト。

例

await browser.ocrGetElementPositionByText({ text: "WebdriverIO" });

contrast

• 型: number
• 必須: いいえ
• デフォルト: 0.25

コントラストが高いほど画像が暗くなり、その逆も同様です。これにより、画像内のテキストを見つけるのに役立ちます。-1から1までの値を受け入れます。

例

await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    contrast: 0.5,
});

haystack

• 型: number
• 必須: WebdriverIO.Element | ChainablePromiseElement | Rectangle

これは、OCRがテキストを探す必要がある画面内の検索領域です。これは、x、y、width、heightを含む要素または長方形にすることができます。

例

await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    haystack: $("elementSelector"),
});

// OR
await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    haystack: await $("elementSelector"),
});

// OR
await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    haystack: {
        x: 10,
        y: 50,
        width: 300,
        height: 75,
    },
});

language

• 型: string
• 必須: いいえ
• デフォルト: eng

Tesseractが認識する言語。詳細については、こちらを参照してください。サポートされている言語については、こちらを参照してください。

例

import { SUPPORTED_OCR_LANGUAGES } from "@wdio/ocr-service";
await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    // Use Dutch as a language
    language: SUPPORTED_OCR_LANGUAGES.DUTCH,
});

fuzzyFindOptions

次のオプションを使用して、テキストを検索するためのファジーロジックを変更できます。これにより、より適切な一致を見つけるのに役立つ場合があります。

fuzzyFindOptions.distance

• 型: number
• 必須: いいえ
• デフォルト 100

一致がファジー位置（位置で指定）にどれだけ近い必要があるかを決定します。ファジー位置からdistance文字離れた正確な文字一致は、完全に不一致としてスコアリングされます。距離が0の場合、一致は指定された正確な位置にある必要があります。距離が1000の場合、0.8のしきい値を使用して、位置から800文字以内にある完全一致を見つける必要があります。

例

await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    fuzzyFindOptions: {
        distance: 20,
    },
});

fuzzyFindOptions.location

• 型: number
• 必須: いいえ
• デフォルト 0

テキスト内でパターンが見つかることが予想されるおおよその場所を決定します。

例

await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    fuzzyFindOptions: {
        location: 20,
    },
});

fuzzyFindOptions.threshold

• 型: number
• 必須: いいえ
• デフォルト 0.6

マッチングアルゴリズムが諦めるポイント。しきい値が0の場合、完全に一致する必要があり（文字と位置の両方）、しきい値が1.0の場合、何にでも一致します。

例

await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    fuzzyFindOptions: {
        threshold: 0.8,
    },
});

fuzzyFindOptions.isCaseSensitive

• 型: boolean
• 必須: いいえ
• デフォルト: false

検索で大文字と小文字を区別するかどうか。

例

await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    fuzzyFindOptions: {
        isCaseSensitive: true,
    },
});

fuzzyFindOptions.minMatchCharLength

• 型: number
• 必須: いいえ
• デフォルト 2

長さがこの値を超える一致のみが返されます。（たとえば、結果で1文字の一致を無視する場合は、2に設定します）

例

await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    fuzzyFindOptions: {
        minMatchCharLength: 5,
    },
});

fuzzyFindOptions.findAllMatches

• 型: number
• 必須: いいえ
• デフォルト: false

trueの場合、マッチング関数は、完全に一致するものが文字列内で既に見つかっている場合でも、検索パターンの最後まで続行します。

例

await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    fuzzyFindOptions: {
        findAllMatches: 100,
    },
});